当前位置：首页 > news >正文

网站做阿里妈妈流量网站

news 2025/7/7 15:50:52

网站做阿里妈妈,流量网站,高端企业网站建设费用,网站建设与管理市场分析深度学习运行代码直接中断文章目录深度学习运行代码直接中断问题描述设备信息问题补充解决思路问题发现及正确解决思路新问题出现最终问题：ubuntu系统，4090显卡安装英伟达驱动535.x外的驱动会导致开机无法进入桌面问题记录问题描述运行深度学习代码…

深度学习运行代码直接中断

文章目录

深度学习运行代码直接中断
- 问题描述
- 设备信息
- 问题补充
- ```解决思路```
- ```问题发现及正确解决思路```
- 新问题出现
- 最终问题：ubuntu系统，4090显卡安装英伟达驱动535.x外的驱动会导致开机无法进入桌面
- 问题记录

问题描述

运行深度学习代码，然后直接中断，就是停止不运行，显卡也停下来，没有任何报错提示。不是在固定的Epoch发生的，像是随机的。中断出现的epoch不确定，时而运行1-2个小时中断，时而运行数10个小时再发生中断。

设备信息

硬件：4090（24G，电竞判客）+i9-14900K+DDR5
系统：Ubuntu22.04.3；
深度学习环境：Pytorch112，cuda12.0，英伟达驱动535.183.01;
代码：计算机视觉相关的代码，相同能够在其它服务器上运行，应该不是代码的问题。
运行方式：使用nohup后台运行，输出的内容会用tqdm包裹。

问题补充

偶尔出现的硬件问题：
服务器的所有外接设备失效，比如网线、鼠标键盘插进去都没有什么反应，需要重启。

`解决思路`

以下是我排查过的问题和思路，并没有发现问题所在

已排查的错误：

显卡、内存等进行压力测试，并没有报任何错误；
主机盖打开，增加散热能力；
重装系统n次：重装之后一般能解决，但是过一段时间又出现；最近又重装了ubuntu22.04.3，第一次运行就发生了中断；
限制cpu功率，没办法解决；
num_works设为0，仍然出现该问题；
pin_memory关闭，还是存在该问题；
环境不兼容？cuda改成11.8还是有问题，Pytorch环境倒是没有尝试用其它的，感觉不是这个问题吧；
Pytorch从1.12换成2.0.0，代码运行了12小时后中断；
batch_size调小，显存只占用17G左右，还是会中断；
不使用nohup后台运行，仍然运行一会后会中断；
正在尝试将tqdm版本切换与另外一台服务器的相同版本，代码还是会中断；
每一步主要的程序使用print输出，用于定位问题所在。

`问题发现及正确解决思路`

代码在一台服务器上能够正常运行，在4090上运行异常，代码中断不报错。

因此，以后当大家第一时间遇见这个问题的时候，就应该主动去查看系统的运行日志，定位代码停止运行时刻对应的日志。

（1）输出系统日志，然后查看代码中断时间的日志记录

# journalctl输出系统日志，后面是将输出重定位的journal.log文件
journalctl > journal.log

（2）查看系统对应的日志记录

在这里插入图片描述

7月 25 12:54:04 4090 kernel: show_signal_msg: 50 callbacks suppressed
7月 25 12:54:04 4090 kernel: yida_24-0725-09[1030438]: segfault at 8 ip 000061cc54bfdefa sp 00007fff10053f90 error 4 in python3.9[61cc54a89000+223000] likely on CPU 7 (core 12, socket 0)
7月 25 12:54:04 4090 kernel: Code: 04 24 4c 8d 15 a7 e8 19 00 41 89 7e 68 49 83 c4 02 0f b6 d0 0f b6 cc 49 89 d0 41 89 c9 41 ff 24 d2 4c 8b 7d f8 44 89 4c 24 20 <49> 8b 47 08 4c 89 ff ff 90 e0 00 00 00 4c 63 4c 24 20 48 85 c0 0f

(3) 定位问题出现的原因
通过baidu发现问题出现的潜在原因，发现是底层的计算错误。因此，我去比对2台服务器的Python版本，发现正常运行代码的一台服务器gcc是11.x，另外异常的一台服务器是gcc7.x。
在这里插入图片描述