mmdetection多卡训练中报警告semaphore_tracker: There appear to be 14 leaked semaphores to clean up at shutdow
mmdetection
open-mmlab/mmdetection: 是一个基于 PyTorch 的人工智能物体检测库，支持多种物体检测算法和工具。该项目提供了一个简单易用的人工智能物体检测库，可以方便地实现物体的检测和识别，同时支持多种物体检测算法和工具。
项目地址：https://gitcode.com/gh_mirrors/mm/mmdetection
免费下载资源
·
最近自己写了个模型，采用mmdetection框架去训练coco数据集。由于数据集较大，单卡情况下预计需要一个月时间才能完成1x的训练。这无法容忍，于是采用多卡分布式训练。
首先，第一次由于batchsize过大，导致显存爆了。
调整batchsize后，报如下错误：
显示有信号泄露警告，起初以为只是警告忽略就可，主要关注其中的error错误，百度这个错误，网上并没有关于这个问题的解答。于是关注于警告的部分，这个警告的解决方案，可以参考相关博文：
UserWarning: semaphore_tracker: There appear to be 4 leaked semaphores to clean up at shutdown
但是并不能解决我的问题，通过请教openmmlab的大佬，得到如下回答：“你这是上一次跑出错或者暂停了，然后没清理上次的残留进程。如果不太会的话，每次跑之前killall python一下(确保没其他有用的python程序在跑）。”
我之前batchsize过大时暂停过一次，后续又暂停多吃，残留的线程太多了，最终kill掉之后，完美解决！
GitHub 加速计划 / mm / mmdetection
28.78 K
9.33 K
下载
open-mmlab/mmdetection: 是一个基于 PyTorch 的人工智能物体检测库，支持多种物体检测算法和工具。该项目提供了一个简单易用的人工智能物体检测库，可以方便地实现物体的检测和识别，同时支持多种物体检测算法和工具。
最近提交(Master分支：2 个月前 )
cfd5d3a9
9 个月前
2390ebc3
9 个月前
旨在为数千万中国开发者提供一个无缝且高效的云端环境，以支持学习、使用和贡献开源项目。
更多推荐
16
0- 0
已为社区贡献1条内容
所有评论(0)