线上wandb卡死,本地脚本仍然正常运行(run的状态显示为crashed)的解决方案
·
线上wandb 挂起(卡死),本地脚本仍然正常运行,到wandb上查看run的状态, 显示为crashed。
这个问题其实在官方repo有人反馈,可以查阅官方issue。这个问题是由网络不稳定引起的,解决方案也很简单,在本地脚本结束后,找到本地的wandb文件,用以下命令同步到线上的wandb里,假设本地的wandb文件名为run-20230105_104214-3fjeioj8
wandb sync run-20230105_104214-3fjeioj8
再刷新线上wandb的页面,就可以看到最新的实验记录。
更多推荐
已为社区贡献3条内容
所有评论(0)