RuntimeError: Default process group has not been initialized, please make sure to call init_process_
·
这个错误通常与使用PyTorch的torch.distributed模块有关，它用于在分布式环境中进行训练。在你的情况下，可能是由于在分布式设置中未正确初始化进程组导致的。
在Windows系统上，分布式训练的支持受到一些限制，因为Windows不支持fork方式创建新进程，而这在分布式设置中是常用的方式。因此，在Windows上运行分布式PyTorch代码可能会遇到一些问题。
如果你的代码不需要分布式训练，你可以考虑在代码中禁用分布式设置，以避免这个错误。检查代码中是否存在与torch.distributed相关的初始化代码，然后在Windows上禁用它。
比如在代码中
可以看到使用了torch中的distributed.reduce()函数，如果我们想只使用一个机器进行训练的话就找到报错的地方进行注释就可以
在这里计算loss的时候同样的方式进行处理
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念，把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起，为开发者提供从开发、训练到部署的一站式体验。
更多推荐
8
0- 0
已为社区贡献1条内容
所有评论(0)