解决huggingface中模型无法自动下载或者下载过慢的问题
·
项目场景:
调用hugging face公开模型数据集中的transformers模型。
问题描述:
默认源在国内下载模型过慢,甚至不开始下载。
原因分析:
部分博客解决方案为:
在from_pretrained中添加参数mirror="tuna" 将下载源替换为清华源。
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased", mirror="tuna")
然而,清华源现在不支持hugging face的下载(2021.8月之后)。
因此,无论在conda替换源还是在代码中指定源为清华源都无效。
解决方案:
参考 https://blog.csdn.net/weixin_43646592/article/details/119520963
在hugging face官网上手动下载模型文件,而后上传到服务器上。具体如下:
- 1 搜索模型

- 2 下载文件

注意:一定要下载全,包括适用于框架的模型(tf为h5,pytorch为bin)、词表、模型配置文件、tokenizer配置文件、一些看起来无关紧要的txt文件。
无关紧要的txt文件一定不要忘记下载。
-
3 将上述下载的文件放在统一的文件夹中,命名为模型名,(例如:xlm-mlm-100-1280),上传至运行代码同一目录下。
-
4 继续使用代码调用
tokenizer = XLMTokenizer.from_pretrained("xlm-mlm-100-1280")
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐


所有评论(0)