关于预训练模型bert在线加载和离线下载的问题
首先是bert
model = MAG_BertForSequenceClassification.from_pretrained(
'bert-base-uncased', multimodal_config=multimodal_config, num_labels=1,
)
老是遇到类似的语句,然后就报错:(MaxRetryError("HTTPSConnectionPool(host='huggingface.co', port=443): Max retries exceeded with url: /bert-base-uncased/resolve/main/vocab.txt (Caused by ConnectTimeoutError(<urllib3.connection.HTTPSConnection object at 0x7fd46bf42e60>, 'Connection to huggingface.co timed out. (connect timeout=10)'))"), '(Request ID: 4b20a9c7-914e-481c-91d2-a40658cc4fc6)')' thrown while requesting HEAD https://huggingface.co/bert-base-uncased/resolve/main/vocab.txt
这种时候是无助啊。不如直接把需要的文件下载下来。
原先有的一个方法是把.cache/huggingface/hub/models--bert-base-uncased的文件移到想要的路径下。但这是网络好,预训练模型已经保存在本地了。
上面这个报错timed out表示还没下载呢。
那么去哪里下载,下载哪些文件呢?
在报错提示的https://huggingface.co/bert-base-uncased/网址下载。更详细一点是进入files下载。

下载哪些?我只在pytorch上跑的,只要下载vocab.txt,config.json,pytorch_model.bin就行。其余的下载了应该是没用到,可以不下载。把下载的这三个文件放到一个文件夹下,假设保存的绝对路径是’/home/win/pycharm/pre_trained/model_uncased/'。
然后把model = MAG_BertForSequenceClassification.from_pretrained( 'bert-base-uncased', multimodal_config=multimodal_config, num_labels=1)改为
model = MAG_BertForSequenceClassification.from_pretrained( ’/home/win/pycharm/pre_trained/model_uncased/', multimodal_config=multimodal_config, num_labels=1)
这时再运行就可以了。
类似BertTokenizer.from_pretrained('model_uncased')也改为BertTokenizer.from_pretrained('/home/win/pycharm/pre_trained/model_uncased/')。
就是改成一个本地路径,然后本地路径里面还有下载的预训练模型。
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐


所有评论(0)