huggingface transformers使用心得
·
安装和使用代码在huggingface官网可见,本博客不在赘述,这里只记录一些博主使用过程中的想法和遇到的一些问题。
一,使用huggingface transformers bert处理中文文本出现问题。
加载中文bert模型'bert-base-chinese',第一次运行代码下载vocab,预训练参数等文件时,网络断了,导致下载中断。重新联网,然后再次运行同样的代码出现问题,程序不报错,但是也不正确输出结果,一直处于运行中的状态。
解决方法:删除下载的临时文件。
打开预训练模型的下载位置,默认是~/.cache/huggingface/transformers/,使用ll命令查看已下载文件,可以看到相同名称的文件都有三份,如下图:

而之前因为下载中断有一个文件只有一份(或者两份),且目录下有一个tmp开头的临时文件,估计这就是未下载完成的文件了。

删除上述临时文件,同时删除只有一份(或者两份)的那个文件,然后运行代码,就会重新开始下载'bert-base-chinese'相关的文件。
下载成功后,代码也运行成功了。
二,其他问题有待补充。
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐



所有评论(0)