开始安装transformers, transformers主要依赖tokenizers,安装tokenizers依赖rust,所以需要先安装rust。递进关系,直接安装会失败。

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
source $HOME/.cargo/env
conda install -c conda-forge tokenizers 
conda install -c conda-forge transformers==4.4.2 
#如果需要还可以安装huggeface的datasets,安装方法如下
conda install -c conda-forge pyarrow
conda install -c conda-forge datasets

文章来自zh大佬:链接附上

Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐