文章目录

前言

大家都知道,使用huggingface导入大模型是使用如下办法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/Qwen2.5-7B-Instruct"#要导入的大模型名称。

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

我们将上述model_name换成gpt2-xl也可以导入成功,但是换成meta-llama/Llama-3.1-8B-Instruct就会失败。因为llama系列的模型矫情,使用需要申请。

坑

在huggingface官网上https://huggingface.co/注册一个账号。这里会碰到第一个问题,那就是这个破网站在国内进去不。我自己是买了梯子的,你要是嫌贵不舍得,那没办法了,我自己觉得还行,基本上所有网站都可以访问了。没有梯子的话,github都要看运气能不能访问。

在网站上填写好了注册信息并且提交之后,记得查看邮件,需要在邮件里确认才算真正的注册成功。

注册好了之后,点击那个models。

在这里插入图片描述

在搜索框输入llama

在这里插入图片描述
发现会返回特别特别多的结果,我们找到我们想要的,常用的有那个第一个meta-llama/Llama-3.1-8B-Instruct还有下面的meta-llama/Meta-Llama-3-8B-Instruct。我们随便选择一个,我这里选择第一个meta-llama/Llama-3.1-8B-Instruct,点击进去,进入下面界面。
在这里插入图片描述
上面界面大概是说,LLAMA系列的模型的使用是受限的,需要申请后使用,申请之后会给你一个类似密码的东西。以后在python代码里导入LLAMA模型的时候,密码也要作为一个函数参数,才能导入模型成功。

在上面这个界面点击那个蓝色的字,滑到底部,可以看到一个申请表格,我们进行申请。

在这里插入图片描述
填写好信息之后点击提交,似乎信息不一定要完全真实。

提交之后,我们可以在网站右上角用户那里查看申请状态,
在这里插入图片描述
如下,我们发现还在等待状态。
在这里插入图片描述

我没过多久就被拒绝了,

在这里插入图片描述
回到那个meta-llama/Llama-3.1-8B-Instruct界面,也发现那个红色的字,

在这里插入图片描述
也就是说我的申请被拒绝了。

Your request to access this repo has been rejected by the repo’s authors.

这到底他妈的是怎么回事呢?我在网站https://huggingface.co/meta-llama/Llama-Guard-3-8B/discussions/13里面查看到,似乎中国和俄罗斯是被区别对待的,所以我们国家不要填写中国。对于LLAMA系列模型的使用申请,很多人都失败了,网上有一堆人吐槽的,比如https://huggingface.co/meta-llama/Meta-Llama-3-8B/discussions/124。

后面我又注册了两个账号,还是失败了。

第一次账号填的是中国,名字是中国名字的拼音,所属机构是乱写的公司。

第二次账号填的是加拿大,名字是外国名字,所属机构是多伦多大学。

第三次账号填的是香港,名字是中国名字的拼音(乱写的中国名字,但是和账号一致),所属机构是香港大学。这次写香港是因为我的那个梯子好像用的是香港的IP。


后续

已经转向使用qwen模型了,咱国产的,不需要申请,也没有国家地域歧视!不再使用llama!看了一下qwen下载量,比llama高多了,而且听说性能也很好,越来越成为各家大模型对比时的基线模型。

在这里插入图片描述
上个月下载量1500万,而下面的llama下载量500万,被爆杀了。

在这里插入图片描述
家人们,大家都用qwen,势必让固步自封的llama付出代价。


为了照顾某一些迫不得已要使用llama的,本人也发现了可以使用modelscope来完成llama的导入,后续见https://liubingqing.blog.csdn.net/article/details/149339075?spm=1011.2415.3001.5331。


完结撒花

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐