目录

一、Hugging Face 模型仓库结构

二、使用 git clone 下载(最简单)

三、使用 huggingface-cli 下载(最推荐 ⭐)

四、使用 Git LFS 下载

五、使用 Python 下载(实验最方便)

六、Transformers 自动下载(最常见)

七、国内服务器加速方案

八、批量下载模型(服务器常用)

九、离线加载 Hugging Face 模型

总结

参考


一、Hugging Face 模型仓库结构

Hugging Face 模型通常类似一个 Git 仓库,例如:

其中最重要的是:

文件 作用
pytorch_model.bin 模型权重
config.json 模型配置
tokenizer.json tokenizer
README.md 模型说明

二、使用 git clone 下载(最简单)

类似 GitHub。

git clone https://huggingface.co/openai/clip-vit-base-patch32

优点:

  • 简单

  • 完整下载仓库

缺点:

  • 依赖 Git LFS


三、使用 huggingface-cli 下载(最推荐 ⭐)

这是 目前最稳定的方式

1 安装

pip install huggingface_hub

2 下载模型

huggingface-cli download openai/clip-vit-base-patch32
# 只下载权重文件
huggingface-cli download openai/clip-vit-base-patch32 pytorch_model.bin

3 指定路径

huggingface-cli download openai/clip-vit-base-patch32 --local-dir ./clip_model

优点:

  • 自动处理大文件

  • 支持断点续传

  • 不需要 Git LFS

  • 下载更稳定


四、使用 Git LFS 下载

很多 Hugging Face 模型使用 Git LFS(Large File Storage)

安装:

sudo apt install git-lfs

初始化:

git lfs install

然后 clone:

git clone https://huggingface.co/openai/clip-vit-base-patch32

否则下载到的可能是:

pytorch_model.bin

但其实只是 LFS pointer 文件


五、使用 Python 下载(实验最方便)

很多论文代码都使用这种方式。

from huggingface_hub import snapshot_download

snapshot_download(
    repo_id="openai/clip-vit-base-patch32",
    local_dir="./clip_model"
)

优点:

  • 自动缓存

  • 不会重复下载

  • 与 Transformers 兼容


六、Transformers 自动下载(最常见)

如果使用 Transformers:

from transformers import CLIPModel

model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")

Transformers 会自动:

1 下载模型
2 缓存到本地

缓存路径:

~/.cache/huggingface

七、国内服务器加速方案

很多国内服务器访问 Hugging Face 会很慢。

可以使用 镜像站

export HF_ENDPOINT=https://hf-mirror.com

然后再下载:

huggingface-cli download openai/clip-vit-base-patch32

Python 方式:

import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"

八、批量下载模型(服务器常用)

如果需要批量下载多个模型,可以写脚本。

download_models.sh

models=(
openai/clip-vit-base-patch32
bert-base-uncased
google/vit-base-patch16-224
)

for model in "${models[@]}"
do
    huggingface-cli download $model --local-dir ./models/$model
done

运行:

bash download_models.sh

九、离线加载 Hugging Face 模型

如果服务器 不能联网,可以先下载再上传服务器。

第一步:下载

huggingface-cli download openai/clip-vit-base-patch32 --local-dir ./clip_model

第二步:上传服务器

scp -r clip_model server:/data/models

第三步:离线加载

from transformers import CLIPModel

model = CLIPModel.from_pretrained("/data/models/clip_model")

总结

方法 推荐程度 适用场景
git clone ⭐⭐⭐ 下载完整仓库推荐使用
huggingface-cli download ⭐⭐⭐⭐ 下载模型权重(最推荐)
Git LFS ⭐⭐ 配合 git clone
Python snapshot_download ⭐⭐⭐⭐ 实验代码中使用
Transformers 自动下载 ⭐⭐⭐ 直接加载模型

参考

Hugging Face
https://huggingface.co

Transformers
https://huggingface.co/docs/transformers

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐