环境搭建 & Transformers 入门

Transformer文档手册

https://hugging-face.cn/docs/transformers/index

HF注册 获取token

信息填写时国家写美国，尽量填写全

模型下载

下载hf

curl -LsSf https://hf.co/cli/install.sh | bash

登录

hf auth login

下载模型

hf download meta-llama/Meta-Llama-3-8B-Instruct --local-dir ./Meta-Llama-3-8B-Instruct
hf download meta-llama/Llama-3.1-8B-Instruct --local-dir ./Llama-3.1-8B-Instruct

调参

max_new_tokens

中文大约 1 token ≈ 0.7–1 个汉字（跟分词器有关，只做粗略估算）。
比如想要 800–1000 字的回答，可以设置 max_new_tokens ≈ 800 ~ 1200，再视显存和速度调整。

top_p

把所有 token 按概率从大到小排序；
从上往下累加概率，直到和 ≥ top_p；
只在这个“核”里面采样，其余低概率词直接丢弃。

和 top_k 的区别：
top_k：保留前 k 个最高概率词。
top_p：保留概率累积到 p 的那批词，数量是动态的。

temperature

把模型算出的 logits 除以一个系数 T，再做 softmax：
T = temperature
T < 1：把分布压得更“尖”
T > 1：把分布拉得更“平”
temperature 小（接近 0）
把“原本就高概率”的词拉得更高
把“原本就低概率”的词压得更低
输出更稳定、重复性强、很少“冒险”
temperature 大（>1）
高概率词和中等概率词差距被缩小
模型更愿意尝试非主流词
输出更多样，有创意，但也更容易胡言乱语

GitHub 仓库：From0to1-MLLM-StudyLog
👉 仓库地址：
https://github.com/wz940216/From0to1-MLLM-StudyLog.git
这个仓库主要是我的「多模态大模型学习日志」，特点有几点：

• 从机械专业转过来的视角： 不会扯太虚的理论，更偏工程、偏“怎么跑起来、怎么部署”。
• 按周记录： 仓库按 Week1–Week24 组织，每周会尽量放上：
  • 这一周我大概在学什么（LLM、多模态、部署相关）；
  • 看过的论文/文档/视频链接；
  • 跑通的代码、小 demo 或踩过的坑。
• 覆盖方向大致包括：
  • LLM 基础（Qwen/LLaMA 等开源模型的使用与微调）
  • 多模态基础（CLIP、BLIP、LLaVA 这些经典框架）
  • 简单多模态小项目（比如图像-文本检索、图像问答等）
  • 推理与部署（vLLM、TensorRT、OpenVINO 等）

目前仓库还在持续更新，很多东西也在边学边补充，不是教程，更像给自己和同样想转型的人留一份可以复盘的轨迹。

想说给同样在纠结「要不要转大模型」的你
我不是科班 AI 出身，中间也走了机械 → 工业视觉 → 互联网 CV 这一大圈；
现在开始正式补多模态和大模型，说早不早，说晚不晚。
如果你也：

• 本科专业不对口；
• 在传统 CV / 工业视觉 / 算法岗位；
• 对大模型很感兴趣，又有点不知道从哪下手；

可以先不用给自己「转行成功」的压力，我们可以先做两件小事：

1. 承认这是趋势，允许自己慢慢靠过去；
2. 让学习过程有迹可循——不管是记在本子上，还是像我一样丢在 GitHub 上。

如果你对多模态大模型感兴趣，或者也在准备往大模型方向转，可以：

• 先收藏 / Fork 我的仓库： https://github.com/wz940216/From0to1-MLLM-StudyLog.git
• 在评论区留个「一起学」， 后面我会继续把每周的学习记录、踩坑经验（包括机械狗视角下的弯路）陆续更新到仓库和这里。