大模型微调是让通用模型走向垂直领域的必经之路。然而，面对 LlamaFactory 面板上密密麻麻的超参数，很多开发者常感到"无从下手"：为什么 Loss 不下降？为什么模型学成了"复读机"？

今天，LlamaFactory Online官方团队特别邀请到了我们的算法专家为大家带来一期大模型微调超参数的深度解析。

【【LlamaFactory Online】大模型微调超参数全解析：从入门到上手，听懂这些就够了】

基础认知：微调到底在调什么？

在进入参数细节前，我们要先理解微调的逻辑。

如果说预训练（Pre-training）是让模型像婴儿一样通过海量阅读认知世界，那么微调（SFT/后训练）就是让模型进入专业学校。

通过 LlamaFactory Online 这样的可视化平台，开发者可以省去繁琐的代码编写，将精力集中在数据准备、模型微调、评估及部署的全流程。而超参数，就是你在这个过程中指挥模型学习的“教鞭”。

综合基础参数：模型怎么“看”数据？

综合基础参数是微调的基础，它们决定了训练的基本节奏和资源使用。这部分参数最直观，也是新手最容易上手的。

1. Epoch（轮次）：复习了多少遍

Epoch 代表模型完整遍历一遍数据集的次数。

⭐专家比喻： 这就像高考前的三轮复习。第一轮结束，就是一个 Epoch。如果你设置 Epoch 为 3，就代表让大模型把你准备的专业资料从头到尾学三遍。

1. Batch Size（批大小）：一页纸能容纳多少知识

Batch Size 决定了模型在一次梯度更新中同时处理的数据条数。

• 单卡 Batch Size： 在单卡训练中，它决定了显存的占用。
• Global Batch Size（全局批大小）： 在分布式训练中，这是真正影响模型学习效果的核心指标。

⭐专家比喻： 就像翻书，Batch Size 决定了你一页纸印多少内容。同一页上的知识点会互相影响，共同决定模型这一次的学习认知。

1. Gradient Accumulation（梯度累积）：脑容量不够，勤劳来凑

如果显存不足，无法支撑大 Batch Size，我们可以利用 Gradient Accumulation。

⭐专家比喻： 这是一个节省资源的策略。我看完第一页知识，先不急着“记入脑海（更新梯度）”，而是先标注“已阅”，等连看三页后，再综合这三页的内容统一更新大脑认知。

1. Packing（打包）：不浪费一寸纸张

在预训练阶段，模型通常会处理长文本，而微调阶段的数据（如问答对）往往较短。

如果不开启 Packing，每个数据条目后面会有大量的 pad（填充符），占用了显存却不产生学习效果。而开启 Packing： 平台会将多个短样本拼接成一个完整的序列长度。

⭐专家比喻： 既然你一次有写 1000 字的本事，老师却让你写一首 28 字的古诗，剩下的纸就白瞎了。Packing 就是让你在一张纸上连写几十首古诗，绝不跑空，极大地提升训练效率。

优化器与学习率：学习的“节奏感”

优化器参数是微调中最关键的部分，它们直接决定了模型学习的快慢和效果的好坏。这部分参数的调整需要一定的经验和技巧。

1. Learning Rate（学习率）：认知的置信度

Learning Rate（学习率）是指模型每次更新参数时的步长大小。它是优化器中最重要的超参数，直接影响训练效果。

⭐专家比喻： 学习率决定了你对新知识的“置信度”。如果太高，模型会因为看到几条有噪音的数据就全盘否定过去的认知（导致偏科）；如果太低，学习进度又会像蜗牛爬。

1. LR Scheduler（调度器）：从粗放到精细

Scheduler控制学习率在训练过程中如何变化。不 同的时期需要不同的学习率：开始时需要谨慎，中期可以激进，后期需要精细。

⭐专家比喻：怕"伤仲永"。模型刚开始什么都不懂，不能让它学太快，要小步试探。随着复习深入，我们要从粗放转为精细，逐渐调低学习率，让模型更稳定地贴合最终答案。

1. Warm-up（预热）：热车再上路

Warm Up是指在训练初期，让学习率从0（或很小的值）逐渐增加到目标学习率，而不是一开始就用大学习率。

⭐专家比喻：就像冬天开车前要热车，不能一上来就猛踩油门，容易熄火（梯度爆炸）。先怠速运转，让发动机温度上来，再正常行驶（稳定训练）。

1. Optimizer（优化器）：导航系统

Optimizer（优化器）是决定如何利用梯度来更新模型参数的算法。不同的优化器有不同的更新策略。

⭐专家比喻：

• SGD：只看当前位置，直线前进（简单但容易迷路）
• Adam：记住走过的路，调整方向和速度来避开坑（智能导航）
• AdamW：Adam的改进版，行驶时限制载客规模（防止参数过大）

对于新手小白，我们强烈推荐 AdamW 优化器。它将权重衰减与梯度更新进行了解耦，使训练过程更加稳定，是目前大模型微调的标配。

微调流派：全参、冻结还是 LoRA？

微调方法决定了你如何更新模型参数，不同的方法在资源消耗、效果和灵活性上有巨大差异。

方法	训练参数量	显存占用	训练时间	效果	部署灵活性	形象类比
Full Fine-tuning（全参）	100%	极大	慢	最好	低	全面重修，把脑子里的东西全部过一遍
Freeze（冻结）	10-30%	大	中等	中等	低	专项精进，只复习数学，其他科目不动
LoRA（低秩自适应）	0.1-1%	小	快	接近全参	高	揣一兜小抄。虽然脑子没变，但靠着小抄，考得一样好

微调方法之间存在递进关系，LoRA 是目前 LlamaFactory Online 用户最主流的选择。它不仅经济实惠，而且适配器（Adapter）可以动态切换，非常适合资源受限但任务多样的场景。

稳定性保障：正则化参数

正则化参数是训练过程的"安全卫士"，防止模型学偏、学坏或训练不稳定。这部分参数通常在遇到问题时才需要重点调整。

参数	推荐新手值	何时调整
Weight Decay	0.01	过拟合→增大到0.05-0.1
Max Grad Norm	1.0	训练不稳定→减小到0.5
Dropout	0	eval loss在后期上升→增大到0.05-0.1

1. Weight Decay（权重衰减）：防止“认死理”

Weight Decay是一种正则化技术，它在每次更新参数时，会让参数按比例缩小一点点，防止参数变得过大。

⭐专家比喻：就像学习时帮你控制笔记篇幅，强制你不要把每个细节都写得很重，而是保持整体简洁。

1. Gradient Norm Clipping（梯度裁剪）：刹车系统

Gradient Clipping是指限制梯度的最大范数，防止梯度过大导致参数更新过猛。

⭐专家比喻：如果某次更新的冲动（梯度）太强烈，直接一刀切，限制在安全范围内（如 1.0），确保训练不崩溃。

1. Dropout（随机失活）- 多路径思考

Dropout是指在训练时随机"关闭"一部分神经元，让模型不要过度依赖某些神经元。

⭐专家比喻：通过随机屏蔽部分路径，强迫模型不只依赖某一条复习路径，而是多路径思考，从而提升它的泛化能力。

超参数的设置并不是绝对的“玄学”，而是一门可以掌握的技艺。通过本期的讲解，希望大家能建立起对参数的直观感觉。在LlamaFactory Online平台上，你可以轻松尝试这些参数组合。我们建议大家多去观察 Loss 曲线，结合业务场景不断微调。记住，最好的参数永远是在实践中跑出来的。

想上手试试？ 立即登录 LlamaFactory Online官方平台，开启你的大模型微调之旅！