引言

2025年下半年至今，开源大模型的数量呈指数级增长。Qwen 3、DeepSeek V3、Llama 4、Mixtral 等模型能力越来越强，但通用模型永远无法满足垂直场景的极致需求——医疗问诊需要医学术语理解，法律文书需要条款引用规范，代码助手需要公司内部框架的知识。

这时候就需要微调。但全参数微调一个 70B 的模型需要 8 张 A100——这不是普通团队能承受的成本。

本文将系统地对比 2026 年主流的参数高效微调（PEFT）方法，帮你做出正确的技术选型。

一、为什么全参数微调正在被淘汰？

全参数微调（Full Fine-tuning）意味着更新模型所有 70B 参数。这带来三个问题：

显存需求：训练 70B 模型（BF16）需要约 140GB 显存（仅模型权重），加上优化器状态（AdamW 需要 2 倍）、梯度（1 倍）、激活值，总需求超 500GB。这意味着至少 8 张 A100-80G。

灾难性遗忘：在领域数据上过度训练，模型会"忘记"通用能力。医疗模型变得只会看病不会聊天，这在产品体验上是致命的。

部署麻烦：每微调一次就产出一个完整 70B 的模型副本。如果服务 10 个行业客户，你需要维护 10 个 140GB 的模型文件——存储和切换成本都很高。

参数高效微调（PEFT）的核心思想：冻结原始权重，只训练一小部分新增参数。

二、LoRA：经典永不过时

核心思想

LoRA（Low-Rank Adaptation）假设模型权重的更新是低秩的。对于原始权重矩阵 W（d × k），引入低秩分解：

ΔW = B × A
其中 B ∈ R^(d×r), A ∈ R^(r×k), r << min(d,k)

典型的 r = 8 或 16，而 d 和 k 通常是 4096。这意味着参数量从 4096² 降到 4096×16×2 ≈ 131K——减少了 99.8%。

哪些层加 LoRA？

2026年的共识：所有 Attention 层的 Q、K、V、O 投影都加 LoRA。是否对 FFN 层加 LoRA 取决于任务： - 知识密集型任务（法律、医疗）：建议加 FFN → 更多可训练参数 - 格式/风格转换：只加 Attention 层即可

LoRA 的最佳实践（2026版）

from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
    r=16,                    # rank — 一般场景 8-16
    lora_alpha=32,           # 缩放因子 — 通常 = 2×r
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj",
                    "gate_proj", "up_proj", "down_proj"],  # Attention + FFN
    lora_dropout=0.05,       # 轻微 dropout 防止过拟合
    task_type="CAUSAL_LM",
)

LoRA 的局限性

LoRA 的低秩假设并非总是成立。在需要大量新知识注入的场景（如让模型学会一门新编程语言），LoRA 的容量（rank r）可能不够。此时需要： - 增大 r 到 64 甚至 128 - 或者转向全参数微调

三、QLoRA：让 70B 模型在单张 4090 上微调

QLoRA 在 LoRA 基础上引入了三项关键技术：

3.1 4-bit NormalFloat (NF4)

传统的 4-bit 量化（INT4）假设权重是均匀分布的，但实际神经网络权重近似正态分布。NF4 专门为正态分布设计——在密度高的区域分配更多的量化值，在密度低的尾部少分配。信息损失比 INT4 少 30-50%。

3.2 双重量化（Double Quantization）

量化本身产生的"量化常数"也需要存储。FP32 的量化常数在 70B 模型上会占用约 2-3GB。双重量化就是对量化常数再做一次量化——从 FP32 降到 FP8。省出的显存可用于增加 batch size 或序列长度。

3.3 分页优化器（Paged Optimizers）

借鉴操作系统的分页内存管理思想。当 GPU 显存不足时，优化器状态自动换出到 CPU 内存（类似 swap），通过 unified memory 实现无缝切换。这让训练过程中偶尔出现的显存尖峰不会导致 OOM。

实战显存对比

模型	全参数微调	LoRA (BF16)	QLoRA (NF4)
Llama 3 8B	48 GB	16 GB	8 GB
Qwen 3 72B	500+ GB	140 GB	48 GB
DeepSeek V3 671B (MoE)	不现实	320 GB	80 GB

QLoRA 是 2026 年最普适的方案——在效果几乎无损的前提下，让消费级 GPU 也能微调大模型。

四、2026 年值得关注的新方法

4.1 DoRA（Weight-Decomposed Low-Rank Adaptation）

DoRA 将预训练权重分解为 magnitude（大小）和 direction（方向）两个分量，只对 direction 做 LoRA 微调。这更接近全参数微调的学习模式，在复杂推理任务上比 LoRA 提升 2-5 个百分点。

4.2 GaLore（Gradient Low-Rank Projection）

不修改模型结构，而是在训练过程中将梯度投影到低秩空间。显存占用介于 LoRA 和全参数微调之间，但不需要改变模型结构——这对需要全参数能力但显存有限的场景是很有吸引力的折中。

4.3 LoRA 合并与切换

一个越来越实用的模式：一个基础模型 + 多个 LoRA 适配器。推理时动态加载不同的 LoRA 权重，实现"一键切换领域"。

# 场景：同一个基础模型服务多个行业客户
model = load_base_model("Qwen3-72B")

# 医疗客户 → 加载医疗 LoRA
model.load_adapter("medical_lora")
response = model.generate(medical_query)

# 法律客户 → 切换法律 LoRA
model.load_adapter("legal_lora")  
response = model.generate(legal_query)

这种模式将服务 10 个行业客户的存储成本从 10×140GB 降到 140GB + 10×200MB——几乎可以忽略不计的适配器成本。

五、选型决策树（2026版）

你的 GPU 显存是？
├── ≥ 48GB（A6000 / L40S）
│   └── LoRA (BF16, r=32) — 效果最好
│
├── 16-48GB（4090 / A4000）
│   └── QLoRA (NF4, r=16) — 性价比最优
│
├── 8-16GB（4070 / 笔记本 GPU）
│   └── QLoRA (NF4, r=8) + Gradient Checkpointing
│
└── < 8GB
    └── 建议用 API 微调服务（Together AI / Fireworks）

按任务类型选

任务类型	推荐方法	r 设置	数据量建议
指令跟随 / 格式对齐	LoRA	8-16	1K-5K 条
领域知识注入	QLoRA	32-64	5K-50K 条
代码能力增强	QLoRA + DoRA	16-32	10K-100K 条
多语言翻译	LoRA	16	10K-100K 条
数学推理	DoRA	32-64	5K-50K 条

六、数据质量：比方法选择更重要

做了一年的微调项目后，最大的感悟是：数据质量对效果的影响 > 微调方法的选择。

高质量微调数据的标准

1. 多样性：覆盖任务的各种变体。不要 5000 条数据全是同一模板换了不同的实体名。
2. 正确性：每一条标注都要经过验证。100 条脏数据能抵消 1000 条好数据的效果。
3. 一致性：同一类输入的输出格式必须统一。格式飘忽是最常见的低质量信号。
4. 难度分层：easy : medium : hard = 60% : 25% : 15%。全是简单样本，模型学不到深层能力；全是难题，收敛困难。

数据量法则

对于 LoRA/QLoRA，1000 条高质量数据 > 10000 条中等质量数据。而且微调数据一旦超过 5 万条，边际收益急剧下降——此时应优先提升数据质量而非数量。

结语

2026年，大模型微调已经不再是"少数人的游戏"。QLoRA 让单张 4090 就能微调 70B 模型，DoRA 进一步缩小了 LoRA 和全参数微调的效果差距，LoRA 适配器切换让多场景部署变得经济。

但工具民主化不代表门槛消失。选择合适的微调方法只是第一步，数据质量、评测体系、部署架构——这些"看不见的工作"才是决定项目成败的关键。

---

推荐工具： - HuggingFace PEFT / TRL（训练框架） - Unsloth（训练加速，2-5x） - Axolotl（一站式微调配置） - W&B / MLflow（实验追踪）