前言

大模型工程是一个复杂系统，涵盖数据准备、预训练、微调、对齐、评估和部署全流程。本文系统解析每个阶段的核心技术和工程实践。

一、数据准备阶段

1.1 数据采集

预训练数据来源包括：网页爬虫（Common Crawl）、书籍（BookCorpus）、代码（GitHub）、学术论文（arXiv）、对话数据等。

1.2 数据清洗

• 去重：MinHash和LSH实现近似去重
• 质量过滤：用小模型打分过滤低质量文本
• 安全过滤：去除有害、暴力、色情内容
• PII脱敏：去除个人身份信息

1.3 分词器训练

BPE（Byte Pair Encoding）是最常用的分词算法。vocab_size通常设为32K-128K。

from tokenizers import Tokenizer
from tokenizers.models import BPE
from tokenizers.trainers import BpeTrainer

tokenizer = Tokenizer(BPE(unk_token="<unk>"))
trainer = BpeTrainer(vocab_size=32000, special_tokens=["<unk>","<s>","</s>"])

二、预训练阶段

2.1 架构选择

主流架构为Decoder-only Transformer，代表模型有GPT系列、LLaMA系列。核心组件包括：多头注意力、RMSNorm、SwiGLU激活、RoPE位置编码。

2.2 训练超参数

参数	典型值	说明
hidden_size	4096	隐藏层维度
num_layers	32	Transformer层数
num_heads	32	注意力头数
learning_rate	3e-4	峰值学习率
batch_size	4M tokens	全局batch
warmup_steps	2000	预热步数

2.3 分布式训练策略

• 数据并行（DP）：每张卡处理不同数据，梯度同步
• 张量并行（TP）：将矩阵切分到多张卡
• 流水线并行（PP）：将不同层分配到不同卡
• ZeRO优化：优化器状态、梯度、参数分片

2.4 训练稳定性

大模型训练常见问题：Loss Spike（损失尖峰）、梯度爆炸/消失、激活异常。常用对策：梯度裁剪、学习率warmup、权重衰减、Loss Scaling。

三、微调与对齐

3.1 SFT（监督微调）

用高质量指令-响应对训练模型遵循指令。数据质量比数量更重要。LoRA是一种参数高效微调方法，只训练低秩适配矩阵。

from peft import LoraConfig, get_peft_model

config = LoraConfig(
    r=8,
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.1,
)

3.2 RLHF（人类反馈强化学习）

1. 训练奖励模型（RM）：用人类偏好数据训练
2. PPO优化：用RM的奖励信号优化策略模型
3. KL散度约束：防止策略偏离参考模型太远

3.3 DPO（直接偏好优化）

DPO简化了RLHF流程，直接用偏好数据优化模型，无需训练奖励模型。损失函数直接比较chosen和rejected响应的似然比。

四、评估体系

维度	基准测试	说明
综合能力	MMLU, C-Eval	多学科知识
数学推理	GSM8K, MATH	数学解题
代码能力	HumanEval, MBPP	代码生成
中文能力	CMMLU, AGIEval	中文理解
安全对齐	TruthfulQA	真实性评估

五、部署优化

• vLLM：PagedAttention，高吞吐推理
• 量化：GPTQ、AWQ、INT8/INT4量化
• KV Cache：缓存注意力键值对加速推理
• 投机解码：小模型草稿+大模型验证
• 模型蒸馏：大模型知识迁移到小模型

六、工程实践要点

1. 数据质量决定模型上限，清洗比堆量重要
2. 预训练用Scaling Law指导计算分配
3. SFT数据宁少勿滥，1000条高质量数据胜过10万条噪声数据
4. 部署阶段量化是性价比最高的优化
5. 持续监控模型输出质量，建立评估Pipeline

大模型工程是一个从数据到部署的完整闭环，理解全流程才能在实际项目中做出正确的技术选型。