微调方法选择是高频真题，这道题考查对不同微调方案的理解深度。面试官抛出这类问题，想看到的不是标准答案，而是你如何在效果、成本、部署之间做权衡。下面通过5道对比式真题，帮你建立技术选型的决策框架。

---

【真题1】LoRA和全量微调哪个好？

面试场景：你做过大模型微调项目，面试官问"为什么选择LoRA微调而不是全量微调？或者说只冻结预训练层、只训练输出层？"

参考解析：

这道题考查技术选型的底层逻辑。三种方案各有适用场景，不存在绝对优劣。

全量微调

• 优势：模型能够充分学习领域知识，效果上限最高
• 劣势：参数量大，显存需求高，训练周期长，容易过拟合
• 适用场景：数据量充足（万级以上）、算力资源丰富、对效果要求极高的场景

冻结预训练层+只训练输出层

• 优势：参数量最小，训练速度最快
• 劣势：适配性不够，预训练的通用知识难以和领域知识有效结合
• 适用场景：快速验证、资源极度受限、任务简单（如简单分类）

LoRA微调

• 优势：冻结预训练权重，只训练插入的低秩矩阵，参数量小、训练成本低，推理时可合并权重，不影响推理速度
• 劣势：效果上限低于全量微调，秩维度需要调参
• 适用场景：资源有限、需要快速迭代、部署环境对推理速度敏感

核心原理：LoRA基于预训练模型微调时权重更新矩阵具有低秩特性的假设。具体做法是在全量层插入两个低秩矩阵A和B，A的维度是D×R，B的维度是R×D，其中R是秩维度。训练时只更新A和B，原始权重保持不变。前向传播时输出是原始权重结果加上A×B的增量。

秩维度R的选择：实际测试了R=4、8、16三个值。R=4时效果不够，模型拟合不好领域知识；R=16时参数量增加明显，训练时间变长，但效果提升不明显；R=8在效果和成本之间取得较好平衡。

考查能力：是否理解不同微调方案的本质差异，能否根据实际约束条件做出合理选型。

---

【真题2】微调效果不如预期，该从哪里入手排查？

面试场景：面试官问"你做过的微调项目，效果没达到预期时是怎么排查的？"

参考解析：

这道题考查问题定位的系统思维。70%的情况下，问题根因不在模型能力不够，而是任务没讲清楚、数据有冲突、优化方向选错了。

排查四步法：

第一步：精准定位问题根因

• 做结构化AB测试：换几组不同的prompt，看输出是否一致
• 用干净子集和全量数据对比效果
• 换一个基础模型跑同样流程

通过这些测试判断到底是指令理解差、知识不足、泛化弱，还是基础模型已经到达能力边界。

第二步：区分产品问题还是训练问题

• 产品侧：输出格式是否明确？训练数据风格是否冲突？标签标准是否一致？
• 训练侧：模型架构、超参数、训练策略是否合理

举个例子：想让AI生成连续镜头一致的视频，但只标注了单帧图像，这是任务设计缺陷，不是模型问题。先把产品侧的问题清理干净，再谈模型优化。

第三步：把问题映射到可控变量
模型微调本质是调整六个变量之一：数据质量、数据量、任务描述、训练方法、超参数、基础模型。关键是判断哪个变量改动成本最低、见效最快。

第四步：选最优解而不是最强解
很多团队效果一差就直接上RLHF或换70B模型，但实际业务可能只需要80分达标。小数据+简单方案往往比大数据+复杂方案更可控。

考查能力：是否具备系统化的问题诊断能力，能否避免"一上来就调参"的本能反应。

---

【真题3】训练时遇到过拟合怎么办？

面试场景：面试官问"模型训练过程中遇到过拟合吗？怎么解决的？"

参考解析：

这道题考查对训练过程的掌控能力。过拟合的表现是训练集准确率很高，但验证集和线上新数据效果很差。

问题诊断：

• 训练集准确率持续上升，验证集准确率停滞或下降
• 模型在小样本上表现异常好，大样本反而变差
• 生成结果过于"背诵"训练数据，缺乏泛化能力

解决路线：

路线一：调整模型容量

• 减少层数：比如把24层改成12层
• 减少embedding维度：比如从1024降到768或512
• 核心思路是降低模型对训练数据的记忆能力

路线二：数据侧优化

• 检查采样是否过少或集中在某类样本
• 数据增强，增加样本多样性
• 清洗噪声数据，减少异常值干扰

路线三：技术手段

• L1/L2正则化：L2正则能约束权重大小，防止模型过于复杂
• Dropout：随机失活部分神经元，提升泛化能力
• 早停法：监控验证集指标，连续N轮不再提升就停止训练
• 数据增强比例调整：比如从10%提到20%

实际案例中，加了L2正则、学习率从3e-4降到1e-4、数据增强比例从10%提到20%后，验证集准确率趋于稳定，过拟合明显缓解。

考查能力：是否理解过拟合的本质原因，能否从模型、数据、训练策略三个维度综合解决。

---

【真题4】模型出现幻觉问题怎么处理？

面试场景：面试官问"训练后的模型出现幻觉（编造不存在的信息），你怎么解决？"

参考解析：

这道题考查对模型可信赖性的重视程度。幻觉问题的核心是模型会自信地胡说八道，比如编造不存在的行业标准、虚构产品参数。

解决方案：

方案一：RAG检索增强

• 在生成答案之前，用用户问题去向量库检索相关文档
• 把检索到的真实文本拼进prompt
• 让模型基于检索结果回答，而不是凭空生成

方案二：反幻觉损失

• 在训练阶段加入辅助损失函数
• 如果模型生成内容和检索结果冲突，就给它扣分
• 具体实现：简单实体类用精确匹配+规则，复杂内容用语义相似度，低于阈值视为幻觉

方案三：数据清洗

• 训练数据中混入的风格不统一样本是幻觉的重要来源
• 重新整理数据，统一风格，明确prompt格式
• 标签标准保持一致，避免模型学到冲突的模式

实际效果：结合RAG和反幻觉损失后，人工评估的幻觉率降了30%。

关键认知：微调只能让模型更像人，不能让它说真话。需要把检索和约束机制配合使用，用量化指标监控幻觉比例。

考查能力：是否理解幻觉的根本原因，能否区分"模型问题"和"知识来源问题"。

---

【真题5】微调后模型不稳定，怎么排查？

面试场景：面试官问"你提到微调后模型有时能答对，有时完全跑偏，这种不稳定怎么处理？"

参考解析：

这道题考查对数据质量和任务定义的敏感度。模型不稳定往往不是模型本身的问题，而是训练数据存在冲突或任务定义模糊。

问题定位：

检查数据一致性

• 训练数据是否混入了不同风格的样本？
• prompt书写是否过于自由、缺乏固定格式？
• 标签标准是否在部分样本上存在矛盾？

检查任务定义

• 换几组不同的prompt，看输出是否一致
• 如果换prompt就崩了，说明模型学到的是prompt模式而非任务本身
• 任务描述是否足够明确，让模型理解核心目标

解决方案：

重新整理数据

• 统一样本风格，删除冲突样本
• 规范prompt格式，加入明确的指令约束
• 对训练数据进行分桶，确保每个桶内样本一致

调整任务描述

• prompt改得更加明确，减少歧义空间
• 加入few-shot示例，让模型学习期望的输出模式
• 明确输出格式，比如"请用三句话回答"

验证方法

• 用干净子集重新训练，对比效果
• 构造测试集，覆盖不同类型的输入
• 观察模型在边界情况下的表现

考查能力：是否能从数据质量角度定位问题，而不是一上来就怀疑模型架构或训练策略。

---

技术选型决策框架

面试中遇到微调相关问题，可以按以下框架组织回答：

Step 1：明确约束条件

• 数据规模（千条/万条/十万条）
• 算力资源（显存、训练时间）
• 效果要求（80分够用还是追求极致）
• 部署环境（推理速度是否敏感）

Step 2：匹配方案特性

• 数据量小、资源有限 → LoRA或冻结策略
• 数据量大、追求效果 → 全量微调
• 任务简单、快速验证 → 只训练输出层

Step 3：预设问题预案

• 过拟合风险高的场景：提前规划正则化、早停、数据增强
• 幻觉敏感场景：提前设计RAG+约束机制
• 不稳定性风险：提前检查数据一致性、规范prompt格式

Step 4：量化验证标准

• 不要只看训练loss，要看验证集和线下测试集
• 构造边界测试用例，不要只测正常情况
• 用人工评估作为最终检验

微调选型的核心不是追求最强方案，而是找到满足业务需求的最优解。面试官想看到的是你对"约束条件-方案选择-问题预案"这条链路的完整思考。