在大模型落地应用中，RAG（检索增强生成）和模型微调是解决“模型知识不足、适配特定场景”的核心技术。本文结合面试高频问题，精简核心内容、补充HR/面试官常问知识点，全面对比二者差异，拆解微调关键要点，助力开发者快速掌握核心，应对面试提问。

一、核心概念回顾

• RAG（检索增强生成）：不修改大模型参数，通过检索外部知识库获取相关信息，作为上下文输入模型生成回答，核心解决模型幻觉、知识时效性不足问题，低成本实现知识更新。

• 微调（Fine-tuning）：基于预训练大模型（LLaMA、ChatGLM等），用特定场景标注数据集更新模型参数，让模型记住专属知识、适配固定任务，核心是修改模型本身。

二、RAG与微调核心对比

核心差异对比：

对比维度	RAG	微调
核心逻辑	外部检索+模型生成，不改参数	数据更新参数，模型主动学习
模型修改	无参数修改	全量/部分参数更新
知识更新	简单高效，直接更新知识库	繁琐，需重新训练模型
数据/技术/部署成本	低，易部署，新手可上手	高，需标注数据、GPU资源，门槛高
适用场景	知识高频更新、场景多变	知识固定、格式统一、场景单一
幻觉控制	易控制，可追溯来源	难控制，数据集偏差易产生新幻觉

面试核心结论（必记）：优先用RAG解决时效性、幻觉问题；RAG无法满足时选微调；实际常用“RAG+微调”结合，平衡成本与效果。

三、微调的核心应用场景

1. 特定领域知识固化场景

领域知识固定（如医疗、法律、芯片），需模型快速输出专业回答，无需检索；例：医疗模型回答抗生素适用人群，需医疗数据集微调。

2. 固定格式输出场景

输出格式统一（如财务报表、简历解析、代码生成），RAG无法保证一致性；例：简历信息固定字段提取，需标注数据集微调。

3. 特定话术/语气适配场景

需贴合场景语气（客服、营销、教育）；例：电商营销话术微调，适配品牌语气。

4. 复杂任务逻辑适配场景

需模型掌握复杂逻辑（翻译、情感分析、多轮对话）；例：电商评论情感判断，需标注情感标签数据集微调。

5. 隐私敏感场景

知识涉密（企业内部流程、客户隐私），无法构建外部知识库；例：企业内网请假流程问答，需内部数据集微调。

四、微调的具体方法

1. 全量微调

核心：更新模型所有参数，适配全新领域；特点：数据需求大（万级+）、GPU成本高、易出现灾难性遗忘；适用：高要求、资源充足场景。

2. 增量微调

核心：仅更新模型顶层参数，保留底层预训练知识；特点：数据需求低（千级）、成本低、不易遗忘；适用：多数企业级场景（最常用）。

3. LoRA微调

核心：插入低秩矩阵，仅更新矩阵参数，不改动原模型；特点：参数更新极少、训练快、可多场景复用、无遗忘；适用：资源有限、多场景迭代（目前主流）。

4. QLoRA微调

核心：LoRA+模型量化（4/8-bit），进一步降低资源需求；特点：普通GPU可微调7B+模型，成本极低；适用：个人开发者、中小团队。

5. 指令微调

核心：用“指令+输入+输出”三元组训练，适配多通用任务；特点：可结合LoRA使用，降低成本；适用：多任务智能助手场景。

6. 对比微调

核心：对比学习优化语义理解，常配合RAG使用；特点：需标注相似/不相似文本对；适用：提升RAG检索精度场景。

五、微调的关键注意事项

• 数据集质量优先：标注错误、冗余会导致模型效果差，需清洗校验。

• 避免过拟合：数据量少、轮次多易过拟合，可通过减少轮次、增加数据、正则化缓解。

• 参数调优：核心参数（学习率1e-5~1e-4、批次8~32、轮次3~10），新手先默认再微调。

• 模型选型：小场景选7B以下，大场景选13B+，匹配资源与需求。

• 效果评估：需用测试集验证（准确率、BLEU值、困惑度），不可盲目上线。

六、补充HR高频提问知识点

1. 选型类

Q：项目中RAG和微调如何选型？A：先判断知识是否更新——高频更新用RAG；知识固定且需固定格式/逻辑，用微调；资源有限优先LoRA/QLoRA；复杂场景用“RAG+微调”结合。

2. 成本类

Q：微调的成本主要集中在哪些方面？A：核心是标注成本（高质量标注数据集）、GPU资源成本（训练+部署）、技术人力成本（参数调优、问题排查）。

3. 问题排查类

Q：微调后模型效果差，可能原因有哪些？A：①数据集质量差（标注错误、冗余）；②参数调优不当（学习率、轮次不合理）；③模型选型与场景不匹配；④过拟合/欠拟合。

4. 落地类

Q：小团队如何低成本实现微调？A：优先选择QLoRA微调7B以下模型，使用开源标注工具（如LabelStudio）降低标注成本，复用开源框架（peft、bitsandbytes）减少技术开发成本。

5. 对比延伸类

Q：RAG和微调的核心优缺点分别是什么？A：RAG优点：成本低、易维护、知识更新快；缺点：无法适配固定格式/复杂逻辑。微调优点：场景适配性强、输出精准；缺点：成本高、更新繁琐、易产生幻觉。

七、总结（面试背诵版）

1. 选型逻辑：知识更新快→RAG；知识固定、格式/逻辑固定→微调；资源有限→LoRA/QLoRA。

2. 微调核心：常用方法按成本从低到高：QLoRA＜LoRA＜增量微调＜指令微调＜全量微调，主流为LoRA/QLoRA。

3. 面试重点：选型逻辑、微调方法区别、成本控制、效果排查，掌握“RAG+微调”结合的落地思路。