一、基础认知

1. 什么是大语言模型 LLM？

基于海量文本预训练、依靠Transformer架构，具备上下文理解、文本生成、逻辑推理的巨型参数语言模型。

2. 大模型和传统NLP区别

• 传统NLP：分任务建模、小样本、依赖特征工程

• LLM：通用基座、大一统任务、Prompt驱动、海量数据预训练

3. 主流开源大模型有哪些

Llama系列、Qwen通义千问、Yi、GLM、Mistral、Phi、Baichuan百川

4. 什么是Token？

文本最小切分单元，中文1汉字≈1~2token，英文1单词≈1token，决定输入长度与计费。

5. 上下文窗口 Context Window 含义

模型一次能读取处理的最长输入+输出总长度，超出直接截断，Llama2=4096，Llama3=8192。

二、Transformer 核心原理

1. Transformer 两大核心模块

Encoder 编码器 + Decoder 解码器

2. 大模型为什么只用 Decoder？

自回归生成任务只需要单向因果注意力，仅Decoder结构推理更快、更适合文本续写。

3. 自注意力机制 Self-Attention 作用

计算文本词语之间关联权重，捕捉长距离语义依赖。

4. QKV 分别是什么

• Q Query 查询

• K Key 键

• V Value 值

通过Q与K相似度打分，加权聚合V得到输出。

5. 多头注意力作用

拆分多组注意力头，并行捕捉语法、语义、语序不同维度特征。

6. 位置编码作用

Transformer无时序感知，注入词语先后顺序信息，主流：RoPE旋转位置编码。

7. RoPE 优势

相对位置编码，支持上下文长度外推，比绝对位置编码泛化更强。

三、预训练 & 训练目标

1. LLM 预训练任务

下一词预测 NSP 改为 CLM 因果语言建模，给定上文预测下一个token。

2. 预训练、微调、对齐三者区别

• 预训练：海量无标注数据，学习通用语言知识

• 微调：行业/业务标注数据，适配垂直场景

• 对齐SFT/RLHF：对齐人类意图，拒绝有害内容、贴合人类对话

3. SFT 监督微调是什么

用高质量人工对话数据训练，让模型学会遵循指令。

4. RLHF 三阶段

1）SFT指令微调

2）训练奖励模型RM打分

3）PPO强化学习优化模型输出

5. DPO 对比RLHF优势

直接偏好优化，省去奖励模型，训练更简单、成本更低、效果接近RLHF。

四、轻量化微调（必考）

1. 全量微调 vs 参数高效微调

• 全量：更新全部权重，显存极大、成本高

• 高效微调：只更新少量参数，低成本落地

2. LoRA 原理（最常问）

冻结原模型权重，插入低秩矩阵，只训练小矩阵，显存占用极低，主流微调方案。

3. LoRA 优势

显存小、训练快、不破坏原模型权重、可热插拔切换场景。

4. QLoRA 是什么

4比特量化+LoRA，单消费级显卡即可微调7B/13B大模型。

5. 常用微调方案

LoRA、QLoRA、IA3、Prefix Tuning、Prompt Tuning

五、量化推理

1. 模型量化作用

降低精度（FP16→INT8/INT4），减小显存占用、加速推理、降低部署门槛。

2. 量化等级区别

• FP16：半精度，无损

• INT8：轻度有损，速度快

• INT4：极致压缩，显存最小，轻微效果损失

3. 主流推理框架

vLLM、Text Generation Inference、llama.cpp、FastGPT

4. vLLM 加速原理

PagedAttention 分页注意力，复用KV缓存，大幅提升并发吞吐。

5. KV Cache 作用

缓存历史对话注意力键值，避免重复计算，大幅提速对话。

六、RAG检索增强生成（业务面试必问）

1. 什么是RAG

检索私有知识库内容，拼接进Prompt，让大模型回答私有数据、减少幻觉。

2. RAG 完整流程

文档解析→文本切片→向量化入库→用户提问→问句向量化→相似度检索→上下文拼接Prompt→LLM生成答案

3. 文本切片难点

切片过大语义混杂，过小丢失完整语义，常用重叠切片。

4. 向量库主流选型

FAISS、Milvus、Chroma、Qdrant、ES向量检索

5. RAG 如何降低幻觉

优质切片、精准检索、重排序Rerank、 Prompt约束、事后事实校验

6. RAG 和微调怎么选

• 实时更新数据、知识库庞大：优先RAG

• 固定业务话术、风格统一、指令习惯：优先微调

七、工程部署面试题

1. 大模型部署几种方式

• 本地私有化部署

• API调用公有模型

• 混合部署

2. 并发量大如何优化

开启KV缓存、vLLM部署、批量推理、模型量化、多卡负载均衡

3. 对话历史过长怎么处理

滑动窗口截断、摘要压缩、历史总结、分层记忆

4. 大模型常见问题

幻觉、上下文遗忘、逻辑弱、多轮一致性差、速度慢

5. 如何做模型评测

通用能力评测、业务场景人工评测、客观指标困惑度、准确率、召回率

八、场景实战题

1. 企业知识库问答怎么做？

文档拆分+向量化RAG+后处理过滤，不改动大模型权重最快落地。

2. 私人专属AI助手怎么做？

LoRA微调人设+RAG个人知识库+记忆管理。

3. 大模型输出乱码/超长重复怎么解决

设置max_new_tokens、温度temperature调低、添加停止词、正则过滤。

九、简答高频背诵版

1. 大模型训练三要素

数据、算法、算力

2. 降低大模型使用成本

量化、RAG替代微调、本地开源部署、限制生成长度

3. 温度Temperature作用

越高越随机创意，越低越严谨确定

2026年AI行业最大的机会，毫无疑问就在应用层！

字节跳动已有7个团队全速布局Agent

大模型岗位暴增69%，年薪破百万！

腾讯、京东、百度开放招聘技术岗，80%与AI相关……

如今，超过60%的企业都在推进AI产品落地，而真正能交付项目的 大模型应用开发工程师 **，**却极度稀缺！

落地AI应用绝对不是写几个prompt，调几个API就能搞定的，企业真正需要的，是能搞定这三项核心能力的人：

✅RAG：融入外部信息，修正模型输出，给模型装靠谱大脑

✅Agent智能体：让AI自主干活，通过工具调用（Tools）环境交互，多步推理完成复杂任务。比如做智能客服等等……

✅微调：针对特定任务优化，让模型适配业务

目前，脉脉上有超过1000家企业发布大模型相关岗位，人工智能岗平均月薪7.8w！实习生日薪高达4000！远超其他行业收入水平！

技术的稀缺性，才是你「值钱」的关键！

具备AI能力的程序员，比传统开发高出不止一截！有的人早就转行AI方向，拿到百万年薪！👇🏻👇🏻

AI浪潮，正在重构程序员的核心竞争力！现在入场，仍是最佳时机！

我把大模型的学习全流程已经整理📚好了！抓住AI时代风口，轻松解锁职业新可能，希望大家都能把握机遇，实现薪资/职业跃迁～

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

⭐️从大模型微调到AI Agent智能体搭建

剖析AI技术的应用场景，用实战经验落地AI技术。从GPT到最火的开源模型，让你从容面对AI技术革新！

大模型微调

• 掌握主流大模型（如DeepSeek、Qwen等）的微调技术，针对特定场景优化模型性能。

• 学习如何利用领域数据（如制造、医药、金融等）进行模型定制，提升任务准确性和效率。

RAG应用开发

• 深入理解检索增强生成（Retrieval-Augmented Generation, RAG）技术，构建高效的知识检索与生成系统。
• 应用于垂类场景（如法律文档分析、医疗诊断辅助、金融报告生成等），实现精准信息提取与内容生成。

AI Agent智能体搭建

• 学习如何设计和开发AI Agent，实现多任务协同、自主决策和复杂问题解决。
• 构建垂类场景下的智能助手（如制造业中的设备故障诊断Agent、金融领域的投资分析Agent等）。

如果你也有以下诉求：

快速链接产品/业务团队，参与前沿项目

构建技术壁垒，从竞争者中脱颖而出

避开35岁裁员危险期，顺利拿下高薪岗

迭代技术水平，延长未来20年的新职业发展！

……

那这节课你一定要来听！

因为，留给普通程序员的时间真的不多了！

立即扫码，即可免费预约

「AI技术原理 + 实战应用 + 职业发展」

「大模型应用开发实战公开课」

👇👇

👍🏻还有靠谱的内推机会+直聘权益！！

完课后赠送：大模型应用案例集、AI商业落地白皮书