前言:

         学习大模型之前首先我们需要熟悉各种常用词汇代表的含义，下面不断总结更新我们常见词汇，帮助我们理解记忆：

根据整体流程框架总览:

一、模型 / 机构类
LLM — Large Language Model — 大语言模型
SLM — Small Language Model — 小语言模型
MoE — Mixture of Experts — 混合专家模型
AGI — Artificial General Intelligence — 通用人工智能
OpenAI — OpenAI — 开放人工智能（机构名）
GPT — Generative Pre-trained Transformer — 生成式预训练 Transformer
DeepSeek — DeepSeek — 深度求索（模型 / 机构）
Qwen — Qwen — 通义千问
Llama — Llama — Meta 开源大模型
GLM — General Language Model — 通用语言模型（智谱）

二、架构 / 技术类
Transformer — Transformer — Transformer 架构（大模型基础）
Encoder — Encoder — 编码器
Decoder — Decoder — 解码器
RNN — Recurrent Neural Network — 循环神经网络
CNN — Convolutional Neural Network — 卷积神经网络
ANN — Approximate Nearest Neighbor — 近似最近邻搜索
NN — Neural Network — 神经网络
DNN — Deep Neural Network — 深度神经网络

三、训练 / 微调类
Pre-training — Pre-training — 预训练
SFT — Supervised Fine-Tuning — 监督微调
RLHF — Reinforcement Learning from Human Feedback — 基于人类反馈的强化学习
DPO — Direct Preference Optimization — 直接偏好优化
LoRA — Low-Rank Adaptation — 低秩适配（轻量微调）
QLoRA — Quantized LoRA — 量化低秩适配
FT — Fine-Tuning — 全参数微调

四、推理 / 部署类
Inference — Inference — 推理
Context Window — Context Window — 上下文窗口
Token — Token — 词元（文本基本单位）
vLLM — Virtual Large Language Model — 高效大模型推理引擎
TPU — Tensor Processing Unit — 张量处理器
GPU — Graphics Processing Unit — 图形处理器（训练 / 推理常用）
API — Application Programming Interface — 应用程序编程接口
SDK — Software Development Kit — 软件开发工具包

五、NLP & 向量相关
NLP — Natural Language Processing — 自然语言处理
Embedding — Embedding — 词嵌入 / 向量表示
RAG — Retrieval-Augmented Generation — 检索增强生成
Vector DB — Vector Database — 向量数据库
Semantic Search — Semantic Search — 语义搜索

六、任务 / 能力类
NLG — Natural Language Generation — 自然语言生成
NLU — Natural Language Understanding — 自然语言理解
MT — Machine Translation — 机器翻译
QA — Question Answering — 问答
CoT — Chain-of-Thought — 思维链

基本概念:

第一部分  机器学习与深度学习基础

一、基础概念

• 机器学习：Machine Learning (ML)
• 人工智能：Artificial Intelligence (AI)
• 深度学习：Deep Learning (DL)
• 模型：Model
• 训练：Training
• 推理 / 预测：Inference / Prediction
• 参数：Parameter
• 超参数：Hyperparameter

二、数据相关

• 数据集：Dataset
• 训练集：Training Set
• 验证集：Validation Set
• 测试集：Test Set
• 特征：Feature
• 标签 / 目标：Label / Target
• 样本：Sample / Instance
• 标注：Annotation
• 归一化：Normalization
• 标准化：Standardization

三、学习范式

• 监督学习：Supervised Learning
• 无监督学习：Unsupervised Learning
• 半监督学习：Semi-supervised Learning
• 强化学习：Reinforcement Learning (RL)
• 迁移学习：Transfer Learning

四、任务类型

• 分类：Classification
• 回归：Regression
• 聚类：Clustering
• 降维：Dimensionality Reduction
• 生成：Generation

五、经典算法

• 线性回归：Linear Regression
• 逻辑回归：Logistic Regression
• K 近邻：KNN
• 决策树：Decision Tree
• 随机森林：Random Forest
• 支持向量机：SVM
• 朴素贝叶斯：Naive Bayes
• K-Means：K-Means
• 主成分分析：PCA

六、深度学习

• 神经网络：Neural Network
• 卷积神经网络：CNN
• 循环神经网络：RNN
• Transformer：Transformer
• 激活函数：Activation Function
• 前向传播：Forward Propagation
• 反向传播：Backpropagation
• 梯度下降：Gradient Descent
• 学习率：Learning Rate
• 批次：Batch
• 迭代轮数：Epoch

七、损失与优化

• 损失函数：Loss Function
• 均方误差：MSE
• 交叉熵：Cross Entropy
• 梯度：Gradient
• 正则化：Regularization
• 早停：Early Stopping

八、评估指标

• 准确率：Accuracy
• 精确率：Precision
• 召回率：Recall
• F1 分数：F1 Score
• 混淆矩阵：Confusion Matrix
• 过拟合：Overfitting
• 欠拟合：Underfitting
• 泛化能力：Generalization

第二部分  大模型发展及关键技术

一、基础与范式

1. 大语言模型 – Large Language Model (LLM)
2. 基础模型 – Foundation Model
3. 预训练 – Pre-training
4. 微调 – Fine-tuning
5. 指令微调 – Instruction Tuning
6. 对齐 – Alignment

二、架构与核心模块

1. Transformer – Transformer
2. 编码器 – Encoder
3. 解码器 – Decoder
4. 自注意力 – Self-Attention
5. 多头注意力 – Multi-Head Attention
6. 位置编码 – Positional Encoding

三、训练与优化

1. 上下文窗口 – Context Window
2. 参数量 – Parameter Count
3. token – 令牌 / 词元
4. 分词器 – Tokenizer
5. 批量大小 – Batch Size
6. 学习率 – Learning Rate
7. 优化器 – Optimizer
8. 分布式训练 – Distributed Training

四、高效与工程

1. 稀疏注意力 – Sparse Attention
2. 量化 – Quantization
3. LoRA – 低秩适配
4. 推理 – Inference
5. 显存 – GPU Memory / VRAM

五、能力与评估

1. 涌现能力 – Emergent Abilities
2. 思维链 – Chain-of-Thought (CoT)
3. 少样本学习 – Few-shot Learning
4. 零样本学习 – Zero-shot Learning
5. 幻觉 – Hallucination

六、对齐与安全

1. RLHF – 基于人类反馈的强化学习
2. DPO – 直接偏好优化
3. 红队测试 – Red Teaming
4. 安全对齐 – Safety Alignment

七、多模态与扩展

1. 多模态大模型 – Multimodal LLM
2. 图文对齐 – Vision-Language Alignment
3. RAG – 检索增强生成
4. Agent – 智能体
5. 工具使用 – Tool Use
6. 长文本理解 – Long-Context Understanding

关键技术应用场景:

第一部分  提示工程(prompt)

一、核心基础

1、提示工程 – Prompt Engineering

2、提示 / 提示词 – Prompt

3、指令 – Instruction

4、上下文 – Context

5、输入提示 – Input Prompt

6、输出响应 – Output Response

7、提示模板 – Prompt Template

二、提示设计与结构

1、少样本提示 – Few-shot Prompting

2、零样本提示 – Zero-shot Prompting

3、思维链提示 – Chain-of-Thought (CoT) Prompting

4、逐步提示 – Step-by-Step Prompting

5、角色提示 – Role Prompting

6、约束提示 – Constraint Prompting

7、示例演示 – Demonstration (Few-shot 中的示例)

8、格式指定 – Format Specification

9、任务描述 – Task Description

三、进阶优化技巧

1、提示调优 – Prompt Tuning

2、自动提示工程 – Automatic Prompt Engineering (APE)

3、提示增强 – Prompt Enhancement

4、提示精炼 – Prompt Refinement

5、反提示 – Anti-Prompt (避免模型生成特定内容)

6、元提示 – Meta-Prompt (指导模型生成提示)

7、多阶段提示 – Multi-Stage Prompting

8、提示链 – Prompt Chaining

四、落地应用与评估

1、上下文窗口 – Context Window

2、提示长度 – Prompt Length

3、响应一致性 – Response Consistency

4、提示鲁棒性 – Prompt Robustness

5、提示压缩 – Prompt Compression

6、领域适配提示 – Domain-Adapted Prompt

7、提示模板库 – Prompt Template Library

8、提示效果评估 – Prompt Evaluation

第二部分  检索增强生成-RAG（Retrieval-Augmented Generation）

一、核心基础

1、检索增强生成 – Retrieval-Augmented Generation (RAG)

2、大语言模型 – Large Language Model (LLM)

3、知识库 – Knowledge Base

4、向量数据库 – Vector Database

5、嵌入 / 向量嵌入 – Embedding / Vector Embedding

二、数据处理环节

1、文档加载 – Document Loading

2、文档分割 / 分块 – Document Splitting / Chunking

3、文本预处理 – Text Preprocessing

4、元数据 – Metadata

5、文档索引 – Document Indexing

三、检索核心环节

1、检索 – Retrieval

2、相似性搜索 – Similarity Search

3、余弦相似度 – Cosine Similarity

4、向量检索 – Vector Search

5、混合检索 – Hybrid Search（文本检索 + 向量检索）

6、召回率 – Recall

7、精确率 – Precision

8、Top-K 检索 – Top-K Retrieval

四、生成与优化环节

1、提示模板 – Prompt Template

2、上下文增强 – Context Enhancement

3、答案生成 – Answer Generation

4、引用溯源 – Citation / Source Attribution

5、去重 – Deduplication

6、过滤 – Filtering

7、重排 – Reranking

8、幻觉抑制 – Hallucination Mitigation

9、检索增强提示 – Retrieval-Augmented Prompting

五、工程落地

1、嵌入模型 – Embedding Model

2、检索器 – Retriever

3、生成器 – Generator

4、管道 / 工作流 – Pipeline / Workflow

5、批量处理 – Batch Processing

6、增量更新 – Incremental Update

7、缓存 – Caching

第三部分  Agent

一、大模型应用基础

1. 大语言模型 – Large Language Model (LLM)
2. 提示词 / 提示工程 – Prompt / Prompt Engineering
3. 上下文窗口 – Context Window
4. 上下文管理 – Context Management
5. 检索增强生成 – Retrieval-Augmented Generation (RAG)
6. 知识库 – Knowledge Base
7. 向量数据库 – Vector Database
8. 微调 / 指令微调 – Fine-tuning / Instruction Tuning
9. 幻觉 – Hallucination
10. 插件 / 工具调用 – Plugin / Tool Calling

二、Agent 核心概念

1. 智能体 – Agent
2. 自主智能体 – Autonomous Agent
3. 多智能体系统 – Multi-Agent System (MAS)
4. 规划 – Planning
5. 推理 – Reasoning
6. 记忆 – Memory
7. 执行器 – Executor
8. 观测 – Observation
9. 行动 – Action
10. 目标导向 – Goal-Oriented

三、Agent 架构与流程

1. 思维链 – Chain-of-Thought (CoT)
2. 反思 / 自我修正 – Reflection / Self-Correction
3. 工具使用 – Tool Use
4. 函数调用 – Function Calling
5. 任务分解 – Task Decomposition
6. 状态跟踪 – State Tracking
7. 工作流 – Workflow
8. 循环执行 – Loop / Iteration

四、记忆与上下文

1. 短期记忆 – Short-term Memory
2. 长期记忆 – Long-term Memory
3. 情景记忆 – Episodic Memory
4. 语义记忆 – Semantic Memory
5. 记忆检索 – Memory Retrieval
6. 记忆摘要 – Memory Summarization

五、交互与协同

1. 人机交互 – Human-Agent Interaction
2. 智能体协作 – Agent Collaboration
3. 对话管理 – Dialogue Management
4. 意图识别 – Intent Recognition
5. 决策机制 – Decision Making
6. 反馈闭环 – Feedback Loop

六、部署与工程

1. 智能体框架 – Agent Framework
2. 流水线 – Pipeline
3. 中间件 – Middleware
4. API 调用 – API Call
5. 流式输出 – Streaming Output
6. 并发控制 – Concurrency Control
7. 可靠性 – Reliability
8. 可解释性 – Interpretability

七、安全与对齐

1. 对齐 – Alignment
2. 红队测试 – Red Teaming
3. 安全护栏 – Safety Guardrails
4. 权限控制 – Permission Control