目录

1 硬件层（算力）

2 深度学习训练框架

3 大模型层

4 推理层（Inference）

5 数据层

6 向量数据库 / RAG

7 AI开发框架

8 Agent系统

9 AI IDE

10 协议与工具连接

11 AI工程完整架构

12 工程师AI技术路线

---

工程视角下，AI系统通常分为 9个技术层：

硬件 → 训练框架 → 模型 → 推理 → 数据 → RAG → Agent → AI IDE → 应用

---

1 硬件层（算力）

提供模型训练与推理计算。

类型	技术 / 公司
GPU	NVIDIA
GPU	AMD
AI芯片	Intel
TPU	Google
AI芯片	Huawei

核心作用

GPU
↓
模型训练
↓
模型推理

---

2 深度学习训练框架

训练AI模型的基础软件。

框架	公司
PyTorch	Meta
TensorFlow	Google
JAX	Google
PaddlePaddle	Baidu

工程作用

数据
↓
训练框架
↓
AI模型

---

3 大模型层

核心AI能力。

模型	公司
GPT	OpenAI
Claude	Anthropic
Gemini	Google
Llama	Meta
DeepSeek	DeepSeek
通义千问	Alibaba

能力

• 语言理解
• 代码生成
• 推理
• 多模态

---

4 推理层（Inference）

负责 模型运行优化。

主要技术

技术
vLLM
TensorRT
ONNX Runtime
Triton Inference Server
DeepSpeed

作用

模型
↓
推理引擎
↓
API服务

---

5 数据层

AI应用的数据基础。

类型	技术
数据仓库	Snowflake
数据平台	Databricks
数据处理	Spark
数据标注	Label Studio
数据集	HuggingFace

---

6 向量数据库 / RAG

解决 知识库和检索问题。

向量数据库

• Pinecone
• Milvus
• Weaviate
• Qdrant
• Chroma
• Elasticsearch

RAG流程

用户问题
↓
向量检索
↓
知识片段
↓
LLM生成

---

7 AI开发框架

构建AI应用。

工具
LangChain
LlamaIndex
Dify
Haystack
Semantic Kernel
DSPy

工程结构

模型
↓
框架
↓
AI应用

---

8 Agent系统

让AI可以 自动执行任务。

框架

工具
AutoGPT
CrewAI
LangGraph
BabyAGI
OpenClaw

结构

LLM
↓
Agent
↓
工具调用
↓
任务执行

---

9 AI IDE

AI驱动的软件开发工具。

工具	公司
Visual Studio Code	Microsoft
IntelliJ IDEA	JetBrains
Cursor	Cursor
Windsurf	Codeium
Trae	ByteDance
GitHub Copilot	Microsoft
Claude Code	Anthropic

开发范式

• Vibe Coding
• AI Pair Programming

---

10 协议与工具连接

让AI连接外部系统。

技术

• MCP（Model Context Protocol）
• OpenAPI
• Function Calling
• Plugins

结构

AI
│
├ API
├ 数据库
├ 文件
└ SaaS

---

11 AI工程完整架构

完整技术栈：

应用
│
Agent
│
AI框架
│
RAG
│
向量数据库
│
数据平台
│
推理引擎
│
模型
│
训练框架
│
GPU

---

12 工程师AI技术路线

一个完整AI系统通常包含：

GPU
↓
训练框架
↓
模型
↓
推理服务
↓
RAG
↓
Agent
↓
应用

---

概述

AI工程技术核心：

模型 + 数据 + Agent

---