AI技术架构全局视角

一、AI/ML/DL/NLP 关系图谱

人工智能 (Artificial Intelligence)

机器学习 (Machine Learning)

深度学习 (Deep Learning)

自然语言处理

计算机视觉

语音识别

监督学习

无监督学习

强化学习

专家系统

知识表示与推理

给机器一堆数据 → 让它自动找到规律 → 以后能自己预测 / 生成

核心关系理解

层级 名称 一句话理解
最外层 AI 让机器展现智能行为的所有技术
中层 ML AI的子集,通过数据学习而非硬编码规则
内层 DL ML的子集,使用多层神经网络
应用层 NLP DL的一个应用方向,处理人类语言

后端类比

  • AI ≈ 整个后端系统
  • ML ≈ 业务逻辑层(根据输入计算输出)
  • DL ≈ 复杂的微服务架构(多层处理)
  • NLP ≈ 特定的API服务(如翻译接口)

二、技术栈分层架构

基础层

CUDA/GPU

Python

NumPy/Pandas

框架层

PyTorch

TensorFlow

Transformers

模型层

大语言模型
GPT/LLaMA

BERT系列

专用模型

应用层

ChatGPT/Claude

智能客服

代码助手

各层详解

1. 基础层(Infrastructure)
  • Python:AI领域的主流语言
  • CUDA/GPU:并行计算能力,加速训练
  • NumPy/Pandas:数据处理的基础库
2. 框架层(Frameworks)
  • PyTorch:目前最流行,动态图,调试友好
  • TensorFlow:Google出品,生产部署成熟
  • Transformers:Hugging Face的模型库,调用预训练模型
3. 模型层(Models)
  • 大语言模型:GPT、Claude、LLaMA等
  • BERT系列:理解型任务
  • 专用模型:针对特定任务优化
4. 应用层(Applications)
  • 各种AI产品和服务

三、学习路径建议

阅读文档

阅读文档

阅读文档

阅读文档

阅读文档

阅读文档+代码

开始

第一步:基础概念

第二步:机器学习

第三步:深度学习

第四步:NLP

第五步:模型训练

第六步:RAG应用

大纲-整体技术架构.md

机器学习.md

深度学习.md

自然语言处理.md

模型训练.md

RAG基于langchain实现.md

学习建议

阶段 学习内容 时间建议 目标
1 基础概念 1天 建立全局认知
2 机器学习 3-5天 理解核心范式
3 深度学习 5-7天 理解神经网络
4 NLP 3-5天 理解语言模型
5 模型训练 3-5天 掌握训练流程
6 RAG应用 持续 实际应用能力

四、核心术语速查

术语 英文 简单理解
模型 Model 一个数学函数,输入→输出
训练 Training 用数据调整模型参数
推理 Inference 用训练好的模型处理新数据
损失函数 Loss Function 衡量模型预测与真实值的差距
优化器 Optimizer 调整参数的算法
超参数 Hyperparameter 训练前设置的参数
批次 Batch 一次训练的样本数量
轮次 Epoch 遍历全部训练数据一次
过拟合 Overfitting 模型"死记硬背"训练数据
泛化 Generalization 模型处理未见数据的能力

五、后端工程师视角

AI模型 vs 传统后端服务

AI服务

输入文本

模型推理
(概率性计算)

输出结果

传统后端

HTTP请求

业务逻辑
(确定性的代码)

数据库查询

HTTP响应

关键差异

维度 传统后端 AI服务
逻辑 确定性规则 概率性预测
输出 相同输入=相同输出 相同输入可能有不同输出
资源 CPU为主 GPU为主
延迟 通常<100ms 可能需要数秒
调试 断点+日志 需要分析模型行为
部署 容器化 需要GPU支持

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐