避坑指南：挑选大模型显卡，你应该看哪些参数？

如果你是为了跑大模型（LLM）而购买或租用显卡，那么你平时在游戏测评里看到的“帧率”、“光追”性能几乎毫无参考价值。在大模型领域，显卡更像是一个**“高速运作的仓库”**。

评估一张显卡是否合格，请按以下优先级关注这五个关键维度：

---

1. 显存容量（VRAM）—— 绝对的“入场券”

显存决定了你“能不能跑”。

大模型必须完整地加载进显存才能运行。如果显存不够，程序会直接报 Out of Memory (OOM) 错误。

• ​硬性标准：

  • ​8GB - 12GB：只能跑 7B 级别的量化小模型。
  • ​16GB - 24GB：个人开发者的“黄金位”，能跑 14B 模型或量化版的 70B 模型。
  • ​40GB - 80GB：专业级/企业级，支持更大规模模型或更长的对话上下文。

---

2. 显存带宽（Memory Bandwidth）—— 生成速度的“天花板”

带宽决定了你“跑得有多快”。

大模型推理是一个“访存密集型”任务。每生成一个字，显卡都要把几十 GB 的参数全部“读”一遍。读得越快，出字就越快。

• ​计算公式：显存频率 $\times$ 位宽。

• ​对比参考：

  • ​RTX 4060 Ti​：带宽约 ​288 GB/s（出字速度较慢）。
  • ​RTX 4090​：带宽约 ​1,008 GB/s（极速体验）。
  • ​H100​：带宽约 ​3,350 GB/s（怪兽级性能）。

---

3. 架构与算力版本（Compute Capability）

架构决定了硬件的“代差优势”。

大模型领域有一个非常关键的数值格式叫 ​BF16（Brain Floating Point 16） 。它比传统的 FP16 更稳定，是大模型训练和推理的主流格式。

• ​分水岭​：NVIDIA Ampere 架构（RTX 30系列 / A100）及之后的显卡才原生支持 BF16。
• ​FP8 支持​：最新的 Ada Lovelace (RTX 40系列) 或 Hopper (H100) 架构支持 FP8 精度，可以让推理效率在不损耗精度的情况下翻倍。

---

4. Tensor Cores（张量核心）

这是显卡里的“专业计算器”。

普通的 CUDA 核心负责通用计算，而 Tensor Cores 是专门为矩阵乘法（AI 的底层运算）设计的。

• ​关注点：不要只看 CUDA 核心数，要看第几代 Tensor Cores。新一代的 Tensor Cores 在处理大模型常用的低精度计算（如 INT4, FP8）时，效率有质的飞跃。

---

5. 互联带宽（NVLink / PCIe 协议）

这决定了“多卡协作”的效率。

当一个模型大到一张卡装不下，需要两张或八张卡一起跑时，卡与卡之间的数据传输速度就成了瓶颈。

• ​NVLink：NVIDIA 的私有高速连接技术。专业卡（A100/H100）支持，能让多卡像一张卡一样工作。
• ​PCIe 4.0/5.0：消费级显卡（如 4090）取消了 NVLink，只能走 PCIe 通道，多卡协同效率会打折扣。

---

总结：我的选购建议

你的需求	关注重点	推荐方案
纯新手入门	显存容量	RTX 3060 (12G) 或 4060 Ti (16G)
高性能个人开发	显存容量 + 带宽	RTX 3090 (24G) 或 4090 (24G)
性价比“捡垃圾”	显存容量	Tesla P40 (24G) —— 虽老但大，适合轻推理
企业级推理部署	带宽 + NVLink + FP8	L40S, A100 (80G), H100

避坑金句：

“宁要 24G 的慢卡，不要 8G 的快卡。” > 因为在 AI 的世界里，装不下就意味着彻底跑不动，速度再快也没用。

---

这篇文章详细梳理了显卡的各项硬件指标。在实际购买前，建议你先确定要运行的具体模型（如 Llama 3 或 Qwen），然后再反推显存需求。