（二十二）32天GPU测试从入门到精通-DeepSeek 模型测试day20
目录
引言
DeepSeek 是中国深度求索公司开发的大语言模型系列，以出色的中文能力和高性价比著称，是国产大模型的代表之一。从 2023 年的第一代 DeepSeek LLM，到 2024 年的 DeepSeek-V2/V2.5，再到 2024 年底的 DeepSeek-V3 和 2025 年初的 DeepSeek-R1，DeepSeek 系列快速发展，在中文场景下表现优异。
DeepSeek 的核心创新在于 MoE（Mixture of Experts）架构和 MLA（Multi-head Latent Attention）技术。MoE 架构使得模型总参数量大但激活参数少，推理成本与较小的密集模型相当，但性能接近大模型。MLA 技术显著降低了长上下文的显存占用，使得 256K 上下文可以在单卡上运行。
掌握 DeepSeek 模型测试对中文场景应用至关重要。如果你的应用主要面向中文用户，DeepSeek 是一个值得考虑的选择。它在中文理解、中文生成、中文知识等方面都优于 LLaMA，与 Qwen 相当。
- DeepSeek 有什么独特优势？ 中文优化、高性价比
- 架构上有什么创新？ MoE 架构、高效注意力
- 中文能力如何？ 与 LLaMA/Qwen 对比
- 推理性能如何？ 延迟、吞吐量实测
- 如何部署优化？ vLLM/llama.cpp 适配
这些问题都指向一个核心主题：DeepSeek 模型测试。
DeepSeek 系列概览
┌─────────────────────────────────────────────────────────────────────┐
│ DeepSeek 模型系列 │
├─────────────────────────────────────────────────────────────────────┤
│ │
│ DeepSeek LLM (第一代): │
│ ┌─────────────────────────────────────────────────────────────┐ │
│ │ 模型：7B/16B/67B │ │
│ │ 特点：纯中文训练，上下文 4K │ │
│ │ 时间：2023 年 │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ ↓ │
│ DeepSeek-V2 (第二代): │
│ ┌─────────────────────────────────────────────────────────────┐ │
│ │ 模型：16B (MoE)/236B (MoE) │ │
│ │ 特点：MoE 架构，上下文 128K，多 token 预测 │ │
│ │ 时间：2024 年中 │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ ↓ │
│ DeepSeek-V2.5 (优化版): │
│ ┌─────────────────────────────────────────────────────────────┐ │
│ │ 模型：236B (MoE) │ │
│ │ 特点：融合架构，代码/数学增强 │ │
│ │ 时间：2024 年底 │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ ↓ │
│ DeepSeek-V3 (第三代): │
│ ┌─────────────────────────────────────────────────────────────┐ │
│ │ 模型：671B (MoE) │ │
│ │ 特点：MLA 注意力，MoE 21/37B 激活，上下文 256K │ │
│ │ 时间：2024 年底 │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ ↓ │
│ DeepSeek-R1 (推理专用): │
│ ┌─────────────────────────────────────────────────────────────┐ │
│ │ 模型：671B (MoE) │ │
│ │ 特点：强化学习优化，推理能力增强 │ │
│ │ 时间：2025 年初 │ │
│ └─────────────────────────────────────────────────────────────┘ │
│ │
└─────────────────────────────────────────────────────────────────────┘
DeepSeek 模型介绍
理解了 DeepSeek 系列的发展历程后，让我们深入了解 DeepSeek-V3 的架构特性。DeepSeek-V3 是 DeepSeek 系列的旗舰模型，总参数量 671B，但通过 MoE 架构，每 token 仅激活 21B 参数，推理成本与 21B 密集模型相当，但性能接近 671B 密集模型。
DeepSeek-V3 架构
DeepSeek-V3 的基础架构采用 Transformer Decoder-only 设计。MLA（Multi-head Latent Attention）是 DeepSeek 的核心创新之一，通过压缩 KV 为低维潜在向量，显著降低了长上下文的显存占用。MoE（Mixture of Experts）配置为 256 个专家，每 token 激活 8 个专家加 1 个共享专家，激活参数 21B/671B=3.1%。Multi-token 预测技术一次预测多个 token，提升吞吐量。
模型规格方面，总参数量 671B，激活参数 21B（每 token），词表大小 102.4k tokens，上下文 256K tokens。训练数据约 15T tokens，语言包括中文和英文，数据截止到 2024 年。
效率优化方面，MLA 降低 KV Cache 显存，MoE 稀疏激活降低计算量，多 token 预测一次预测多个 token。这些优化使得 DeepSeek-V3 在保持高性能的同时，推理成本大幅降低。
MoE 架构详解解释了 MoE 的工作原理。MoE（Mixture of Experts，专家混合）使用多个专家网络，动态选择激活。DeepSeek-V3 的 MoE 配置为：总专家数 256，每 token 激活专家 8 个，激活参数 21B/671B=3.1%，共享专家 1 个（所有 token 使用）。优势包括推理成本与 21B 密集模型相当，性能表现接近 671B 密集模型，训练效率更高（稀疏更新，更快收敛），灵活性更好（不同任务激活不同专家）。挑战包括负载均衡（确保专家均匀使用）、通信开销（多卡间专家数据交换）、部署复杂（需要 MoE 支持的推理引擎）。
├─────────────────────────────────────────────────┤
│ │
│ 基础架构: │
│ ├── Transformer Decoder-only │
│ ├── MLA (Multi-head Latent Attention) │
│ ├── MoE (Mixture of Experts): 21/37B 激活 │
│ └── Multi-token 预测技术 │
│ │
│ 模型规格: │
│ ├── 总参数量：671B │
│ ├── 激活参数：21B (每 token) │
│ ├── 词表大小：102.4k tokens │
│ └── 上下文：256K tokens │
│ │
│ 训练数据: │
│ ├── 数据量：~15T tokens │
│ ├── 语言：中文 + 英文 │
│ └── 截止：2024 年数据 │
│ │
│ 效率优化: │
│ ├── MLA: 降低 KV Cache 显存 │
│ ├── MoE: 稀疏激活，降低计算量 │
│ └── 多 token: 一次预测多个 token │
│ │
└─────────────────────────────────────────────────┘
MoE 架构详解
┌─────────────────────────────────────────────────┐
│ DeepSeek MoE 架构详解 │
├─────────────────────────────────────────────────┤
│ │
│ 什么是 MoE: │
│ ├── Mixture of Experts (专家混合) │
│ ├── 多个专家网络，动态选择激活 │
│ └── 总参数大，激活参数小 │
│ │
│ DeepSeek-V3 MoE 配置: │
│ ├── 总专家数：256 │
│ ├── 每 token 激活专家：8 │
│ ├── 激活参数：21B / 671B = 3.1% │
│ └── 共享专家：1 个 (所有 token 使用) │
│ │
│ 优势: │
│ ├── 推理成本：与 21B 密集模型相当 │
│ ├── 性能表现：接近 671B 密集模型 │
│ ├── 训练效率：稀疏更新，更快收敛 │
│ └── 灵活性：不同任务激活不同专家 │
│ │
│ 挑战: │
│ ├── 负载均衡：确保专家均匀使用 │
│ ├── 通信开销：多卡间专家数据交换 │
│ └── 部署复杂：需要 MoE 支持的推理引擎 │
│ │
└─────────────────────────────────────────────────┘
架构特点
DeepSeek 的架构创新是其性能优势的关键。MLA 注意力和多 token 预测是两项核心技术，使得 DeepSeek 在长上下文和高吞吐场景下表现优异。
MLA 注意力
MLA（Multi-head Latent Attention）是 DeepSeek 针对长上下文场景的创新设计。传统 Attention 的显存瓶颈在于 KV Cache 随序列长度线性增长，256K 上下文需要 TB 级显存，这在实际部署中是不可行的。
MLA 的解决方案是潜在注意力机制：将 KV 压缩为低维潜在向量，解码时恢复完整 KV。这种设计将显存减少 10-20 倍，使得 256K 上下文可以在单卡上运行。实现细节包括：压缩率 16x（hidden → latent），注意力头从 128（标准）减少到 16（潜在），恢复时通过上采样解码。
效果非常显著：256K 上下文仅需 8-16GB 显存，速度与标准 Attention 相当，精度无明显损失。这使得 DeepSeek-V3 在长文本应用场景下具有独特优势。
多 Token 预测技术是另一项关键创新。传统自回归一次预测 1 个 token，N 个 token 需要 N 次前向传播，延迟高、吞吐低。多 token 预测一次预测 K 个 token（K=2-4），N 个 token 需要 N/K 次前向传播，吞吐提升 K 倍，延迟降低约 K 倍。
实现方式包括：多输出头（每个位置一个预测头），辅助损失（鼓励准确预测），动态 K（根据置信度调整）。DeepSeek-V3 的配置为：默认 K=2-3，最大 K=4，吞吐提升 2.5-3 倍。
├─────────────────────────────────────────────────┤
│ │
│ 问题：传统 Attention 显存瓶颈 │
│ ├── KV Cache 随序列长度线性增长 │
│ ├── 长上下文场景显存不足 │
│ └── 256K 上下文需要 TB 级显存 │
│ │
│ 解决：潜在注意力机制 │
│ ├── 压缩 KV 为低维潜在向量 │
│ ├── 解码时恢复完整 KV │
│ ├── 显存减少：10-20x │
│ └── 256K 上下文可在单卡运行 │
│ │
│ 实现: │
│ ├── 压缩率：16x (hidden → latent) │
│ ├── 注意力头：128 (标准) → 16 (潜在) │
│ └── 恢复：解码时上采样 │
│ │
│ 效果: │
│ ├── 显存：256K 上下文仅需 8-16GB │
│ ├── 速度：与标准 Attention 相当 │
│ └── 精度：无明显损失 │
│ │
└─────────────────────────────────────────────────┘
多 token 预测
┌─────────────────────────────────────────────────┐
│ 多 Token 预测技术 │
├─────────────────────────────────────────────────┤
│ │
│ 传统自回归: │
│ ├── 一次预测 1 个 token │
│ ├── N 个 token 需要 N 次前向传播 │
│ └── 延迟高，吞吐低 │
│ │
│ 多 Token 预测: │
│ ├── 一次预测 K 个 token (K=2-4) │
│ ├── N 个 token 需要 N/K 次前向传播 │
│ ├── 吞吐提升：Kx │
│ └── 延迟降低：约 Kx │
│ │
│ 实现方式: │
│ ├── 多输出头：每个位置一个预测头 │
│ ├── 辅助损失：鼓励准确预测 │
│ └── 动态 K: 根据置信度调整 │
│ │
│ DeepSeek-V3 配置: │
│ ├── 默认 K: 2-3 │
│ ├── 最大 K: 4 │
│ └── 吞吐提升：2.5-3x │
│ │
└─────────────────────────────────────────────────┘
推理性能测试
部署好 DeepSeek 模型后，需要进行性能测试以验证配置是否正确。DeepSeek 的 MoE 架构使得性能测试尤为重要，因为激活参数少但总参数多，需要确保推理引擎正确支持 MoE。
vLLM 部署测试
性能基准测试脚本通过发送多个请求到 vLLM 服务，测量每个请求的 token 数、时间、以及速度（tokens/s）。测试结果可以与官方参考值对比。
性能参考表提供了不同配置下的预期性能。DeepSeek-V2-16B 在 FP16、1xA100 时吞吐量约 120-150 tokens/s，延迟 40-55ms。INT4 量化后，吞吐量提升到 180-220 tokens/s，延迟降低到 30-40ms。
DeepSeek-V3-671B 需要多卡部署。MoE、8xH100 时吞吐量约 80-100 tokens/s，延迟 100-150ms。16xH100 时吞吐量约 150-180 tokens/s，延迟 80-120ms。32xH100 时吞吐量约 280-320 tokens/s，延迟 60-90ms。
DeepSeek-R1-671B（推理优化版）在 MoE、16xH100 时吞吐量约 140-170 tokens/s，延迟 85-125ms。
import time
import requests
import statistics
def benchmark_deepseek(base_url: str = "http://localhost:8000"):
"""DeepSeek 性能基准测试"""
print("="*70)
print("DeepSeek 性能基准测试")
print("="*70)
# 测试提示
prompts = [
"请介绍一下人工智能。",
"什么是深度学习？",
"机器学习有哪些应用场景？",
]
results = []
print(f"\n{'Prompt':<30} {'Tokens':<10} {'Time (s)':<12} {'Tokens/s':<12}")
print("-"*70)
for prompt in prompts:
start = time.perf_counter()
response = requests.post(
f"{base_url}/v1/chat/completions",
json={
"model": "deepseek",
"messages": [{"role": "user", "content": prompt}],
"max_tokens": 200,
"temperature": 0.7
}
)
elapsed = time.perf_counter() - start
if response.status_code == 200:
data = response.json()
content = data['choices'][0]['message']['content']
tokens = len(content.split())
tokens_per_sec = tokens / elapsed
results.append({
'prompt': prompt[:20],
'tokens': tokens,
'time': elapsed,
'tokens_per_sec': tokens_per_sec
})
print(f"{prompt[:30]:<30} {tokens:<10} {elapsed:<12.2f} {tokens_per_sec:<12.1f}")
# 统计
avg_tps = statistics.mean([r['tokens_per_sec'] for r in results])
print("-"*70)
print(f"平均速度：{avg_tps:.1f} tokens/s")
return results
if __name__ == "__main__":
benchmark_deepseek()
性能参考值
┌────────────────────────────────────────────────────────────────────┐
│ DeepSeek 推理性能参考 │
├──────────────────┬─────────────┬─────────────┬─────────────────────┤
│ 配置 │ 吞吐量 │ 延迟 │ 显存占用 │
│ │ (tok/s) │ (ms) │ (GB) │
├──────────────────┼─────────────┼─────────────┼─────────────────────┤
│ DeepSeek-V2-16B │ │ │ │
│ FP16, 1xA100 │ 120-150 │ 40-55 │ 32-36 │
│ INT4, 1xA100 │ 180-220 │ 30-40 │ 16-20 │
├──────────────────┼─────────────┼─────────────┼─────────────────────┤
│ DeepSeek-V3-671B │ │ │ │
│ MoE, 8xH100 │ 80-100 │ 100-150 │ 640-720 │
│ MoE, 16xH100 │ 150-180 │ 80-120 │ 640-720 │
│ MoE, 32xH100 │ 280-320 │ 60-90 │ 640-720 │
├──────────────────┼─────────────┼─────────────┼─────────────────────┤
│ DeepSeek-R1-671B │ │ │ │
│ MoE, 16xH100 │ 140-170 │ 85-125 │ 640-720 │
└──────────────────┴─────────────┴─────────────┴─────────────────────┘
注：测试条件 vLLM，MoE 激活 21B 参数，实际性能受配置影响
中文场景优化
DeepSeek 的核心优势在于中文能力。与 LLaMA 相比，DeepSeek 在中文理解、中文生成、中文知识等方面都有显著优势。与 Qwen 相比，两者在中文能力上相当，各有特色。
中文能力对比
中文理解方面，DeepSeek-V3 和 Qwen-2.5 都是五星（最优），LLaMA-3 是三星（良好）。DeepSeek 的优势在于纯中文训练数据，对中文语境的理解更准确。
中文生成方面，DeepSeek-V3 和 Qwen-2.5 都是五星（流畅自然），LLaMA-3 是三星（偶有生硬）。DeepSeek 的优势在于中文语感更好，生成的中文更自然。
中文知识方面，DeepSeek-V3 和 Qwen-2.5 都是五星（中国知识丰富），LLaMA-3 是二星（西方知识为主）。DeepSeek 的优势在于中文百科、历史、文化知识更丰富。
代码能力方面，三者都是四星（优秀），差距不大，均支持主流编程语言。
数学推理方面，DeepSeek-R1 是五星（推理优化），DeepSeek-V3 和 LLaMA-3 都是四星（优秀）。DeepSeek-R1 专为推理优化，在数学和逻辑推理任务上表现优异。
中文 Benchmark 对比数据显示，DeepSeek-V3 和 Qwen-2.5 在中文任务上明显优于 LLaMA-3。C-Eval（综合）DeepSeek-V3 85.2%，Qwen-2.5 86.5%，LLaMA-3-70B 62.3%。CMMLU（多选）DeepSeek-V3 83.5%，Qwen-2.5 84.2%，LLaMA-3-70B 58.7%。MMLU-CN（中文）DeepSeek-V3 82.1%，Qwen-2.5 83.8%，LLaMA-3-70B 60.5%。HumanEval-CN（代码）DeepSeek-V3 78.5%，Qwen-2.5 79.2%，LLaMA-3-70B 72.0%。GSM8K-CN（数学）DeepSeek-V3 88.2%，Qwen-2.5 87.5%，LLaMA-3-70B 85.0%。C3（阅读理解）DeepSeek-V3 86.8%，Qwen-2.5 87.2%，LLaMA-3-70B 65.5%。
├─────────────────────────────────────────────────┤
│ │
│ 中文理解: │
│ ├── DeepSeek-V3: ⭐⭐⭐⭐⭐ (最优) │
│ ├── Qwen-2.5: ⭐⭐⭐⭐⭐ (最优) │
│ ├── LLaMA-3: ⭐⭐⭐ (良好) │
│ └── DeepSeek 优势：纯中文训练数据 │
│ │
│ 中文生成: │
│ ├── DeepSeek-V3: ⭐⭐⭐⭐⭐ (流畅自然) │
│ ├── Qwen-2.5: ⭐⭐⭐⭐⭐ (流畅自然) │
│ ├── LLaMA-3: ⭐⭐⭐ (偶有生硬) │
│ └── DeepSeek 优势：中文语感更好 │
│ │
│ 中文知识: │
│ ├── DeepSeek-V3: ⭐⭐⭐⭐⭐ (中国知识丰富) │
│ ├── Qwen-2.5: ⭐⭐⭐⭐⭐ (中国知识丰富) │
│ ├── LLaMA-3: ⭐⭐ (西方知识为主) │
│ └── DeepSeek 优势：中文百科/历史/文化 │
│ │
│ 代码能力: │
│ ├── DeepSeek-V3: ⭐⭐⭐⭐ (优秀) │
│ ├── Qwen-2.5: ⭐⭐⭐⭐ (优秀) │
│ ├── LLaMA-3: ⭐⭐⭐⭐ (优秀) │
│ └── 差距不大，均支持主流编程语言 │
│ │
│ 数学推理: │
│ ├── DeepSeek-R1: ⭐⭐⭐⭐⭐ (推理优化) │
│ ├── DeepSeek-V3: ⭐⭐⭐⭐ (优秀) │
│ ├── LLaMA-3: ⭐⭐⭐⭐ (优秀) │
│ └── DeepSeek-R1 专为推理优化 │
│ │
└─────────────────────────────────────────────────┘
中文 Benchmark 对比
┌────────────────────────────────────────────────────────────────────┐
│ 中文 Benchmark 对比 │
├──────────────────┬─────────────┬─────────────┬─────────────────────┤
│ Benchmark │ DeepSeek-V3 │ Qwen-2.5 │ LLaMA-3-70B │
├──────────────────┼─────────────┼─────────────┼─────────────────────┤
│ C-Eval (综合) │ 85.2% │ 86.5% │ 62.3% │
│ CMMLU (多选) │ 83.5% │ 84.2% │ 58.7% │
│ MMLU-CN (中文) │ 82.1% │ 83.8% │ 60.5% │
│ HumanEval-CN │ 78.5% │ 79.2% │ 72.0% │
│ GSM8K-CN (数学) │ 88.2% │ 87.5% │ 85.0% │
│ C3 (阅读理解) │ 86.8% │ 87.2% │ 65.5% │
└──────────────────┴─────────────┴─────────────┴─────────────────────┘
注：DeepSeek 和 Qwen 在中文任务上明显优于 LLaMA
与其他模型对比
理解了 DeepSeek 的中文优势后，让我们从更全面的角度对比 DeepSeek、Qwen 和 LLaMA。这三个模型系列各有特色，适用于不同的场景。
综合对比
综合对比从多个维度评估三个模型系列。中文能力：DeepSeek 和 Qwen 都是五星，LLaMA 是三星，DeepSeek 和 Qwen 优势明显。英文能力：LLaMA 是五星，DeepSeek 和 Qwen 是四星，LLaMA 优势明显。代码能力：三者都是四星，相当。数学推理：DeepSeek 是五星（R1 优化），Qwen 和 LLaMA 是四星，DeepSeek 略有优势。推理成本：DeepSeek 是四星（MoE 优势），Qwen 是四星，LLaMA 是三星，DeepSeek 和 Qwen 优势明显。生态支持：LLaMA 是五星（最广泛），Qwen 是四星，DeepSeek 是三星，LLaMA 优势明显。开源许可：DeepSeek（MIT）和 Qwen（Apache）优于 LLaMA（Llama 社区许可）。综合推荐：三者都是四星，需要根据场景选择。
选择建议：选择 DeepSeek 的场景包括中文应用为主、需要强推理能力（选 R1）、关注推理成本（MoE 架构）、需要宽松开源许可（MIT）。选择 Qwen 的场景包括中英文混合应用、需要完整工具链支持、阿里云生态集成、企业级应用。选择 LLaMA 的场景包括英文应用为主、需要最广泛生态支持、研究与学术用途、国际化部署。
├──────────────┬─────────────┬─────────────┬─────────────┬──────────┤
│ 维度 │ DeepSeek │ Qwen │ LLaMA │ 备注 │
├──────────────┼─────────────┼─────────────┼─────────────┼──────────┤
│ 中文能力 │ ⭐⭐⭐⭐⭐ │ ⭐⭐⭐⭐⭐ │ ⭐⭐⭐ │ D/Q 优 │
├──────────────┼─────────────┼─────────────┼─────────────┼──────────┤
│ 英文能力 │ ⭐⭐⭐⭐ │ ⭐⭐⭐⭐ │ ⭐⭐⭐⭐⭐ │ L 优 │
├──────────────┼─────────────┼─────────────┼─────────────┼──────────┤
│ 代码能力 │ ⭐⭐⭐⭐ │ ⭐⭐⭐⭐ │ ⭐⭐⭐⭐ │ 相当 │
├──────────────┼─────────────┼─────────────┼─────────────┼──────────┤
│ 数学推理 │ ⭐⭐⭐⭐⭐ │ ⭐⭐⭐⭐ │ ⭐⭐⭐⭐ │ D 优 │
├──────────────┼─────────────┼─────────────┼─────────────┼──────────┤
│ 推理成本 │ ⭐⭐⭐⭐ │ ⭐⭐⭐⭐ │ ⭐⭐⭐ │ MoE 优 │
├──────────────┼─────────────┼─────────────┼─────────────┼──────────┤
│ 生态支持 │ ⭐⭐⭐ │ ⭐⭐⭐⭐ │ ⭐⭐⭐⭐⭐ │ L 最优 │
├──────────────┼─────────────┼─────────────┼─────────────┼──────────┤
│ 开源许可 │ MIT │ Apache │ Llama │ D/Q 优 │
├──────────────┼─────────────┼─────────────┼─────────────┼──────────┤
│ 综合推荐 │ ★★★★☆ │ ★★★★☆ │ ★★★★☆ │ 看场景 │
└──────────────┴─────────────┴─────────────┴─────────────┴──────────┘
选择建议
┌─────────────────────────────────────────────────┐
│ 模型选择建议 │
├─────────────────────────────────────────────────┤
│ │
│ 选择 DeepSeek 的场景: │
│ ✓ 中文应用为主 │
│ ✓ 需要强推理能力 (选 R1) │
│ ✓ 关注推理成本 (MoE 架构) │
│ ✓ 需要宽松开源许可 (MIT) │
│ │
│ 选择 Qwen 的场景: │
│ ✓ 中英文混合应用 │
│ ✓ 需要完整工具链支持 │
│ ✓ 阿里云生态集成 │
│ ✓ 企业级应用 │
│ │
│ 选择 LLaMA 的场景: │
│ ✓ 英文应用为主 │
│ ✓ 需要最广泛生态支持 │
│ ✓ 研究与学术用途 │
│ ✓ 国际化部署 │
│ │
└─────────────────────────────────────────────────┘
实战部署
DeepSeek 模型的部署与其他模型类似，支持 vLLM 和 llama.cpp 等主流推理引擎。由于 DeepSeek-V3 使用 MoE 架构，需要确保推理引擎支持 MoE。
vLLM 部署 DeepSeek
vLLM 部署脚本展示了如何启动 DeepSeek-V3 服务。配置包括模型名称、端口、张量并行数（8）、最大序列长度（256K）、显存利用率（0.9）、分块预填充、以及信任远程代码（MoE 需要）。启动后，服务提供 OpenAI API 兼容接口。
llama.cpp 部署脚本展示了如何在 CPU 或混合模式下运行 DeepSeek。配置包括 GGUF 模型路径、端口、GPU 层数、上下文大小、批处理大小。这使得 DeepSeek 可以在无 GPU 或有限 GPU 的设备上运行。
echo "=========================================="
echo " vLLM 部署 DeepSeek-V3"
echo "=========================================="
# 配置
MODEL=${MODEL:-"deepseek-ai/DeepSeek-V3"}
PORT=${PORT:-8000}
TP_SIZE=${TP_SIZE:-8}
echo ""
echo "部署配置:"
echo " 模型：$MODEL"
echo " 端口：$PORT"
echo " 张量并行：$TP_SIZE"
echo ""
# 启动服务
python3 -m vllm.entrypoints.openai.api_server \
--model $MODEL \
--host 0.0.0.0 \
--port $PORT \
--tensor-parallel-size $TP_SIZE \
--max-model-len 256000 \
--gpu-memory-utilization 0.9 \
--enable-chunked-prefill \
--trust-remote-code
echo ""
echo "=========================================="
echo " DeepSeek-V3 服务已启动"
echo "=========================================="
echo ""
echo "API 端点：http://localhost:$PORT/v1"
llama.cpp 部署 DeepSeek
#!/bin/bash
# deploy_deepseek_llamacpp.sh - llama.cpp 部署 DeepSeek
echo "=========================================="
echo " llama.cpp 部署 DeepSeek"
echo "=========================================="
# 配置
MODEL=${MODEL:-"~/.cache/llama.cpp/models/deepseek-v3-q4_k_m.gguf"}
PORT=${PORT:-8080}
N_GPU=${N_GPU:-35}
echo ""
echo "部署配置:"
echo " 模型：$MODEL"
echo " 端口：$PORT"
echo " GPU 层数：$N_GPU"
echo ""
# 启动服务
cd /opt/llama.cpp
./server \
-m $MODEL \
--host 0.0.0.0 \
--port $PORT \
-ngl $N_GPU \
-c 32768 \
--batch-size 512
echo ""
echo "=========================================="
echo " DeepSeek 服务已启动"
echo "=========================================="
选型建议
选择合适的 DeepSeek 模型需要考虑场景需求、硬件条件、以及预算限制。下面的选型建议可以帮助你做出合适的选择。
场景推荐
中文客服系统推荐 DeepSeek-V2-16B。显存需求 16-20GB（INT4），硬件要求单卡 A10/RTX 4090。优势是中文流畅、成本低。
智能写作助手推荐 DeepSeek-V3-671B。显存需求 640-720GB，硬件要求 8-16 卡 H100。优势是长上下文、高质量生成。
数学/逻辑推理推荐 DeepSeek-R1-671B。显存需求 640-720GB，硬件要求 16 卡 H100。优势是推理优化、步骤清晰。
代码辅助推荐 DeepSeek-Coder-V2。显存需求 32-40GB，硬件要求单卡 A100/双卡 A10。优势是代码专用、支持多语言。
个人/本地使用推荐 DeepSeek-V2-16B（INT4）。显存需求 10-14GB，硬件要求 RTX 3090/4090 或 CPU。优势是本地运行、隐私保护。
成本对比表显示了不同配置的硬件成本、云成本、以及性能/成本比。V2-16B 单卡硬件成本约4,000，云成本4,000，云成本600-900/月，性能/成本比五星。V3-671B 8 卡硬件成本约80,000，云成本80,000，云成本8,000-12,000/月，性能/成本比四星。V3-671B 16 卡硬件成本约160,000，云成本160,000，云成本16,000-24,000/月，性能/成本比五星。R1-671B 16 卡硬件成本约160,000，云成本160,000，云成本16,000-24,000/月，性能/成本比四星。DeepSeek MoE 架构的性能/成本比优于同级别密集模型。
├─────────────────────────────────────────────────┤
│ │
│ 中文客服系统: │
│ ├── 推荐：DeepSeek-V2-16B │
│ ├── 显存：16-20GB (INT4) │
│ ├── 硬件：单卡 A10/RTX 4090 │
│ └── 优势：中文流畅，成本低 │
│ │
│ 智能写作助手: │
│ ├── 推荐：DeepSeek-V3-671B │
│ ├── 显存：640-720GB │
│ ├── 硬件：8-16 卡 H100 │
│ └── 优势：长上下文，高质量生成 │
│ │
│ 数学/逻辑推理: │
│ ├── 推荐：DeepSeek-R1-671B │
│ ├── 显存：640-720GB │
│ ├── 硬件：16 卡 H100 │
│ └── 优势：推理优化，步骤清晰 │
│ │
│ 代码辅助: │
│ ├── 推荐：DeepSeek-Coder-V2 │
│ ├── 显存：32-40GB │
│ ├── 硬件：单卡 A100/双卡 A10 │
│ └── 优势：代码专用，支持多语言 │
│ │
│ 个人/本地使用: │
│ ├── 推荐：DeepSeek-V2-16B (INT4) │
│ ├── 显存：10-14GB │
│ ├── 硬件：RTX 3090/4090 或 CPU │
│ └── 优势：本地运行，隐私保护 │
│ │
└─────────────────────────────────────────────────┘
成本对比
┌────────────────────────────────────────────────────────────────────┐
│ DeepSeek 部署成本对比 │
├──────────────────┬─────────────┬─────────────┬─────────────────────┤
│ 配置 │ 硬件成本 │ 云成本 │ 性能/成本比 │
│ │ (一次性) │ (月租) │ │
├──────────────────┼─────────────┼─────────────┼─────────────────────┤
│ V2-16B 单卡 │ $4,000 │ $600-900 │ ⭐⭐⭐⭐⭐ │
│ V3-671B 8 卡 │ $80,000 │ $8K-12K │ ⭐⭐⭐⭐ │
│ V3-671B 16 卡 │ $160,000 │ $16K-24K │ ⭐⭐⭐⭐⭐ │
│ R1-671B 16 卡 │ $160,000 │ $16K-24K │ ⭐⭐⭐⭐ │
└──────────────────┴─────────────┴─────────────┴─────────────────────┘
注：DeepSeek MoE 架构性能/成本比优于同级别密集模型
总结
今天学到的内容
- ✅ DeepSeek 模型介绍：系列演进、V3/R1 特性
- ✅ 架构特点：MoE、MLA、多 token 预测
- ✅ 推理性能测试：vLLM 基准测试、性能参考
- ✅ 中文场景优化：中文能力对比、Benchmark
- ✅ 与其他模型对比：DeepSeek vs Qwen vs LLaMA
- ✅ 实战部署：vLLM/llama.cpp 部署
- ✅ 选型建议：场景推荐、成本对比
下一步
明天我们将学习 Day 21 - Qwen 模型测试，深入了解：
- Qwen 系列模型介绍
- 多语言支持测试
- 推理性能 benchmark
- 应用场景分析
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念，把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起，为开发者提供从开发、训练到部署的一站式体验。
更多推荐
11
0- 0
已为社区贡献16条内容
所有评论(0)