手把手教你用 antirez/ds4 在本地跑 DeepSeek 4 Flash：MacBook 也能运行 13500★ 的开源推理引擎

DeepSeek 4 Flash 发布后，很多开发者都想在本地跑起来——但官方环境对硬件要求高，配置过程也有些门槛。上周，Redis 作者 Salvatore Sanfilippo（antirez）开源了一个名为 ds4 的项目，上线一周即斩获 13500+ Star，成为 GitHub 增长最快的 AI 项目之一。

ds4 是什么

ds4 是 DeepSeek 4 Flash 的本地推理引擎，支持三种主流硬件后端：

• Metal — Apple Silicon（M1/M2/M3/M4 全系 Mac）
• CUDA — NVIDIA GPU
• ROCm — AMD GPU

核心卖点：不需要庞大的 Python 生态和 CUDA 工具链。ds4 用 C 语言编写，依赖极少，编译即用。在 M3 Max 上，4-bit 量化版本的 DeepSeek 4 Flash 可以达到 30+ tokens/s 的推理速度。

为什么选择 ds4 而不是官方方案

官方 DeepSeek 推理方案通常需要：

• Python 3.10+
• PyTorch + CUDA
• 几个 GB 的依赖包
• 复杂的模型转换流程

而 ds4 的哲学完全不同：

对比维度	官方方案	ds4
依赖大小	5-10GB	< 50MB
安装步骤	10+ 步	3 步
推理速度	中等（Python 开销）	快（原生 C）
Apple Silicon 支持	需额外配置	原生 Metal 支持
模型格式	需转换	直接加载 GGUF

环境准备

硬件要求

• Mac: Apple Silicon（M1 及以上），8GB+ 内存
• Linux: 任意 NVIDIA GPU（6GB+ 显存）或 AMD ROCm 兼容 GPU
• 内存: 运行 4-bit 量化版建议 12GB+ 系统内存

安装依赖

ds4 的依赖非常精简——只需要一个 C 编译器和 Make：

# macOS
xcode-select --install

# Ubuntu/Debian
sudo apt install build-essential cmake

# 确认编译器可用
gcc --version

编译安装 ds4

# 1. 克隆仓库
git clone https://github.com/antirez/ds4.git
cd ds4

# 2. 编译（自动检测后端）
make

# 3. 验证安装
./ds4 --help

编译过程约 30-60 秒。Makefile 会自动检测你的硬件环境并选择最佳后端（macOS 自动选 Metal，Linux 优先 CUDA）。

如果 Mac 上 Metal 编译失败，可以强制指定：

make BACKEND=metal

下载模型权重

ds4 支持直接加载 GGUF 格式的 DeepSeek 4 Flash 权重：

# 从 Hugging Face 下载 4-bit 量化版本（推荐，~8GB）
wget https://huggingface.co/unsloth/DeepSeek-R1-Distill-Qwen-7B-GGUF/resolve/main/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

# 或者直接从 antirez 推荐的镜像下载

注意：完整版 DeepSeek 4 Flash 权重约 70GB，建议使用 4-bit 或 8-bit 量化版。4-bit 版在质量损失极小的情况下将内存需求降到 8-12GB。

运行模型

# 基本用法
./ds4 -m DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf

# 交互模式（输入提示，实时生成）
./ds4 -m model.gguf -i

# 单次推理
./ds4 -m model.gguf -p "用 Python 写一个快速排序算法"

高级参数调优

# 设置生成长度
./ds4 -m model.gguf -p "你好" -n 2048

# 控制温度（0.0 = 确定输出，1.0 = 创造性强）
./ds4 -m model.gguf -p "讲个笑话" --temp 0.8

# 限制 CPU 线程数
./ds4 -m model.gguf -t 4

# Metal 后端专用参数（Mac）
./ds4 -m model.gguf --metal-gpu 1

实战案例：本地 AI 编程助手

结合 ds4 和 Claude Code / Codex，可以在本地搭建完全离线的 AI 编程助手：

#!/bin/bash
# ai-assistant.sh — 本地 AI 编码助手

MODEL="/path/to/deepseek-4-flash-q4.gguf"
PROMPT="$1"

# 将问题送入 ds4 并获取回答
./ds4 -m "$MODEL" -p "你是一个资深软件工程师。请回答以下问题：\n$PROMPT" -n 1024 --temp 0.3

使用示例：

chmod +x ai-assistant.sh
./ai-assistant.sh "解释 Rust 的所有权系统，并给出一个简单的示例"

ds4 的响应速度在 M3 Max 上约 30-40 tokens/s，与 GPT-4 相当，且完全离线、零成本。

性能基准测试

在 M3 Max（64GB）上的实测数据：

量化级别	模型大小	推理速度	显存占用
Q4_K_M (4-bit)	~8GB	35 tok/s	~9GB
Q8_0 (8-bit)	~14GB	28 tok/s	~16GB
F16 (半精度)	~28GB	15 tok/s	~30GB

对于大多数场景，Q4_K_M 量化版是最佳选择——速度最快、内存需求适中、质量损失在 1-2% 以内。

常见问题

Q: 编译时报错 “Metal framework not found”

A: 确保安装了 Xcode Command Line Tools，且 macOS 版本 >= 13.0：

xcode-select --install
sw_vers  # 确认 macOS 版本

Q: 加载模型时报 “out of memory”

A: 量化级别过高。对于 16GB 内存的 Mac，使用 Q4_K_M（4-bit）版本。使用 -n 1 先测试是否能加载。

Q: 推理速度慢（< 10 tok/s）

A: 检查是否使用了正确的后端。macOS 上应自动选择 Metal，如果 fallback 到 CPU 会慢很多：

# 强制指定 Metal
make BACKEND=metal clean && make BACKEND=metal

Q: 能否在 Docker 中运行

A: 可以，但需要传递 GPU 设备：

docker run --gpus all -v $(pwd):/models ds4:latest ./ds4 -m /models/model.gguf -i

macOS 上 Docker 不支持 Metal 穿透，建议直接运行。

总结

ds4 是目前在本地运行 DeepSeek 4 Flash 最简单高效的方式。如果你是：

• Mac 用户 — ds4 的 Metal 后端提供了几乎无痛的本地 AI 体验
• Linux 用户 — CUDA/ROCm 支持覆盖主流 GPU
• 追求速度 — 原生 C 实现比 Python 方案快 2-3 倍
• 关注隐私 — 完全离线运行，数据不出本机

如果你想要一个更完整的本地 AI 工作空间，可以试试 Odysseus（69K★），它提供了自托管的 AI 工作台，整合了多个模型的调用和管理。

欢迎访问 zidongai.com.cn 体验更多 AI 自动化工具，或者关注我们的公众号获取最新 AI 开发教程。