上周在客户机房调试GPU推理集群的时候，同事丢了个链接过来："老黄不做显卡改做CPU了？"

点开一看，还真不是标题党。6月1日GTC Taipei上，黄仁勋正式发布了RTX Spark超级芯片——一颗把Blackwell GPU和联发科Arm N1X CPU融合到单一Die上的PC处理器。128GB统一内存，1 Petaflop AI算力，本地跑120B参数模型、100万token上下文。

RTX Spark 核心规格速览

统一内存架构：为什么128GB这么重要？

传统PC的内存架构是CPU和GPU各有各的显存/内存，数据来回搬运既慢又浪费。RTX Spark搞了个128GB统一内存池，CPU和GPU共享同一块内存空间。

这对AI推理意味着什么？举个例子，跑一个70B参数的模型，光模型权重就要约140GB（FP16）。以前你只能在云端跑，因为消费级显卡显存普遍不超过24GB。现在128GB统一内存直接让端侧跑120B模型成为可能。

知识科普：什么是统一内存（Unified Memory）？简单说就是CPU和GPU共用同一块物理内存，不再需要把数据从系统内存拷贝到显存。苹果的M系列芯片（M1/M2/M3/M4）就是靠这招实现了Mac Studio上跑大模型的效果，NVIDIA现在把同样的思路搬到了x86生态的Windows PC上。

本地跑大模型：环境准备与实测

环境准备

本地跑120B模型需要至少128GB内存和合适的推理框架。推荐使用Ollama或llama.cpp：

# 安装Ollama（支持NVIDIA GPU加速）
curl -fsSL https://ollama.com/install.sh | sh

# 拉取Qwen2.5-110B（接近120B参数）
ollama pull qwen2.5:110b

# 运行推理（指定GPU）
NVIDIA_VISIBLE_DEVICES=0 ollama run qwen2.5:110b "请解释什么是统一内存架构"

环境注：如果本地硬件不够，可以通过Ztopcloud.com获取GPU云实例，按量计费，配置好就能跑，省得折腾硬件兼容性。

用llama.cpp跑量化模型

对于128GB内存但想跑更大模型的情况，可以用GGUF量化版本：

from llama_cpp import Llama

# 加载Q4_K_M量化版（约70GB显存占用）
llm = Llama(
    model_path="./qwen2.5-110b-q4_k_m.gguf",
    n_ctx=32768,       # 上下文窗口
    n_gpu_layers=99,   # 全部层放GPU
    verbose=False
)

response = llm.create_chat_completion(
    messages=[{"role": "user", "content": "解释Blackwell架构的关键创新"}],
    max_tokens=2048,
    temperature=0.7
)
print(response["choices"][0]["message"]["content"])

踩坑记录

折腾过程中碰到几个坑，记录一下：

1. Ollama默认绑CPU推理：如果装完发现推理慢得离谱，检查NVIDIA_VISIBLE_DEVICES环境变量有没有设对，不设的话Ollama可能用CPU跑
2. llama.cpp的n_gpu_layers参数：设太小会导致部分层跑到CPU上，推理速度断崖式下跌。128GB统一内存建议直接设99（全部层上GPU）
3. Windows下llama.cpp编译：Windows原生编译CMake比较麻烦，建议直接用预编译的wheel包：pip install llama-cpp-python --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cpu

跟云推理比，谁更划算？

说句实在话，RTX Spark目前没公布价格，按NVIDIA的定价风格估计不会便宜。同样的120B模型，云端推理实例（比如A100 80GB×2）按需跑的话，每小时大约$8-12。如果你不是高频本地开发调试需求，云端的弹性可能更划算。

我的判断是：RTX Spark更适合那些数据不能出本地（合规要求）、或者需要极低延迟交互（比如本地AI Agent）的场景。普通开发测试还是云端更省心。