榨干 RTX 4090！PowerInfer 用“冷热神经元”调度让 40B 大模型单卡逆天狂飙
榨干 RTX 4090！PowerInfer 用“冷热神经元”调度让 40B 大模型单卡逆天狂飙
当同行们还在为了把千亿参数模型塞进云端服务器而焦头烂额时，PowerInfer 已经让 40B 的大模型在你的单张 RTX 4090 甚至手机上以惊人的速度跑了起来。
一、一场在端侧推理圈引发狂欢的开源风暴
如果说大语言模型的出现是 AI 时代的奇点，那么 PowerInfer 就是把这个奇点拉下神坛、塞进普通人机箱里的"普罗米修斯"。
GitHub 上这个名为 PowerInfer 的项目（由 Tiiny-AI 团队开发），自发布以来就以其硬核的技术路线吸引了无数开发者的目光。它没有铺天盖地的营销，却在硬核开发者圈子里引发了极大的反响，目前已经斩获了 8.8K+ Stars，并仍在稳步爆发式增长。
这不仅是一个推理框架，更是对"算力霸权"的降维打击：
- 📈 史无前例的性能跃升： 在单张 RTX 4090 上，它能让 Falcon-40B 跑出最高 11 倍于
llama.cpp的速度，峰值达到 29.08 tokens/s，平均速度几乎逼近顶级 A100 服务器的表现！ - 🌟 跨越硬件的边界： 从最初的消费级 PC 显卡，到全面支持 AMD ROCm，再到如今的 PowerInfer-2 甚至能在智能手机上以 11.68 tokens/s 的速度运行 TurboSparse-Mixtral-47B。
- 💻 产学研的强强联合： 它不仅登上了 CES 2026 的舞台（作为世界首个口袋超算 Pocket Lab 的核心），还成为了 CCF-TCArch 全国体系结构竞赛的指定优化引擎。
比数字更惊人的，是它带来的范式转换：
“终于不用卖肾买 A100 也能跑 40B 稀疏模型了。”
“在端侧跑 LLM，它把冷热神经元玩出了花。”
二、PowerInfer的本质：不只是 llama.cpp 的套壳
如果说 llama.cpp 是那个让大模型在 CPU 上勉强跑起来的拓荒者，那么PowerInfer 就是一个经过 F1 赛车级深度改装、压榨每一滴硬件性能的混合引擎。
2.1 一句话定义
PowerInfer 不是一个简单的模型加载器，它是一个针对大语言模型高度局部性（Locality）特征而设计的 CPU/GPU 混合推理引擎。
它不同于 vLLM 这种纯吃 GPU 显存的吞金兽。市面上的推理框架大多采用一刀切的策略：要么全放 GPU，要么全放 CPU。而 PowerInfer 的设计哲学是**“冷热分级、各取所长”**。我们用三个核心维度来重新丈量它与传统框架的区别：
| 维度 | 传统推理框架 (vLLM/llama.cpp) | PowerInfer 的变革 | 核心价值 |
|---|---|---|---|
| 显存占用 | Greedy Allocation 必须把模型全塞进显存，或者粗暴地按层切分卸载。 | Neuron-Level Routing 精确到"神经元"级别的卸载，热神经元进 GPU，冷神经元留 CPU。 | 平民化部署 显存不够？CPU 内存来凑，且不大幅牺牲速度。 |
| 计算效率 | Dense Computation 无论输入是什么，所有参数都无脑参与矩阵乘法计算。 | Sparse Activation 结合 ReLU/ProSparse 等稀疏模型，只激活需要的神经元。 | 榨干算力 跳过无效计算，实现最高 11 倍的速度飞跃。 |
| 部署场域 | Cloud-First 优先为数据中心、多卡集群优化。 | Consumer-First 专为消费级显卡、PC 甚至智能手机深度定制。 | AI 随身带 让千亿参数的端侧部署成为现实。 |
2.2 架构揭秘：冷热神经元的混合交响曲
PowerInfer 的技术架构极其精巧，它打破了传统推理框架"按网络层（Layer）切割"的粗放模式：
[输入 Token]
│
▼
┌──────────────┐
│ 自适应预测器 │ ──(实时识别神经元冷热)──┐
└──────────────┘ │
▼
┌─────────────────────┐
│ 混合计算调度器 │
└────┬───────────┬────┘
│ │
[🔥 热神经元] [❄️ 冷神经元]
▼ ▼
┌─────────┐ ┌─────────┐
│ GPU VRAM│ │ CPU RAM │
└─────────┘ └─────────┘
核心组件解析：
1. 自适应预测器 (Adaptive Predictors)： 这是一个极轻量级的神经网络组件，它在运行时实时预测哪些神经元会被当前 Token 激活。
2. 神经元级混合调度 (Hybrid CPU/GPU Utilization)： 这是 PowerInfer 最具革命性的设计。
- 研发团队发现大模型推理符合"幂律分布"：极少数的"热神经元"在各种输入下都频繁激活，而占绝大多数的"冷神经元"只在特定输入下才偶尔被唤醒。
- PowerInfer 把高频的热神经元预加载到 GPU 以获得极致的并行计算速度；把海量的冷神经元放在 CPU 内存中按需计算。这不仅破解了 GPU 显存不足的诅咒，还彻底消除了 CPU 和 GPU 之间庞大的 PCIe 数据传输瓶颈。
2.3 PowerInfer 开源引擎的核心创新点
PowerInfer 的创新并非简单的代码重构，而是在显存调度、计算算子与部署形态三个维度上实现了质的飞跃。它试图解决大模型本地部署的“不可能三角”：超大参数规模、极低显存容量与极速推理延迟的共存。
以下通过深度解析配合树形逻辑图，为你拆解这三大核心突破。
1. 架构创新：神经元级混合调度 (打破显存与带宽的双重高墙)
标签：[异构计算 / 显存革命]
深度解析： 传统的推理框架（如 vLLM 或原始的 llama.cpp）面临两难：想要速度快，就得把几百 GB 的模型全塞进昂贵的 GPU 显存里；显存不够放进 CPU 内存，就要忍受蜗牛般的推理速度和龟速的 PCIe 数据传输。PowerInfer 通过“神经元画像”和“冷热分离”打破了这一僵局。
- 激活的幂律分布 (Power-law Distribution)： 研发团队发现，LLM 在推理时，只有极少部分“热神经元”（Hot Neurons）是高频激活的，而绝大多数“冷神经元”（Cold Neurons）只在遇到特定词汇时才偶尔工作。
- 混合计算调度 (Hybrid Utilization)： PowerInfer 将那占极小体积的“热神经元”预加载到 GPU 显存中，享受极致的并行计算速度；而海量的“冷神经元”则被安置在廉价的 CPU 内存中。这不仅让单卡 4090 跑 40B 模型成为现实，还极大减少了 CPU 和 GPU 之间的数据搬运损耗。
冷热神经元调度逻辑树形图：
[PowerInfer 混合调度架构]
│
├── 输入流 (Input Context)
│ └── 用户输入 Prompt 开启推理
│
▼
[1. 自适应预测器 (Adaptive Predictor)]
│ ├── 动作: 实时扫描当前 Token
│ └── 判定: 预测哪些神经元即将被激活
│
▼
[2. 神经元级路由分发 (Neuron-Level Routing)]
│ │
│ ├── 🔥 路线 A: 热神经元 (高频常用知识)
│ │ ├── 存放位置: GPU VRAM (如 RTX 4090 的 24G 显存)
│ │ ├── 激活状态: [激活 ✅]
│ │ └── 动作: GPU CUDA 核心全速执行矩阵乘法
│ │
│ └── ❄️ 路线 B: 冷神经元 (低频长尾知识)
│ ├── 存放位置: CPU RAM (如主机的 64G 内存)
│ ├── 激活状态:
│ │ ├── 少数相关冷神经元: [激活 ✅] -> CPU 立即计算
│ │ └── 大多数无关神经元: [休眠 💤] -> 直接跳过，不占 PCIe 带宽
│
▼
输出 (Output)
└── 结果汇总 ──> 高达 29.08 tokens/s 的极速生成 (单卡媲美 A100)
2. 算子创新：稀疏感知计算 (从“全量推平”到“精准打击”)
标签：[计算效率 / 稀疏激活]
深度解析： 绝大多数大模型在推理时，不管输入什么，底层的算子都会把所有参数矩阵“乘”一遍，这产生了极其庞大的无效计算量。
- 契合稀疏模型 (Sparse Models)： PowerInfer 完美适配了 Falcon、ProSparse Llama 2 这类基于 ReLU 激活函数的模型。这些模型天生就有近 90% 的神经元在单次预测中输出为零。
- 神经元感知稀疏算子 (Neuron-aware Sparse Operators)： 结合底层的 C++ 极致优化，PowerInfer 的算子在 Predictor 给出预测结果后，会在内存寻址阶段直接“绕过”（Bypass）那些不需要激活的零值矩阵块。这不是逻辑上的跳过，而是物理计算层面的省略，真正把“稀疏率”等价转化为了“速度的狂飙”。
计算路径对比树形图：
[矩阵计算流转对比]
│
├── 路径 A: 传统 Dense 推理框架
│ ├── 1. 读取完整权重矩阵 (无论是否为零)
│ ├── 2. 暴力执行全量矩阵乘法 (Dense GEMM)
│ ├── 3. 产生大量计算结果为 0 的无效数据
│ └── 缺陷: 算力严重浪费，功耗发热极大
│
├── ★ 路径 B: PowerInfer 稀疏计算流
│ ├── 1. 预测器圈定 Target: "当前只需要计算第 1, 5, 8 号神经元块"
│ │
│ ├── 2. 内存寻址跳转 (Bypass)
│ │ ├── 块 1: 读取并计算 ✅
│ │ ├── 块 2-4: 零值区域 ──> [直接跳过物理内存读取] ⏩
│ │ ├── 块 5: 读取并计算 ✅
│ │ ├── 块 6-7: 零值区域 ──> [直接跳过物理内存读取] ⏩
│ │ └── 块 8: 读取并计算 ✅
│ │
│ └── 结果: "精准外科手术"式计算
│ └── 计算量暴降 80% 以上，速度飙升 11 倍
3. 极致下沉：面向边缘与移动端的算力解放 (Edge Native)
标签：[部署形态 / 端侧革命]
深度解析： 云端大厂的优化方向是“如何让 10000 张 H100 集群跑得更稳”，而 PowerInfer 的信仰是“如何让一台破电脑或一块开发板跑得更快”。
- 跨硬件普适性： 它不仅支持 NVIDIA (cuBLAS) 和 AMD (ROCm) 显卡，甚至在没有独立显卡的情况下，仅凭 CPU (AVX2 指令集) 也能流畅运行。
- TurboSparse 极限压榨： 在其演进版本 PowerInfer-2 中，团队不仅优化 PC 端，更将目光投向了算力极度受限的边缘设备。通过极端的 90% 稀疏化技术，让原本属于服务器级别的 Mixtral 模型，能在普通智能手机甚至像 RK3588 这样的 ARM 架构开发板上跑出 11.68 tokens/s 的成绩。
边缘部署降维打击树形图：
[AI 部署形态演进流]
│
├── 过去: 云端独裁时代 (Cloud API)
│ ├── 架构: 手机/开发板发请求 -> 数据中心计算 -> 返回结果
│ └── 痛点: 隐私泄露风险、强依赖网络、API 调用成本高昂
│
▼
[本地化下沉 (Local Deployment)]
│ ├── 阶段 1: 妥协的端侧模型 (Tiny Models)
│ │ └── 只能跑 1B/3B 的玩具模型，智商不够用，逻辑容易崩盘
│ │
▼
[极限下沉时代 (PowerInfer Edge)] <★ 创新点>
│
├── 💻 PC 端极客部署
│ ├── 硬件: 消费级主板 + 单张 RTX 4090
│ └── 动作: 扛起 40B/70B 大模型，胜任复杂代码生成与逻辑推理
│
└── 📱 边缘设备/移动端部署 (TurboSparse 赋能)
├── 硬件平台: 智能手机 / ARM 开发板 (如 RK3588)
├── 专精动作: 利用 C++ 底层优化与极度稀疏激活
└── 结果跃升:
├── 内存墙击穿: 仅需激活 4B 参数量即可驱动 Mixtral 级别模型
└── 纯离线高智商响应: 断网环境下的 24/7 贴身智能体
总结：三大创新点的协同效应
这三个创新点不是独立的孤岛，而是互相成就的齿轮：
稀疏感知计算让模型每次只需动用极小部分的神经元，这为混合调度提供了理论基础（因为只有激活动作足够“稀疏”，才有可能把高频部分塞进有限的 GPU 显存）；而这两项基于 C++ 打造的底层突破，最终让 PowerInfer 彻底打破了硬件的枷锁，让千亿参数的大模型得以从昂贵的数据中心机架上走下来，真正钻进每一个开发者的机箱、手机，乃至各种边缘计算板的灵魂中。
三、核心功能：为什么说它"真的快"
PowerInfer 之所以能在硬核开发者圈子里被称为“重塑边界的物理外挂”，是因为它彻底打破了传统大模型推理中“显存容量、计算速度与硬件成本”的三重禁锢。
3.1 稀疏激活 (Sparse Activation)：从“推土机”到“精准外科手术”
不要再让你的显卡做无用功了。市面上的推理框架大多采用“推土机”模式：不管你问什么，模型里所有的参数矩阵都要全量相乘一遍。而 PowerInfer 的设计哲学是 “按需唤醒”。
它完美适配基于 ReLU 等激活函数的稀疏模型（如 ProSparse Llama 2、Falcon-40B 等）。
传统框架与 PowerInfer 的核心差异：
| 计算模式 | 工作流逻辑 | 算力与显存损耗 | 速度表现 |
|---|---|---|---|
| 传统 Dense 计算 (如 vLLM) | 全员点名：无论输入多简单，万亿参数全部参与矩阵乘法计算。 | 极高：产生大量结果为 0 的无效计算，白耗算力与电量。 | 显存带宽吃紧，速度卡在瓶颈。 |
| PowerInfer 稀疏计算 | 精准打击：通过预测器，只唤醒与当前 Token 强相关的神经元。 | 极低：由于近 90% 神经元处于未激活状态，直接跳过零值矩阵。 | 计算量暴降，速度最高跃升 11倍。 |
想象一下这个场景：
你输入：“帮我写一段 Python 贪吃蛇代码。”
❌ 传统框架：为了回答这个问题，它唤醒了懂 Python 的神经元，顺便也把懂“法国大革命”、懂“量子力学”的神经元全部拉起来跑了一遍矩阵乘法。
✅ PowerInfer：底层的预测器（Predictor）瞬间判定当前只需要编程逻辑，直接在物理内存层面 Bypass（绕过） 了其他 90% 与编程无关的权重块。没有任何多余动作，直接输出代码。
3.2 跨平台与后端兼容性：真正的“随处运行”
PowerInfer 并没有闭门造车，它在底层紧密集成并扩展了极其活跃的 ggml 生态圈。它的理念是 “你有怎样的硬件，我就压榨出怎样的极限”。
PowerInfer 支持几乎所有的主流硬件平台，且做到了深度原生优化：
| 平台/生态 | 状态 | 深度集成与特色能力 |
|---|---|---|
| NVIDIA GPU (cuBLAS) | 稳定 | 支持极致的 CPU/GPU 混合调度与热神经元预载，单卡跑透 40B。 |
| AMD GPU (ROCm) | 稳定 | 原生支持 AMD 设备，打破 N 卡部署垄断。 |
| Windows / Linux | 稳定 | 完美支持系统级混合推理，告别繁琐的底层环境（如 WSL）配置。 |
| macOS (Apple Silicon) | 稳定 | 支持 M 系列芯片 CPU 推理，全面适配苹果生态。 |
| llama.cpp 兼容 | 稳定 | 老用户福音，无缝对接 Server 模式和 Batched 批处理生成。 |
这意味着什么？
如果你之前一直在用 llama.cpp 搭建本地 API 服务，那么切换到 PowerInfer 几乎是零学习成本的。
无缝迁移体验：你不需要修改业务代码中的任何一行 API 请求逻辑。你只需把底层引擎换成 PowerInfer，运行同样的
./server命令，你的本地服务器就会像打了鸡血一样，用原来几倍的速度开始吐出 Token。
3.3 TurboSparse 与移动端极限优化：掌心里的“千亿参数”
在 PowerInfer-2 中，团队引入了堪称移动端核武器的 TurboSparse 技术。这不仅是 PC 用户的福音，更是彻底点燃了边缘计算与端侧 AI 的想象力。
🔧 端侧部署的核心痛点与突破：
- 极致稀疏化：成功将 Mistral 和 Mixtral 等主流模型稀疏化至近 90%。
- 极低内存墙：对于 Mixtral 级别的大模型，每次只需激活极小规模的 4B 参数。
- 平民化硬件：让算力羸弱的手机和开发板也能拥有高智商大脑。
真实的端侧部署日常：
❌ 以前在手机/开发板跑模型：为了把几十 GB 的模型塞进可怜的内存里，你只能疯狂使用 INT4 甚至 INT2 量化。结果模型“变笨”了（经常胡言乱语），且输出速度像挤牙膏（1~2 tokens/s），根本无法用于实时交互。
✅ PowerInfer-2 的体验：在一台普通的 Android 手机上运行 TurboSparse-Mixtral-47B，模型不仅保持了原汁原味的逻辑推理能力，还能跑出 11.68 tokens/s 的流畅速度。你的手机瞬间变成了一个不需要联网、没有隐私泄露风险、且真正能理解复杂指令的离线超级助理。
3.4 Predictor (预测器) 机制：先知先觉的调度大脑
不需要自己手写复杂的分配逻辑。在 PowerInfer 中，预测（Prediction）就是提速的核心。
当你下载 PowerInfer GGUF 格式的模型权重时，里面自带了一个极其轻量的“预测器”网络。
它的行为逻辑如下：
- 提前预判：在处理每一个字（Token）之前，预测器会瞬间计算出接下来需要用到的模型区域。
- 指令下达：告诉底层的稀疏算子：“第 12 层，只加载第 3、7、9 号神经元块！”
- 极速放行：算子严格执行指令，直接略过其他几百个不需要的矩阵。
就这么简单。这个机制让 PowerInfer 脱离了传统框架的盲目计算，成为了一个真正具备“自我调度意识”的智能推理引擎。
四、实际使用场景：它如何改变本地 AI 生态
别再把“本地大模型”仅仅当成一个在终端里陪你聊天的残次品了。请想象你拥有了一个不收 API 费用、没有网络延迟、且数据绝对绝对安全的超级大脑。它安静地躺在你的机箱或是开发板里，拥有极高的智商，并且随时待命。
以下是 PowerInfer 开发者们真实的日常体验：
场景 1：The “Data Fortress” Analyst（断网环境下的绝密数据榨汁机）
❌ 以前： 手里拿着公司的核心财务报表，或者敏感的医疗数据，想用 AI 分析却根本不敢调用云端大厂的 API。尝试在本地跑个 7B 的模型，发现它“智商”不够，总是胡言乱语；狠下心想跑 40B/70B 模型，刚一加载，显卡直接 OOM（显存溢出）崩溃。
✅ PowerInfer 的体验： 拔掉网线，你在单张 RTX 4090（24G显存）配合大容量内存的普通工作站上，丝滑加载了 Falcon(ReLU)-40B。
你：“分析一下这份 100 页的 Q3 内部财务预测 PDF，找出利润下滑的三个核心风险点。”
PowerInfer 本地终端：(即刻响应，速度高达 15 tokens/s) > “已完成本地深度扫描。 🚨 高危风险：供应链成本上升（第 12 页指出原材料上涨 15%）。 ⚠️ 中度风险：华东区渠道转化率下降（第 45 页数据异常）。 💡 建议：根据历史数据，建议优先优化华东区物流仓储调度。 注：本次推理峰值 VRAM 占用 18.2GB，数据完全物理隔离。”
场景 2：The Edge AI Hacker（边缘开发板上的降维打击）
❌ 以前： 为了在算力受限的设备上跑复杂的 AI 任务，你需要在模型压缩的泥潭里痛苦挣扎。比如在一块 RK3588 开发板上，你想为 ROS 系统开发一个极速响应的唤醒词，同时跑面部情绪识别模型。为了不卡顿，你只能疯狂剪枝、量化，忍受着令人抓狂的低帧率、3 秒以上的唤醒延迟，以及严重的精度损失，甚至 C++ 的底层集成也是一场噩梦。
✅ PowerInfer 的体验： 得益于 PowerInfer 原生的 C++ 底层架构与极度优化的内存调度，它直接无缝嵌入了你的 ROS 节点中。稀疏激活机制让有限的 NPU/CPU 计算资源精准释放。
系统后台 Log 流：
[ROS_INFO] [1710321450.12] 视觉节点：检测到用户面部情绪为 [沮丧/疲惫] (FPS: 32)[ROS_INFO] [1710321450.15] 音频节点：触发 C++ 唤醒词 [Wake Word Detected]PowerInfer 边缘大脑 (TurboSparse-Mixtral)：(无需请求云端，本地即刻生成决策) “检测到用户情绪低落。已自动将室内灯光调至暖色调。 🔊 语音合成输出：‘看你今天好像很累，我刚刚已经把空调温度调高了，需要放点轻音乐吗？’”
场景 3：The 24/7 Local Assistant（永不掉线的全屋智脑）
❌ 以前： 用树莓派或者旧电脑跑着死板的 Python 自动化脚本，或者高度依赖外部的智能家居 API。一旦家里断网，或者厂商服务器抽风，全屋智能瞬间变成“全屋智障”，语音助手变成只会说“网络连接中”的复读机。
✅ PowerInfer 的体验： 利用它提供的 Server 功能，你可以把家里那台吃灰的游戏主机变成 24 小时待命的 API 服务器。由于稀疏计算跳过了大量无效的矩阵乘法，整体运行功耗被大幅拉低，哪怕跑一整天也不会听到显卡风扇的狂啸。
场景模拟 (深夜断网时)： 你：“太黑了，我起夜，帮我开个灯，顺便看看明天早上会不会下雨。”
全屋智脑 (PowerInfer Local Server)：“已为您开启夜灯模式（亮度 10%）。另外，根据今天下午本地缓存的气象数据，明早 8 点有雷阵雨。 检测到外部广域网断开，本次指令与推理 100% 在本地局域网完成，耗时 0.8 秒。”
场景 4：The 10x Local Coder（零延迟的本地结对编程大师）
❌ 以前： 使用云端代码补全工具，写一段 C++ 或 Python 核心算法时，总要等待插件把代码传到服务器，再把建议传回来。不仅补全有延迟，还要时刻担心公司核心业务代码的泄露风险。
✅ PowerInfer 的体验： 直接在本地 IDE 中接入 PowerInfer 的 API，它就像坐在你旁边的一位资深架构师，反应速度跟上了你的肌肉记忆。
IDE 交互流： 你：(输入代码)
void process_video_stream() { // TODO: 使用多线程优化帧处理PowerInfer：(瞬间补全) > “(0.5秒后本地生成) > 建议使用
std::thread配合线程池来降低开销。注意，你当前的数据结构可能会导致竞态条件。 💡 优化思路：我为你生成了一个基于std::mutex加锁的安全队列实现方案，是否直接插入？”
核心差异点：
- 不仅仅是“能跑”，更是“跑得爽”：告别单卡跑大模型的龟速输出，10+ tokens/s 的速度让本地交互不再是对耐心的考验。
- 不仅仅是“省显存”，更是“跨端赋能”：将千亿参数模型的压缩极限推向移动端与 RK3588 级别的开发板，让端侧实时高智商推理落地。
- 跨越网络与隐私边界：在完全物理断网的环境下，依然保持着专家级别的代码编写、数据分析与逻辑规划能力。
五、技术深度：为什么 PowerInfer 能做到这些
让百亿参数大模型在消费级显卡（甚至只有 CPU）上飙出顶级服务器的速度，听起来像是在变魔术。传统观念里，算力瓶颈是物理法则，不可逾越。但 PowerInfer 的开发团队深知，硬件的极限是被低效的软件框架给锁死的。
通过软硬件协同的底层创新，PowerInfer 给模型做了一场极其精密的“搭桥手术”。
5.1 神经元感知的稀疏算子 (Neuron-aware Sparse Operators)
传统推理框架在计算矩阵时，采用的是**“推土机”模式（Dense GEMM）**：无论输入的词是什么，一路平推所有的参数矩阵。哪怕这个神经元的值是 0，它也要老老实实地把它读进内存、乘上一遍，得出个 0。
而 PowerInfer 团队专门基于 C++ 编写了一套神经元感知稀疏算子。
🎯 狙击手式的计算逻辑：
由于内置的 Predictor（预测器）已经提前锁定了接下来要激活的神经元，这套稀疏算子做到了真正的“物理级跳过”。
- 内存连续性优化：传统稀疏计算虽然跳过了 0，但因为内存读取不连续，导致速度反而更慢。PowerInfer 重新设计了内存布局。
- Bypass（绕过）机制：在内存寻址阶段，它直接跳过那些零值块的读取指令。不读、不存、不计算。
底层执行逻辑实录：
// 伪代码：传统 Dense 算子的笨拙
for (int i = 0; i < total_neurons; i++) {
// 哪怕 weight[i] 是 0，也要占用总线带宽读出来
result += input * weight[i];
}
// 伪代码：PowerInfer 稀疏算子的精准
std::vector<int> active_ids = predictor.get_active_neurons(input);
for (int id : active_ids) {
// 仅读取被预测为"热"的神经元，内存访问量骤降 90%
result += input * weight[id];
}
这意味着什么？ 你终于把模型理论上的“稀疏率”等价转化为了屏幕上光标跳动的“运算速度”。
5.2 离线 Profiling 与在线求解器的闭环：开机即巅峰
很多极客会问：既然要分“冷热神经元”，系统怎么知道哪些神经元是热的？
PowerInfer 采用的是**“离线画像 + 在线求解”**的绝妙闭环。
📊 离线 Profiling（上帝视角的统计）： 在 Hugging Face 下载 PowerInfer 模型权重时，你会发现里面包含了一个 activation 目录。这是研发团队提前用极其庞大的通用语料库，对模型进行的“离线画像”。他们统计了每一个神经元在面对不同问题时的激活频率，并将这些统计特征打包。
🧠 在线求解器 (The Online Solver)： 系统启动时，你不需要手动去调优那些复杂的显存分配参数。PowerInfer 内部包含了一个基于**整数线性规划（ILP）**的精巧求解器。
当你在命令行敲下回车的那一瞬间，求解器会根据你当前机器的实际硬件配置（显存有多大、内存有多大、PCIe 带宽是多少），在一瞬间计算出一个全局最优的神经元放置策略。
启动日志解密：一瞬间的排兵布阵
[PowerInfer] 正在启动神经元级混合调度器...
[Solver] 检测到硬件: GPU 24GB VRAM (RTX 4090), CPU RAM 64GB, PCIe 4.0 x16
[Solver] 加载模型: Falcon-40B (总参数体积 80GB)
[Solver] 正在计算全局最优放置策略...
--> 提取 Top 18% 极热神经元 (14GB) -> 锁定至 GPU VRAM ✅
--> 提取 1% Predictor 权重 (0.5GB) -> 锁定至 GPU VRAM ✅
--> 剩余 81% 冷神经元 (65.5GB) -> 映射至 CPU RAM ✅
[System] 策略应用完毕，开始极速推理。
技术价值： 这完美解决了硬件碎片化的部署难题。无论你是 24G 显存的顶配玩家，还是只有 8G 显存的轻薄本用户，求解器都能为你算出当前硬件下的最高 TPS（每秒生成词数），谁进显存，谁留内存，被安排得明明白白。
六、终极对决：PowerInfer 与主流框架的路线之争
PowerInfer 的出现，不仅仅是开源社区多造了一个轮子，它代表了本地大模型部署的另一条演进时间线。
如果要用一句话总结它与传统推理框架（如 vLLM 或原始 llama.cpp）的区别，那就是：其他框架是在粗暴地教大模型如何适应通用的硬件，而 PowerInfer 是在教硬件如何适应大模型特有的“性格”。
6.1 维度打击：不仅仅是简单的跑分对比
让我们跳出简单的 TPS（每秒生成词数）对比，从更深层的设计哲学、显存诉求与算力成本三个维度，来看这场本地推理生态的博弈：
| 核心维度 | ⚡ PowerInfer (The Sniper/狙击手) | 🦙 llama.cpp (The Pioneer/步兵) | 🚀 vLLM (The Dreadnought/无畏舰) | ☁️ Cloud API (The Landlord/地主) |
|---|---|---|---|---|
| 设计核心 | 混合与稀疏 榨干 CPU 和 GPU 的每一滴潜力，精准跳过 90% 无效计算。 | 极致兼容 极简架构，依靠全量计算和极致的量化压缩体积。 | 极高吞吐 PagedAttention 机制，专为海量并发请求设计。 | 黑盒调度 算力在云端，你不必关心底层，交钱就行。 |
| 显存诉求 | 弹性伸缩 (低门槛) GPU 只要装得下热神经元即可，冷神经元丢给主板内存。 | 粗放切分 (中门槛) 按层将模型切片，剩下的硬抗内存带宽。 | 贪婪独占 (极高门槛) 没有几十上百 GB 的显存集群根本跑不起来。 | 无要求 只要有网就行。 |
| 执行深度 | 单流极速 (单兵王) 单卡跑 40B+ 模型能达到媲美 A100 的速度。 | 稳扎稳打 (万金油) 保证你能跑起来，但速度受限于硬件物理带宽。 | 并发霸主 (大巴车) 单条回复不一定最快，但能同时服务上万用户。 | 受制于网络 速度取决于你的网速和晚高峰的排队情况。 |
| 持有成本 | 极客首选 单张消费级显卡（如 RTX 4090）即可享受超大模型。 | 废旧回收站 老电脑、Mac 本也能勉强跑起来。 | 土豪专属 动辄百万的服务器阵列，面向企业级客户。 | 持续抽血 按 Token 计费，不用不扣，用多肉疼。 |
6.2 PowerInfer 的核心护城河：为何它不可替代？
1. 击穿“内存墙”：从被动等待到主动规避
在目前的大模型推理中，算力往往不是瓶颈，内存带宽才是（即所谓的“内存墙”）。传统框架在 CPU 和 GPU 之间来回搬运庞大的权重数据，时间全浪费在了 PCIe 的总线上。
PowerInfer 开创了“神经元级”路由。它把高频的“热数据”死死锁在极速的显存里，把低频的“冷数据”留在内存按需计算。它不是在想办法拓宽马路，而是直接规避了早高峰的拥堵。
2. 将“稀疏性”变现：告别纸上谈兵
学术界早就知道大语言模型具有稀疏性（即大部分神经元在大部分时间是不工作的），但工程界一直苦于无法提速，因为 GPU 天生喜欢整齐划一的密集矩阵计算，遇到 0 也得硬算。
PowerInfer 团队凭借硬核的 C++ 功底，编写了神经元感知稀疏算子。它生生把论文里“理论上少算了 90%”变成了屏幕上“实际上快了 11 倍”。这是真正的变现，不再是 PPT 里的魔法。
3. 跨越端侧的降维打击
你以为它只是为了拯救 24G 显存的 PC 玩家？大错特错。它的极致优化理念直接向下兼容。在 PowerInfer-2 中，通过 TurboSparse 技术，这种调度能力被下放到了智能手机和 RK3588 这样的 ARM 边缘开发板上。它让端侧设备在完全离线的状态下，拥有了从前只有在服务器上才能见到的“千亿级智商”。
6.3 硬币的背面：PowerInfer 适合你吗？
我们必须诚实地指出，极致的压榨总是带有局限性。PowerInfer 是一把屠龙刀，但并不是所有人都能挥舞它。
⚠️ 门槛 1：挑食的“模型胃口”
PowerInfer 的核心魔法建立在“稀疏激活”之上。如果你执意要跑原版 Dense（稠密）模型（比如未经过稀疏化处理的原版 Llama-3 或 Qwen），它的稀疏算子将毫无用武之地。你必须使用经过 ReLU 改造或天然具有高稀疏性的模型（如 ProSparse 系列、Falcon 系列、Bamboo 等）。
⚠️ 门槛 2：不适合做“大巴车”
如果你想搭建一个面向全网用户的 API 服务，同时应对几百个高并发请求，PowerInfer 并不是最佳选择。它的设计初衷是“跑车”——追求 Batch Size = 1 时的单流极致延迟。对于高并发场景，vLLM 的 PagedAttention 依然是王者。
⚠️ 门槛 3：C++ 编译与环境的折腾
PowerInfer 没有小白友好的 .exe 一键安装包。你需要懂一点终端，熟悉 CMake 编译，搞得定 Python 的依赖，甚至可能需要自己排查 CUDA 或 ROCm 的底层报错。对于极客来说，看着 C++ 编译进度条和享受自己亲手配置出的极速环境是一种乐趣；但对于习惯了“开箱即用”的用户，这就是纯粹的折磨。
七、实战部署：十分钟在你的设备上跑通
是时候弄脏双手了。无论你是想在顶配工作站上榨干 RTX 4090 的极限，还是想在只有 CPU 的老破小服务器上强行跑起大模型，PowerInfer 干净的 C++ 工程结构都为你提供了极其丝滑的极客体验。
7.1 环境准备与源码编译 (The Build Phase)
如果你已经习惯了 Python 的 pip install，这里需要稍微找回一点 C++ 编译的硬核感。不用慌，它不需要复杂的依赖地狱。
前置硬性要求：
- CMake (3.17+)：用于构建底层核心。
- Python (3.8+) 和 pip (19.3+)：用于下载辅助依赖和处理模型的神经元卸载逻辑。
- 硬件驱动：如果你用 NVIDIA 显卡，需安装完整的 CUDA Toolkit；若是 AMD 战未来党，需准备好 ROCm。
# 1. 获取源码
git clone https://github.com/Tiiny-AI/PowerInfer
cd PowerInfer
pip install -r requirements.txt # 安装必要的 Python 辅助脚本依赖
2. 注入灵魂：根据硬件选择编译后端
这是最关键的一步，告诉 PowerInfer 你的底层算力到底是什么。
- 🟢 NVIDIA 显卡用户 (cuBLAS 后端)：
cmake -S . -B build -DLLAMA_CUBLAS=ON
cmake --build build --config Release
- 🔴 AMD 显卡用户 (ROCm/HIP 后端)：
# 注意：将 'gfx1100' 替换为你显卡的真实架构名 (在终端输入 rocminfo 查看)
CC=/opt/rocm/llvm/bin/clang CXX=/opt/rocm/llvm/bin/clang++ cmake -S . -B build -DLLAMA_HIPBLAS=ON -DAMDGPU_TARGETS=gfx1100
cmake --build build --config Release
- 💻 纯 CPU 用户 (物理超度流)：
cmake -S . -B build
cmake --build build --config Release
7.2 模型准备：获取专属的“冷热记忆”
PowerInfer 不能直接跑原生模型，它需要专属的 PowerInfer GGUF 格式。这个格式里不仅打包了权重，还塞进了至关重要的“Predictor（预测器）”和由海量语料跑出来的“冷热神经元画像”。
最省事的方法，是直接使用 huggingface-cli 从官方库全量拉取。比如我们拿性价比极高的 ReluLLaMA-7B 练手：
# 建议加上 --resume-download 防止网络中断
huggingface-cli download --resume-download --local-dir ReluLLaMA-7B --local-dir-use-symlinks False PowerInfer/ReluLLaMA-7B-PowerInfer-GGUF
💡 Pro Tip: 拉取下来的文件夹里，你会看到一个 activation 目录。这就是我们在第五节提到的“离线画像统计数据”，它详细记录了每一层的神经元活跃度，PowerInfer 瞬间排兵布阵的魔法全靠它。
7.3 魔法启动：VRAM Budget 的调度艺术
激动人心的时刻到了。在启动命令中，你将拥有对显卡显存的“绝对生杀大权”。
# 启动推理引擎
./build/bin/main -m ./ReluLLaMA-7B/llama.powerinfer.gguf -n 512 -p "Once upon a time," -vram-budget 8
解密核心魔法参数：-vram-budget 8
这是你在其他框架里绝对见不到的参数。它的意思是：“我只允许你占用最多 8GB 的显存”。
在这个指令下达后，系统内部的 ILP 求解器会在毫秒级时间内，精打细算地把最热的 8GB 神经元塞进 GPU，剩下的数据全部无情推给主板的 CPU 内存处理。
实际场景想象： 如果你有一张 24G 的 RTX 4090，你完全可以设定 -vram-budget 22，让大容量内存做后盾，强行跑起 40B 的超大模型；如果你要在打游戏的同时挂着本地 AI 助手，你可以极其吝啬地只给它分配 -vram-budget 4，剩下的全部交给 CPU 慢慢磨。
7.4 模型选型指南：给它一颗什么"心"？
PowerInfer 极度依赖稀疏激活特性，官方提供了几款经过深度定制的稀疏模型：
| 方案类型 | 推荐模型 | 适用场景 | 硬件要求估算 |
|---|---|---|---|
| 🧠 智力巅峰 | Falcon(ReLU)-40B | 复杂逻辑推理、长文本理解、高难度代码生成。让普通 PC 越级挑战顶级智商。 | 单张 24G 显卡 + 64G 内存 |
| 🚀 性价比之王 | Bamboo-7B | 顶级性能与极致速度的完美平衡，非常适合日常问答和本地极速交互。 | 8G 显卡起步 |
| ⚖️ 极客标配 | ProSparse Llama-2 (13B) | 拥有约 90% 的极限稀疏率，能完美无缝替换你现有的 Llama 2 业务流。 | 12G - 16G 显卡 |
⚠️ 避坑指南：
- Python 环境不可少：别以为编译完 C++ 就万事大吉了。由于系统在运行时仍需要调用脚本处理自动化 FFN 卸载与特征权重计算，务必保证
pip install -r requirements.txt成功执行。 - Windows 用户的福音：好消息！官方已经正式支持了 Windows 下的 GPU/CPU 混合推理。你可以直接在原生 Windows 环境下部署，再也不用在 WSL2 里忍受虚拟机的跨系统性能损耗了。
- 了解它的边界：虽然它与
llama.cpp高度兼容，支持 Server 模式，但请记住它骨子里是一台“单体跑车”。如果你的业务需求是开几百个并发供全公司员工使用，它可能不是最优解。
八、社区与未来：从 PC 到移动端的"端侧革命"
PowerInfer 能够完成如此惊艳的性能跃升，核心驱动力并非来自某家云服务巨头的闭门造车，而是来自硬核极客社区、顶尖高校架构团队以及边缘计算玩家们对“算力极限”的无尽探索。
8.1 "硬件黑客"的数字集市：这里没有黑盒，只有战友
PowerInfer 的开源社区不是那种冷冰冰的“工单提交处”，而是一个汇聚了底层架构师、C++ 狂热爱好者和硬件极客的“地下车库”。
- 🏆 产学研的硬核共振 (The Academic & Hacker Fusion)：
- 这不是一个草台班子项目。在 CCF-TCArch (中国计算机学会体系结构专委) 举办的 2024 全国定制计算挑战赛中，PowerInfer 成为了被指定的优化引擎。各大顶尖高校的参赛队伍都在利用开源的 ROCm/HIP 为它编写更极致的算子。
- 🔥 GitHub & 社区 (The Edge War Room)：
- 在这里，没有人讨论“怎么写 Prompt”。大家讨论的是“如何在 Android 的 JNI 层用 C++ 榨干这颗 NPU”，或者“如何优化内存寻址让 ROS 系统的通信延迟再降 5 毫秒”。
- 氛围：如果你在交叉编译到 ARM 架构时卡住了，或是显存调度策略报了段错误（Segfault），提个 Issue，很快就会有同为“边缘部署”发烧友的极客甩给你一行优化的 C++ 指针代码，仅仅因为他们觉得“在算力受限的板子上跑通 40B 模型，这事儿太酷了”。
8.2 路线图：下一站，无处不在的“端侧大脑”
翻开项目的 Release 记录和路线图，我们可以清晰地看到 PowerInfer 团队的星辰大海——他们正在试图彻底撕裂“大模型只能活在机房里”的旧律。
🎯 核心演进里程碑：
- 📱 PowerInfer-2 与 TurboSparse (移动端的核武)
- 针对智能手机和低功耗 ARM 芯片优化的专属框架。配合极度稀疏化的 TurboSparse-Mixtral-47B 模型，在算力羸弱的移动端设备上飙出了 11.68 tokens/s 的惊人速度。
- 场景预告：未来你的 Android 应用不再需要频繁请求云端接口，App 内部直接内嵌一个基于 C++ 编译的高智商离线大脑。
- 🧠 SmallThinker 系列模型 (全栈生态打通)
- 团队意识到，光有引擎还不够。他们直接下场发布了
SmallThinker-21BA3B-Instruct等专门针对端侧优化的推理模型。 - 意义：打通了从“底层稀疏算子”到“上层模型架构”的软硬协同壁垒，实现了端侧性能的最大化释放。
- 团队意识到，光有引擎还不够。他们直接下场发布了
- 💻 Tiiny AI Pocket Lab (硬件的终局形态)
- 在 CES 2026 大展上，团队展出了一款“口袋超算”（Pocket Lab）。在这个只有巴掌大小的设备里，竟然能以 20 tokens/s 的极速在本地跑通
GPT-OSS-120B (int4)模型。 - 震撼点：这是前所未有的工程奇迹。未来的“超算”，不再是一个占据半个房间的机柜，而是你可以塞进背包里的超级外脑。
- 在 CES 2026 大展上，团队展出了一款“口袋超算”（Pocket Lab）。在这个只有巴掌大小的设备里，竟然能以 20 tokens/s 的极速在本地跑通
8.3 终局思考：为什么 PowerInfer 代表了历史的必然？
PowerInfer 的爆火不是一次偶然的技术狂欢，它是 “AI 2.0 时代” 三大底层逻辑变迁的缩影。
1. 从“云端独裁”到“算力平权” (From Cloud Dictatorship to Compute Equality) 在云端 AI 时代，算力高度集中在少数巨头手中。开发者每一次 API 调用，都是在给地主交租，甚至还要让渡数据隐私。PowerInfer 开启了**“端侧自耕农”**时代。哪怕只有一块普通的开发板或单张消费级显卡，你依然拥有运行百亿参数大模型的权利。这是对“算力封建主义”的一次技术反叛。
2. 从“暴力美学”到“软硬协同” (From Brute Force to Co-design) 过去两年，行业的解法是“只要模型慢，就堆 H100”。但摩尔定律正在放缓。PowerInfer 证明了，通过深刻理解模型的物理特性（幂律分布与稀疏激活），辅以极致的 C++ 内存调度与硬件特性结合，算法工程师可以靠智慧，生生把 1 张卡的算力当成 10 张卡来用。
3. 从“信息交互”到“物理具身” (From Chat to Embodied AI) 云端模型延迟再低，也无法满足机器人、无人机高频的实时反馈要求。未来的具身智能系统（如高级 ROS 机器人），大脑必须长在自己的身体里。PowerInfer 提供的极低显存门槛和极高推理速度，正是通向这一终局最关键的钥匙。
九、最后时刻：这是一把屠龙刀，还是一块烫手山芋？
九、最后时刻：这是一把屠龙刀，还是一块烫手山芋？
PowerInfer 是一场迷人的硬件冒险，但我们必须诚实：它并不是为所有人准备的。
在终端里敲下 cmake --build 之前，请认真审视你的内心。这绝不是在下载一个点两下就能运行的 .exe 傻瓜软件，这更像是在给你的主板引擎手动加装一台未被驯化的涡轮增压器。
9.1 ✅ 天作之合：如果你是这三类人，请立即上车
如果你在阅读本文时感到心跳加速，或者你符合以下画像，那么 PowerInfer 就是为你量身定制的终极武器：
🛠️ The Hardware Hacker（硬件压榨狂）
- 特征：你热爱底层调优，享受看着 C++ 编译进度条飞速滚动、直至 100% 的愉悦感。当你看到 GPU 的显存占用率被精确控制在你设定的
-vram-budget数值上，一分不多一分不少时，你会获得巨大的满足感。面对终端里的底层报错，你的第一反应不是恐慌，而是兴奋地去翻阅源码。 - 为什么适合：PowerInfer 提供了极致的底层透明度。极其干净的 C++ 架构让你能亲手干预显存调度，它把硬件的绝对掌控权完完整整地交到了你手里。
🤖 The Edge AI Pioneer（端侧部署先锋）
- 特征：你不满足于让大模型仅仅活在恒温机房里。比如当你在一块 RK3588 开发板上，思考如何让 C++ 编写的语音唤醒节点、面部情绪识别模型与 ROS 系统的底层通信共同丝滑运转时，你深知每一兆内存和每一滴算力都极其宝贵。
- 为什么适合：PowerInfer 的原生 C++ 底层和极限稀疏激活机制，简直是为边缘设备量身打造的。它让你能将大模型的推理模块无缝且极度轻量地嵌入到你复杂的硬件生态与控制流中，让算力受限的设备也能拥有本地的高智商中枢。
🚀 The Budget Alchemist（平民算力炼金术士）
- 特征：你的预算有限，手里只有一张 24G 显存的 RTX 3090/4090，甚至是更老的设备，但你的野心很大。你不甘心只跑 7B 级别的“小玩具”，你有着一颗想要在本地挑战部署 40B 甚至 70B 级别大模型的心。
- 为什么适合：它是目前唯一能让你跨越显存物理限制，单卡跑通超大参数模型且不至于慢成幻灯片的魔法。它真正做到了“平民级硬件，服务器级体验”。
9.2 ❌ 劝退指南：如果你符合以下情况，请在此止步
为了避免你浪费宝贵的周末时光并陷入深深的挫败感，如果你是以下用户，我们建议你继续使用云端 API，或者使用 Ollama、LM Studio 等成熟的 GUI 套壳工具：
✋ “Just Work” 追求者
- 心态：“我只想赶紧跟 AI 聊上天，为什么还要配置 CMake？为什么还要排查 CUDA 环境变量配置？一堆 C++ 编译警告看得我头大。”
- 劝退理由：目前的源码级部署充满硬核的工程变数。如果你期待的是苹果式的“开箱即用”体验，或者遇到编译报错就束手无策，现在的 PowerInfer 绝对会让你抓狂。
🧱 稠密模型死忠粉 (Dense Model Fanatics)
- 心态：“原版的 Llama-3 和 Qwen 才是王道，我不想为了速度去折腾什么带有 ReLU 激活函数的 ProSparse 稀疏变体版本。”
- 劝退理由：道不同不相为谋。PowerInfer 的核心加速魔法完全建立在模型的“稀疏架构”之上。如果你执意要跑原版的稠密模型，那 Predictor（预测器）将毫无用武之地，它为你带来的加速收益几乎为零。
💤 运维懒人
- 心态：“我拉个 Docker 镜像跑起来就不想管了，还要去 Hugging Face 单独下什么 Activation（激活）分布文件？太麻烦了。”
- 劝退理由：PowerInfer 极其依赖前期的“离线画像”。你需要下载专门的 GGUF 格式和对应的激活统计目录，这需要一定的文件结构管理耐心。它要求你既是使用者，也是系统的调优师。
9.3 决策矩阵：红药丸还是蓝药丸？
| 特征对比 | 💊 蓝药丸 (云端 API / 傻瓜式客户端) | 💊 红药丸 (PowerInfer) |
|---|---|---|
| 你追求什么？ | 舒服、省事、不折腾 | 极致压榨、底层掌控、突破物理瓶颈 |
| 你的硬件配置 | 无所谓，或者有整柜的 A100 | 单张消费级显卡，或端侧 ARM 开发板 |
| 面对复杂模型 | 花钱买更高的 API 额度 | 下载对应的 Activation 数据跑混合调度 |
| 遇到 Error 时 | 重启软件，或者发邮件等客服 | 熟练打开 CMakeLists.txt 或去 GitHub 提 PR |
| 最终的体验 | 温室里的花朵，平庸且昂贵 | 硬核、狂野、令人血脉贲张 |
十、资源汇总
| 资源 | 链接 |
|---|---|
| GitHub 仓库 | https://github.com/Tiiny-AI/PowerInfer |
| 官方 HF 模型库 | https://huggingface.co/PowerInfer |
| 项目主页 / 在线 DEMO | 见 GitHub 仓库 README (Experimental Gradio server) |
| 学术论文与技术详情 | 见仓库首页关联的学术发表与文档 |
结语
PowerInfer 的爆火，让我们看到了大语言模型本地部署的终极答案——它不是作为某个云端巨头数据中心里高不可攀的吞金兽，而是作为每个极客和开发者手中最锋利的算力利刃。
8.8K+ Stars 只是一个开始。随着硬件架构的不断迭代和像 TurboSparse 这样的极端优化技术的普及，几十甚至上百 Billion 参数的大模型，终将如同今天的操作系统一样，跨越内存墙的鸿沟，成为每个人本地设备的标配。
毕竟，在这个算力即权力的时代，谁不想要一个 24/7 在线、数据绝对安全、且能被你精准掌控每一滴显存的本地“超级大脑”呢？
在各大巨头都在拼命堆算力、卷数据中心的今天，PowerInfer 的核心团队、个人极客开发者以及边缘计算爱好者们，用一场对“云端算力霸权”的绝地反击，向世界证明了一种极具技术美学的真理：优化的尽头，是算法的灵魂与硬件物理特性的完美共舞。
在这个 AI 正在重塑一切的时代，你是想做一个按 Token 交租、被动等待网络接口分配权限的消费者，还是想做一个亲手在机箱和开发板里点燃火种、掌握核心控制权的创造者？
选择权，现在交回到你手中。
🦞 Happy Hacking. The future is local.
本文基于 PowerInfer 开源项目公开资料整理，项目持续快速迭代，代码和配置参数可能随版本更新而变化。建议访问官方 GitHub 仓库获取最新部署信息。
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念，把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起，为开发者提供从开发、训练到部署的一站式体验。
更多推荐
9
0- 0
已为社区贡献33条内容
所有评论(0)