痛点

使用LM studio部署本地模型,内存使用过大,容易卡顿,甚至崩溃,网上调研各种本地模型部署方式,发现oMLX适配Mac的M系列芯片非常友好,优化很明显,特部署体验

基础信息

机型:m1pro 32g+512g,满血10+16核

模型:Qwen3.5-27B-Claude-4.6-Opus-Distilled-MLX-4bit

架构:oMLX + open claw

介绍

oMLX 是苹果官方 MLX 框架的商业增强封装发行版,是一个专为 Apple(M1/M2/M3/M4/M5 系列芯片)深度优化的本地大语言模型(LLM)推理服务器,基于 Apple 的 MLX 框架,提供了一个原生的 macOS 菜单栏应用,但在上层做了大量针对 Apple Silicon、MoE 大模型、OpenClaw 生态的深度优化。
支持文本生成、多模态视觉(VLM)、嵌入(Embedding)及重排序(Reranker)等任务,是 Claude Code 和 Cursor 等编程助手的理想本地后端。例如open claw支持官方一键集成。

原理:

oMLX 通过以下技术实现超越传统推理引擎的性能:

  • 分层 KV 缓存 (Tiered KV Cache):
    • 热缓存 (RAM): 活跃对话数据保留在内存中。
    • 冷缓存 (SSD): 不常用数据以 safetensors 格式转储至磁盘。
    • 优势: 支持跨重启的上下文持久化,大幅减少重复 Prefill 的计算开销。
  • 连续批处理 (Continuous Batching): 允许在处理现有请求的同时加入新请求,最大化 Apple GPU 的并行吞吐量。
  • 内存保护机制: 自动预留系统内存(默认保留 8GB),防止模型占用过多资源导致 macOS 系统卡死。

oMLX安装流程:

macOS 应用

  1. 前往 GitHub Releases 页面下载 .dmg 安装包。(根据自己Mac的系统版本选择)
  2. 将 oMLX.app 拖入 Applications 文件夹。

模型下载+启用

接入open claw:

复制命令,直接在终端打开输入即可,就正常运行了

打开新的终端窗口,然后查看授权ID

openclaw devices list

进行授权配对

openclaw devices approve 你的ID

比如:openclaw devices approve c727bf11-d1ab-40fd-a667-ed48cd74d85c

出现 device approved 提示,就代表配对授权成功!此时你原来运行 OpenClaw 的终端里,Pairing required 报错会自动消失。

终端绿色 Approved 字样代表配对授权完成!

现在重启网关让授权生效,在当前终端直接执行:

openclaw gateway restart

后续直接启动web-ui即可,终端执行命令,会自动弹出open claw的弹窗框:

openclaw dashboard

致此,圆满结束,可以直接使用了,相比原来,内存节省很多,不至于直接卡死掉了,后续会更其他的工具搭配使用,敬请期待

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐