本地运行 Ollama 的 Qwen3.5 模型导致电脑卡顿，通常是由于模型过大、上下文（Context）过长、资源未充分利用或硬件过热降频所致。请按以下步骤排查优化。

---

🔍 1. 诊断卡顿原因

首先，通过监控工具判断瓶颈所在。

• Windows: 打开任务管理器，查看“性能”标签页下的 CPU、内存、GPU 占用率。

• macOS: 打开“活动监视器”，查看 CPU、内存、GPU 使用情况。

• Linux: 使用 htop和 nvidia-smi -l 1(NVIDIA) 命令监控。

根据监控结果，定位问题：

• 内存/显存爆满: 物理内存或显存占用率接近 100%，系统开始使用磁盘交换（Swap），导致严重卡顿。

• CPU 满载, GPU 闲置: 模型未使用 GPU 进行加速，导致 CPU 计算压力过大。

• GPU 满载, 温度过高: GPU 长时间高负载运行，可能因过热而自动降频，导致速度骤降。

---

💡 2. 核心优化策略

选用合适的模型规模

请根据您的硬件配置选择，下表为经验建议值：

硬件配置	推荐模型	备注
8GB 显存​	qwen3.5:3b或 qwen3.5:0.8b	16GB 内存的 Mac Mini M4 运行 qwen3.5:3b较为稳定。
12GB 显存​	qwen3.5:7b(4bit量化)	运行 qwen3.5:9b会比较紧张。
24GB 显存​	qwen3.5:14b/ 27b	可运行，但需配合下文优化。

操作建议：若当前使用 7B/9B/14B 等较大模型且卡顿，请先降级到 qwen3.5:3b或 0.8b进行测试，通常会有立竿见影的效果。

大幅缩短上下文长度

Qwen3.5 默认支持 256K 的上下文，但 Ollama 会预分配巨大的 KV Cache，极易耗尽内存。例如，16GB 内存的机器运行 qwen3.5:4b默认配置，内存占用可达 11.8GB。

解决方案：将上下文限制在 8K 或 4K。

• 临时运行：

  bash

  限制为 4096 tokens

  ollama run qwen3.5:3b --num_ctx 4096

  限制为 8192 tokens

  ollama run qwen3.5:3b --num_ctx 8192

• 创建专用模型​ (推荐):

  1. 创建 Modelfile文件：

     dockerfile

     FROM qwen3.5:3b

     PARAMETER num_ctx 8192

  2. 基于该文件创建新模型：

     bash

     ollama create qwen3.5:3b-8k -f Modelfile

  3. 运行新模型：

     bash

     ollama run qwen3.5:3b-8k

提示：对于日常对话和工具调用，8K 上下文已足够。若需处理长文档，可临时调大，用完后切回 8K。

强制使用 GPU 加速

如果发现 GPU 利用率为 0% 而 CPU 满载，说明模型正在使用 CPU 进行推理，速度会非常慢。

• 检查 GPU 是否被识别：

  • NVIDIA: 运行 nvidia-smi，确认输出正常。

  • Ollama: 运行 ollama ps，查看模型的计算类型是否为 cuda或 metal，而非 cpu。

• 配置 GPU 层数 (以 NVIDIA 为例)：

  1. 导出模型配置：

     bash

     ollama show qwen3.5:9b --modelfile > qwen35-9b.modelfile

  2. 编辑 qwen35-9b.modelfile，添加 num_gpu参数（数值为模型总层数，可通过 ollama show --modelfile查看）：

     dockerfile

     FROM qwen3.5:9b

     PARAMETER num_gpu 100 # 尝试将更多层加载到 GPU

  3. 创建并运行新模型：

     bash

     ollama create qwen3.5:9b-gpu -f qwen35-9b.modelfile

     ollama run qwen3.5:9b-gpu

• macOS 用户：确保使用 Metal 后端，并安装最新版 Ollama 以更好地支持 Apple Silicon GPU。

限制输出长度与并发

• 限制生成长度：在调用 API 时，通过 max_tokens或 -n参数限制输出，避免模型生成过长内容拖慢速度。

• 降低并发请求：设置 OLLAMA_NUM_PARALLEL=1，让请求排队处理，避免 KV Cache 成倍增长。

管理模型常驻与系统资源

• 模型常驻 (Keep-alive)：Ollama 默认会在空闲 5 分钟后卸载模型，再次调用会有冷启动延迟。可以设置 OLLAMA_KEEP_ALIVE环境变量让模型常驻内存。

  • Linux/macOS:

    bash

    export OLLAMA_KEEP_ALIVE=-1 # 永久常驻

    ollama serve

  • Windows: 在系统环境变量中添加 OLLAMA_KEEP_ALIVE，值为 -1，然后重启 Ollama 服务。

• 关闭无关程序：运行模型前，关闭浏览器、游戏、视频软件等非必要应用，为模型运行释放更多内存和 CPU 资源。

---

🚀 3. 进阶优化选项

• 调整 KV Cache 策略：通过环境变量 OLLAMA_KV_CACHE_TYPE=q8_0或启动时添加 --set kv_cache=0.5来降低 KV Cache 的精度或占用，以空间换时间。

• 启用 PowerInfer 引擎：对于支持 CUDA 的 NVIDIA 显卡，设置 OLLAMA_POWERINFER=1并重启 Ollama 服务，可显著提升推理速度。

• 控制输出长度：在 Prompt 中明确要求“回答控制在 500 字以内”，或在 API 调用中设置 max_tokens，可以有效减少计算量。

---

📋 4. 快速优化方案

如果希望快速获得一个流畅的配置，可以尝试以下组合：

1. 选择小模型：

   bash

   ollama pull qwen3.5:3b

2. 创建 8K 上下文版本：

   按照上文“创建专用模型”的步骤，创建并运行 qwen3.5:3b-8k。

3. 设置常驻：

   设置环境变量 OLLAMA_KEEP_ALIVE=-1并重启 Ollama 服务。

4. 监控效果：

   再次运行模型，观察系统资源占用和响应速度是否得到显著改善。