一、背景说明

随着本地大模型(LLM)的普及,越来越多用户希望在本地构建类似腾讯 ima 的知识库系统,实现数据私有化 + AI 智能问答
ChatClaw 作为一款轻量级本地知识库工具,可以通过接入 Ollama 来实现这一目标。

本文将手把手讲解:如何在 Windows 环境下,将 ChatClaw 接入 Ollama 本地模型。

二、环境准备

在开始之前,请确保以下环境已准备完成:

1. 安装 Ollama

  • 官网下载安装(Windows 版本)
  • 安装完成后验证:
ollama -v

2. 拉取模型

推荐使用支持 tools 的模型(非常关键):

ollama run qwen2.5

或:

ollama run qwen2.5:7b

验证模型是否存在:

ollama list

示例输出:

NAME              ID              SIZE
qwen2.5:latest    xxxxxxxxxxxx    4.7 GB

3. 启动 ChatClaw

  • 下载 ChatClaw_windows_amd64.exe
  • 双击运行
  • 浏览器访问:
http://localhost:3000

三、ChatClaw 模型配置详解

进入 ChatClaw 后:

👉 点击右上角「设置 / 模型配置」

1. 关键参数填写

请按照如下方式填写:

Provider(模型类型): OpenAI Compatible
Base URL: http://localhost:11434/v1
API Key: ollama
模型ID(Model ID): qwen2.5:latest
模型名称(Model Name): qwen2.5:latest

2. 参数说明(非常重要)

参数 说明
Base URL Ollama 提供的 OpenAI 兼容接口地址(必须带 /v1)
API Key 任意填写(Ollama 不校验)
模型ID 实际调用的模型名称(必须与 ollama list 一致)
模型名称 仅用于界面显示,可与模型ID相同

3. 模型ID vs 模型名称

很多用户容易混淆:

❌ 错误写法:

模型ID: 845dbda0ea48   (这是 ID,不可用)

✅ 正确写法:

模型ID: qwen2.5:latest

👉 结论:只能使用 NAME,不能使用 ID

四、连接测试

配置完成后:

👉 点击「测试连接」

成功表现:

  • 模型返回正常内容
  • 无报错信息

五、绑定知识库

  1. 创建知识库
  2. 上传文档(PDF / Word / Markdown)
  3. 在知识库设置中选择模型:
qwen2.5:latest

六、常见问题排查

1. 连接失败

检查:

  • Base URL 是否为:

  • Ollama 是否运行

2. 报错 does not support tools

原因:

  • 使用了不支持 tools 的模型(如 llama3)

解决:

ollama run qwen2.5

3. 一直无响应

可能原因:

  • 模型未启动
  • 内存不足

建议:

ollama run qwen2.5

确保模型已加载

4. 下载模型失败

常见报错:

wsarecv: connection forcibly closed

解决方案:

  • 关闭 IPv6
  • 更换网络
  • 使用国内模型(如 qwen)

七、最佳实践建议

推荐模型选择

模型 推荐程度 说明
qwen2.5 ⭐⭐⭐⭐⭐ 中文强 + 支持 tools
llama3 ⭐⭐ 不适合知识库

推荐配置

模型ID: qwen2.5:7b
模型名称: qwen2.5:7b

优势:

  • 更稳定
  • 多模型管理清晰

八、微信等连接


八、总结

通过本文,你已经完成:

✅ 本地部署 Ollama
✅ ChatClaw 接入本地模型
✅ 知识库问答系统搭建

核心要点可以总结为一句话:

👉 将 Ollama 当作 OpenAI 接口使用(/v1),模型填写 qwen2.5 即可稳定运行

如果需要进一步优化,可以继续调整:

  • 文档分块(chunk size)
  • 向量模型(embedding)
  • 检索策略(RAG)

从而实现接近 ima 的使用体验。

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐