开源 AI 助手 BrainyAssist｜Chroma 向量库 + 中文嵌入模型 低成本实现 AI 长期记忆本地部署

关键词：AI 长期记忆，Chroma 向量数据库，中文文本嵌入模型，m3e-small, 本地部署 AI,Llama.cpp API, 开源 AI 助手，低成本 LLM

---

一、前言：被 AI “健忘症” 和高成本 API 折磨的开发者

在日常使用大模型开发、对话、项目协作时，你一定遇到过这些问题：

• 对话稍长，模型就忘记关键信息，反复重复说明浪费大量 Token；
• 长上下文 API 价格昂贵，单日成本轻松破百；
• 本地小模型无记忆能力，只能单次使用；
• 通用嵌入模型对中文支持差，向量检索召回率低。

今天给大家分享一款开源轻量化 AI 助手 ——BrainyAssist，基于类脑双层记忆架构，搭配Chroma 向量数据库与m3e-small 中文文本嵌入模型，用 1% 的成本实现 AI 长期记忆，支持本地部署、双 API 模式，彻底解决 AI 健忘与高成本痛点。

二、项目核心介绍

2.1 项目定位

BrainyAssist 是一款固定核心认知空间 + 按需记忆检索的轻量级 AI 助手，专为本地运行、低成本、永不遗忘设计，完美适配中文场景，支持私有化部署。

2.2 核心技术栈

• 向量数据库：Chroma（本地轻量向量库，单机支持百万级记忆）
• 中文文本嵌入模型：m3e-small（专为中文优化，召回率＞90%）
• 推理支持：Llama.cpp 本地 API + 第三方通用 API
• 记忆架构：双层记忆（压缩索引 + 向量检索，借鉴 zer0dex）
• 前端：FastAPI + Jinja2

2.3 核心优势

1. 成本极低：50 轮对话仅 14 万 Token，本地部署 0 成本
2. 中文友好：内置 m3e-small 中文嵌入模型，中文检索效果拉满
3. 本地私有化：Chroma 向量库本地存储，数据不泄露
4. 记忆不丢失：永久认知 + 临时缓存 + 会话总结 + 向量检索，多轮对话不遗忘
5. 低门槛：4GB 内存 + 2 核 CPU 即可运行，兼容消费级显卡

三、核心记忆架构（类脑 + 双层检索）

BrainyAssist 借鉴人脑工作机制，结合双层记忆设计，Token 消耗恒定不膨胀：

表格

组件	功能	存储路径
永久认知文件	存储项目固定信息	data/cognitive_space/permanent_cognition.md
临时缓存文件	存储当前任务状态	data/cognitive_space/temporary_context.md
压缩索引文件	知识导航，跨域关联	data/MEMORY.md
会话记忆文件	自动总结对话关键信息	data/sessionsMemory.md
Chroma 向量数据库	长期记忆存储与检索	data/memory/

工作流程

1. 加载核心认知文件 + 压缩索引
2. 读取会话历史记忆
3. 通过m3e-small 中文嵌入模型检索 Chroma 向量库，返回 3-5 条相关记忆
4. 整合信息发送至 LLM 生成回答
5. 自动总结对话存入会话记忆

四、环境部署与快速上手

4.1 环境准备

bash

运行

# 克隆项目
git clone https://github.com/Carlow7922/BrainyAssist.git
cd BrainyAssist

# 安装核心依赖（Chroma+中文嵌入模型）
pip install chromadb sentence-transformers requests

# 安装Web前端依赖
pip install fastapi uvicorn jinja2 python-multipart

4.2 配置文件修改

所有 API 配置统一在 .env 文件修改，支持双模式切换：

1. Llama.cpp 本地 API（推荐，完全离线）

env

BASE_URL=http://192.168.1.2:8000/v1
API_KEY=sk-local-llama-123456
MODEL_ID=gemma-4-31b-abliterated-Q8_0.gguf

1. 第三方 API（豆包 / DeepSeek 等）

env

API_TYPE=third_party
THIRD_PARTY_ENDPOINT=https://api.deepseek.com
THIRD_PARTY_KEY=你的API密钥

4.3 启动 Web 前端

bash

运行

# 启动项目
python BrainyAssist/web/app.py
# 或使用uvicorn启动
uvicorn BrainyAssist.web.app:app

启动完成访问：http://localhost:8100 即可使用。

4.4 进阶：MD 文档导入 Chroma 向量库

在 Web 界面输入 MD 文件在线 URL，系统自动通过m3e-small 中文嵌入模型向量化，存入本地 Chroma 向量库，快速搭建私有知识库。

五、性能对比（BrainyAssist vs 传统方案）

表格

方案	50 轮成本	中文召回率	向量库	私有化
GPT-4 长上下文	6-30 美元	95%	无	❌
本地无记忆模型	0 元	30%	无	✅
传统 RAG	0-10 美元	70%	通用	✅
BrainyAssist	0-0.1 美元	90%+	Chroma	✅

六、项目现状与限制

6.1 已完成功能

✅ Chroma 向量数据库集成✅ m3e-small 中文文本嵌入模型适配✅ 双层记忆架构✅ Llama.cpp 本地 API + 第三方 API 双支持✅ Web 可视化前端✅ MD 文件 URL 导入向量库

6.2 当前限制

• 暂不支持图片输入
• 向量检索结果缓存写入开发中
• 项目处于测试阶段，持续迭代

七、适合人群

1. 被高成本长上下文 API 困扰的开发者
2. 需要本地私有化部署 AI 助手的用户
3. 追求中文友好 + 高召回率的 RAG 使用者
4. 希望 AI 拥有长期记忆的科研 / 办公人群

八、总结

BrainyAssist 凭借Chroma 向量数据库+m3e-small 中文文本嵌入模型的组合，真正实现了低成本、本地化、强记忆、中文友好的 AI 助手能力，代码开源、部署简单，完美解决大模型健忘与高成本两大核心痛点。

如果你也在寻找一款轻量、免费、支持长期记忆的本地 AI 助手，不妨尝试 BrainyAssist！

九、项目展示

---

项目信息

• GitHub 地址：https://github.com/Carlow7922/BrainyAssist
• 协议：MIT
• 适配场景：本地开发、私有知识库、项目记忆管理

欢迎 Star 支持，一起参与项目迭代！

---

标签：AI 长期记忆、Chroma 向量数据库、中文嵌入模型、本地 AI、开源项目、Llama.cpp、RAG