在AI时代，企业与个人都面临一个共同的挑战：如何让大模型读懂自己的私有文档，同时又能保障敏感数据安全？云侧AI虽然强大，但隐私数据的安全风险让许多核心资产（如研发代码、财务报表、个人数据）止步于前，这正是端侧RAG技术需要解决的核心痛点。

为了解决这一问题，RAGBASE（检索增强生成基础框架）应运而生。它通过将海量文档向量化并存储在本地，基于高效的混合检索机制，在用户提问时精准检索相关片段并交由大模型生成回答。它将静态的文档库转化为可互动的智能知识中心，为用户建立了一个自主可控的私有AI知识库。

摩尔线程RAGBASE则是这一技术方案在国产端侧算力平台上的应用实践。不同于传统的云端或通用框架，它针对摩尔线程自研长江SoC进行了原生级别的底层优化，协同vLLM-MUSA加速框架与全栈私有化安全机制，实现了从解析、存储到推理的全链路端侧闭环。整个过程不依赖网络，从根源上解决了数据隐私与云端依赖的痛点——即使在完全断网环境下，也能提供安全、精准、高效的私有知识库服务，展现了端侧RAG技术在安全性、精准度和推理效率上的领先性。

核心特性：端侧安全闭环，精准检索与高效推理兼得

摩尔线程RAGBASE通过MUSA架构与自研长江SoC端侧算力的深层耦合，将复杂的RAG链路标准化与本地化，实现了性能与安全的双重飞跃。系统在保障端侧闭环运行的同时，确保了知识处理的严谨与高效。

▼ 全流程端侧处理，保障隐私数据安全

从文档上传、基于hash值的文件去重、智能解析，到向量化、双库存储、检索与大模型推理，所有操作均在本地完成，无云端交互。数据不离开终端设备，隐私更安全。

▼ 多格式智能解析，自动化文档加工

支持 PDF、DOCX、TXT、MD、HTML、CSV、PPTX 等主流文本格式，自动识别文档类型并调用专属解析工具（如 pdf-parse、mammoth、word-extractor、turndown等）进行 Chunk切分，同时基于hash值自动过滤重复文件，避免冗余处理。

▼ 双库协同+加权评分，召回精准度高

采用“LanceDB向量库+SQLite关系库”双库设计：向量库存储Embedding向量保障检索精度，关系库保存文档结构化元信息丰富回答内容，二者通过fileId字段关联。检索时，用户Query先向量化并与向量库做相似度搜索，同时提取关键词计算匹配分数，二者加权后召回高分Chunk，并同步关联SQLite中的文件元信息，显著提升问答相关性。

▼ 多知识库灵活管理，支持定向问答

可在本地创建并管理多个独立知识库，对话时自由选择目标知识库进行定向检索与问答。适配工作、学习、研发等不同知识管理场景，有效提高特定领域下的回答准确率。

▼ 高性能端侧推理，模型灵活扩展

RAGBASE内置Qwen3-Embedding-0.6B与Qwen3-8B模型，基于长江SoC的端侧AI算力，协同vLLM-MUSA推理加速框架，采用W4A16量化策略实现高效推理。同时支持用户配置的OpenAI兼容接口或Ollama接口的模型API，满足个性化扩展需求。

基础操作快速上手

目前，MTT AIBOOK已预装RAGBASE，用户可直接开箱体验。RAGBASE核心分为知识库创建、文件同步、智能问答三步，完成配置后即可实现本地知识库的高效使用。

知识库创建

启动应用后，用户可以在“知识库”页面创建新的知识库，为其命名并添加描述。

用户可以设置同步策略，例如选择实时监控文件变化，或仅手动触发同步。应用会自动监控所选文件夹，将其中支持格式的文档进行解析、去重，并转化为向量存入知识库。用户可以在界面中实时查看每个文件的处理状态，从“待处理”、“向量化中”到“已完成”。

文件同步

进入该知识库的详情页，通过“添加同步”功能，选择一个本地文件夹进行绑定。

开始问答

文件全部处理完成后，即可切换到“对话”页面开始使用。在对话框左下角选择需要问答的目标知识库，然后在输入框中提出问题。

RAGBASE首先从用户的文档库中检索出最相关的文本片段，然后结合上下文信息，由本地大模型生成最终答案。回答界面会同时展示相关度最高的文档来源，方便用户追溯和核实。

扩展使用与场景案例

除了通过图形界面使用，RAGBAS的底层大模型与嵌入模型服务也支持通过命令行手动启动，并通过标准的curl命令进行API调用，满足更多开发集成需求。

例如通过curl命令发送POST请求，可直接调用本地大模型推理服务，实现自定义问答：

curl http://localhost:32102/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "musachat_local",
    "messages": [
      {"role": "system", "content": "You are a helpful assistant."},
      {"role": "user", "content": "豆汁儿好喝吗"}
    ]
  }'

RAGBASE在场景适配性上具备广泛的实用性：它可以作为工作文档知识库，快速查询项目流程与报告数据；作为技术研发知识库，随时检索API文档和技术手册；作为学习资料知识库，辅助理解知识点和解题思路；甚至可以作为生活信息知识库，管理菜谱、旅游攻略等。

RAGBASE通过端侧部署与本地化处理，为用户建立了一个自主可控的私有AI知识库。它基于高效的混合检索机制，从用户自身的资料中获取信息、生成回答，整个过程在本地完成，不依赖网络。这一设计从根源上解决了数据隐私与云端依赖的痛点，展现了端侧RAG技术在安全性、精准度和推理效率上的领先性。RAGBASE所代表的，不仅是一套本地知识库工具，更是一种更个人化、更可信赖的人机知识协同范式——让AI在全程保障数据隐私的前提下，真正理解并激活私有数据的价值。