轻松创建知识库：开源工具AnythingLLM和ollama

简介

AnythingLLM 是一个开源的、可定制的、功能丰富的文档聊天机器人。它专为那些希望与之智能对话或利用现有文档构建知识库的任何人设计。

这是一个全栈应用程序，它能够将任何文档、资源或内容片段转化为大语言模型（LLM）在聊天中可以利用的相关上下文。该应用允许用户选择并配置要使用的LLM或向量数据库，并支持多用户管理及权限控制，以确保数据安全和高效协作。

github 地址：GitHub - Mintplex-Labs/anything-llm: A multi-user ChatGPT for any LLMs and vector database. Unlimited documents, messages, and storage in one privacy-focused app. Now available as a desktop application!

本地部署安装(linux 系统)

安装ollama

ollama 要安装最新版本，新版本支持embedding

curl -fsSL https://ollama.com/install.sh | sh

安装anythingllm

export STORAGE_LOCATION=$HOME/anythingllm && \
mkdir -p $STORAGE_LOCATION && \
touch "$STORAGE_LOCATION/.env" && \
docker run -d -p 3001:3001 \
--cap-add SYS_ADMIN \
-v ${STORAGE_LOCATION}:/app/server/storage \
-v ${STORAGE_LOCATION}/.env:/app/server/.env \
-e STORAGE_DIR="/app/server/storage" \
mintplexlabs/anythingllm:master

注意：Linux环境root权限下运行上述命令时会报错，要执行以下操作

问题参考：https://github.com/Mintplex-Labs/anything-llm/issues/426

chmod -R 777 ${STORAGE_LOCATION}

配置

打开界面 http://yourip:3001

本地模型选择ollama，配置一些简单信息

配置embedding，选择ollama，模型选择 nomic-embed-text:latest

vector database 选择 anythingllm 自带的 LanceDB.

以上便是主体配置

使用测试

导入个人文档

也可以添加web url，对web 界面内容问答

可对问答系统参数进行简单配置

更多anythingllm 使用和配置可参考官方文档：What is AnythingLLM

转自：轻松创建知识库：开源工具AnythingLLM - 知乎