13.6万Star,自己部署一个AI对话平台

Open WebUI在GitHub上拿到了13.6万Star,是目前最受欢迎的自托管AI界面项目。

正文顶部截图

README区域截图

它的定位很清楚:给你一个ChatGPT风格的对话界面,但模型和数据完全由你控制。部署在自己服务器上,不用把数据交给第三方,也不用付API调用费。

Star History

Open WebUI对接Ollama和各种OpenAI兼容API,本地模型和云端模型都能接入。也支持LMStudio、GroqCloud、Mistral、OpenRouter等服务。后端可以自由切换,不受单一模型供应商绑定。

文档问答(RAG)

内置了RAG能力。上传PDF、Word、Excel等文档后,在对话中用#命令引用文件,回答就会基于你的文档内容。

向量数据库支持9种:ChromaDB、Qdrant、Milvus、Elasticsearch、PGVector、Pinecone、OpenSearch、S3Vector、Oracle 23ai。小规模用ChromaDB就够了,数据量大可以切到Milvus或Elasticsearch。

搜索增强也做得很全,接入了15个以上搜索服务:Google、Bing、DuckDuckGo、SearXNG、Tavily、Perplexity、Jina、Exa等。对话中用#加URL可以直接加载网页内容,让模型基于网页回答。

多模型同时对话

一个消息发给多个模型,各自回复放一起对比。选模型或测试prompt的时候,这个功能省了很多来回切换的时间。

语音和视频

支持语音输入和视频通话。语音转文字可对接本地Whisper、OpenAI、Deepgram、Azure,文字转语音支持ElevenLabs、OpenAI TTS、Azure、Transformers、WebAPI等引擎。打通之后可以全程语音交互。

插件和工具

通过Pipelines插件框架扩展功能。官方示例包括函数调用、用户限流、用量监控(对接Langfuse)、实时翻译(LibreTranslate)、有害内容过滤等。

工具工作区能直接写Python函数给LLM调用,把模型能力和自己的业务逻辑连起来。内置了持久化键值存储API,可以做日志、跟踪器、排行榜这类需要跨会话保存数据的功能。

权限与部署

RBAC权限控制,不同用户分角色,管理员控制模型创建和拉取权限。支持LDAP/Active Directory集成、SSO单点登录、SCIM 2.0自动用户配置,企业接入很方便。

部署最简单的方式是Docker:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Ollama在其他服务器上时,修改环境变量即可:

docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

GPU加速镜像和Ollama捆绑镜像也都支持。也提供了Kubernetes部署(kubectl、kustomize、helm)和pip安装方式。

其他能力

Markdown和LaTeX渲染、代码高亮、PWA移动端体验都内置了。图片生成对接DALL-E、Gemini、ComfyUI、AUTOMATIC1111。数据库可选SQLite(支持加密)或PostgreSQL,存储后端支持S3、Google Cloud Storage、Azure Blob Storage。还内置了OpenTelemetry支持,方便接入现有监控体系。

项目更新频率高,社区反馈速度快。如果需要私有化部署AI对话服务,无论个人使用还是团队协作,Open WebUI都值得一试。

更新频率高,社区反馈速度快。如果需要私有化部署AI对话服务,无论个人使用还是团队协作,Open WebUI都值得一试。

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐