LLM Wiki 完整指南:从零开始搭建智能知识库
🎤 展示大纲(约60分钟)
| 时间 | 内容 | 环节 |
|---|---|---|
| 0-5分钟 | 开场介绍 | 什么是 LLM Wiki?为什么需要它? |
| 5-15分钟 | 核心概念 | LLM、RAG、向量数据库(大白话解释) |
| 15-25分钟 | 现场演示 | Dify 零代码体验(快速上手) |
| 25-40分钟 | 实战搭建 | Ollama + AnythingLLM 本地部署 |
| 40-50分钟 | 代码进阶 | 基于 knowledge_base.py 的定制开发 |
| 50-55分钟 | 常见问题 | 遇到问题怎么办? |
| 55-60分钟 | 总结互动 | Q&A 环节 |
🎯 什么是 LLM Wiki?
场景引入
想象一下这样的场景:
-
📚 你有几百篇学习笔记、课程资料
-
🔍 想找某个知识点,翻半天找不到
-
💡 突然想到一个问题,却不知道答案在哪里
传统方式:手动翻找、关键词搜索、问同学老师
LLM Wiki 方式:直接问 AI!
你:"Python 中如何读取 CSV 文件?" AI:"根据你的笔记,读取 CSV 文件可以使用 pandas 库..."
简单定义
LLM Wiki 就是一个能听懂人话的智能知识库!
它能:
-
理解你的问题(不是简单的关键词匹配)
-
在你的文档中搜索(只回答你文档里有的内容)
-
用自然语言回答(就像和人聊天一样)
技术本质
智能知识库 = 你的文档 + AI 大脑(LLM) + 智能搜索引擎(向量数据库)
对比传统方式
| 对比项 | 传统搜索 | LLM Wiki |
|---|---|---|
| 搜索方式 | 关键词匹配 | 语义理解 |
| 回答方式 | 列出文档列表 | 直接给出答案 |
| 知识来源 | 全网/固定范围 | 你自己的文档 |
| 学习成本 | 需要知道关键词 | 直接提问即可 |
💡 核心概念(大白话版)
1. 大型语言模型(LLM)
什么是 LLM?
-
就像是 AI 的"大脑",里面装了海量知识
-
能理解和生成人类语言
-
可以回答问题、写文章、编代码
常见的 LLM:
-
GPT-4(需要付费)
-
Qwen2.5(免费开源)
-
Llama 3(免费开源)
-
Mixtral(免费开源)
模型大小对比:
| 模型 | 参数大小 | 特点 |
|---|---|---|
| Qwen2.5-1.5b | 15亿 | 最小最快,适合入门 |
| Qwen2.5-3b | 30亿 | 平衡选择,效果较好 |
| Qwen2.5-7b | 70亿 | 效果很好,需要好配置 |
2. RAG(检索增强生成)
什么是 RAG?
-
RAG = Retrieval-Augmented Generation
-
简单说:先搜索,再回答
工作流程:
用户提问 → 在知识库中搜索相关内容 → 让 AI 基于搜索结果回答
为什么需要 RAG?
-
✅ 回答更准确(基于真实文档)
-
✅ 减少幻觉(不会胡编乱造)
-
✅ 知识可更新(随时添加新文档)
-
✅ 来源可追溯(知道答案来自哪里)
3. 向量数据库
什么是向量数据库?
-
就像是一个"智能书架"
-
能理解文档的语义(意思)
-
快速找到最相关的内容
传统搜索 vs 语义搜索:
传统搜索:搜索"苹果" → 找到包含"苹果"这个词的文档 语义搜索:搜索"如何学习编程" → 找到关于编程学习的文档
向量的神奇之处:
-
把文字变成数字(向量)
-
通过计算向量相似度来匹配
-
理解"猫"和"狗"都是动物,"汽车"和"自行车"都是交通工具
🚀 新手搭建:三个阶段
阶段一:零代码体验(最简单,5分钟上手)
目标:快速体验智能知识库的神奇
推荐工具:Dify(免费在线版)
现场演示步骤:
1. 打开浏览器,访问:https://dify.ai/ 2. 注册账号(免费) 3. 点击"创建应用" 4. 选择"文档问答"模板 5. 点击"上传文档",选择本地的笔记文件 6. 等待文档处理完成 7. 选择模型(推荐"通义千问"免费版) 8. 在输入框中提问,比如:"Python 是什么?" 9. 见证神奇的回答!
优缺点分析:
| 优点 | 缺点 |
|---|---|
| 不用安装任何软件 | 免费版有使用额度限制 |
| 5分钟就能上手 | 数据会上传到云端 |
| 界面友好,操作简单 | 功能相对有限 |
适合人群:
-
想快速体验的新手
-
不想折腾安装的同学
-
只需要临时使用的场景
阶段二:本地部署(完全免费,30分钟搞定)
目标:数据完全在自己电脑上,永久免费使用
准备工作:
| 软件 | 用途 | 下载地址 |
|---|---|---|
| Ollama | 运行 AI 模型 | https://ollama.com/download |
| AnythingLLM | 图形界面管理 | https://anythingllm.com/ |
详细步骤:
第一步:安装 Ollama
什么是 Ollama?(大白话解释)
Ollama 就像是一个"AI 模型管理器",它帮你: 1. 下载各种免费的 AI 模型 2. 在你自己的电脑上运行这些模型 3. 提供一个简单的接口让其他软件连接 简单说:有了 Ollama,你就能在本地拥有一个免费的 ChatGPT!
安装步骤:
1. 访问:https://ollama.com/download 2. 点击 "Download for Windows" 3. 下载完成后双击安装包 4. 一路点击"下一步",等待安装完成 5. 安装成功后会自动打开命令行窗口
验证安装:
# 按 Win+R,输入 cmd 打开命令提示符 ollama --version # 显示版本号即为成功(如:ollama version 0.21.1)
第二步:下载 AI 模型
什么是 AI 模型?(大白话解释)
AI 模型就像是 AI 的"大脑",里面装了很多知识。 - 小模型:体积小,运行快,但知识量少一点 - 大模型:体积大,运行慢,但更聪明 根据你的配置(16GB内存 + 8GB显存),推荐从最小的模型开始!
推荐的免费模型(专为你的配置优化):
🌟 强烈推荐:Qwen2.5-1.5b(新手首选,你的配置轻松运行)
# 在命令提示符中输入: ollama pull qwen2.5:1.5b # 等待下载完成,这个模型很小,只有950MB,很快! # 下载完成后,测试一下: ollama run qwen2.5:1.5b # 看到 >>> 后,输入:你好 # AI 会回复你,说明成功了! # 输入 /bye 退出
🚀 进阶模型(你的配置可以尝试):
# Qwen2.5-3b(效果更好,需要约6GB显存) ollama pull qwen2.5:3b # Qwen2.5-7b(较大,需要8GB+显存,你的配置刚好够) ollama pull qwen2.5:7b
📊 模型选择参考表:
| 模型 | 大小 | 显存需求 | 推荐指数 | 适合场景 |
|---|---|---|---|---|
| qwen2.5:1.5b | 950MB | 4GB | ⭐⭐⭐⭐⭐ | 入门学习 |
| qwen2.5:3b | 2.6GB | 6GB | ⭐⭐⭐⭐ | 日常使用 |
| qwen2.5:7b | 5.5GB | 8GB | ⭐⭐⭐ | 需要更聪明的回答 |
📌 额外需要下载:嵌入模型(用于代码方式):
# 下载用于向量搜索的嵌入模型 ollama pull nomic-embed-text
第三步:安装配置 AnythingLLM
什么是 AnythingLLM?
一个漂亮的桌面应用,像操作微信一样简单: - 点击上传文档 - 直接输入问题 - AI 从你的文档里找答案 完全不用写代码!
安装步骤:
1. 访问:https://anythingllm.com/ 2. 点击 "Download" 3. 选择 Windows 版本下载 4. 安装完成后打开 5. 第一次打开会让你创建工作区,输入名称(如:我的知识库) 6. 在左侧菜单找到 "Settings"(设置) 7. 在 "LLM Provider" 中选择 "Ollama"
配置界面如下:
8. Model Name 填:qwen2.5:1.5b(或者你下载的其他模型) 注意:如果看到输入框,可以输入 `ollama run qwen2.5:1.5b` 然后点击 "Import" 导入 9. Base URL 填:http://localhost:11434 10. 点击 "Save" 保存设置 11. 回到主界面,点击 "Upload" 上传你的文档 12. 等待文档处理完成,开始提问!
阶段三:代码方式搭建(适合想学习的人,基于 knowledge_base.py)
目标:完全定制自己的知识库,灵活扩展功能
准备工作:
-
已安装 Python
-
已安装 Ollama 并下载 qwen2.5:7b 和 nomic-embed-text
第一步:安装依赖
# 打开命令提示符,输入以下命令: pip install llama-index llama-index-llms-ollama llama-index-embeddings-ollama
第二步:创建 knowledge_base.py 文件
完整代码(已配置好,可直接使用):
# 导入操作系统模块,用于文件路径等操作
import os
# 从 llama_index.core 导入核心组件
from llama_index.core import (
VectorStoreIndex, # 向量存储索引,用于将文档转换为向量并存储
SimpleDirectoryReader, # 简单的目录读取器,用于加载本地文件夹中的文档
Settings # 全局设置配置,用于配置LLM和嵌入模型等
)
# 从 llama_index.llms.ollama 导入 Ollama 的 LLM 接口
from llama_index.llms.ollama import Ollama
# 从 llama_index.embeddings.ollama 导入 Ollama 的嵌入模型接口
from llama_index.embeddings.ollama import OllamaEmbedding
# ==================== 1. 配置 Ollama 模型 ====================
# 配置全局的 LLM(大型语言模型)设置
# model="qwen2.5:7b" - 使用 Qwen2.5 7B 参数的模型
# base_url="http://localhost:11434" - Ollama 服务默认运行在本地的 11434 端口
Settings.llm = Ollama(model="qwen2.5:7b", base_url="http://localhost:11434")
# 配置全局的嵌入模型设置
# 嵌入模型用于将文本转换为向量,用于语义搜索
# model_name="nomic-embed-text" - 使用 Nomic 的文本嵌入模型
Settings.embed_model = OllamaEmbedding(model_name="nomic-embed-text", base_url="http://localhost:11434")
# ==================== 2. 加载文档 ====================
# 打印加载文档的提示信息
print("正在加载文档...")
# 使用 SimpleDirectoryReader 从指定目录加载文档
# './我的知识库/' - 文档所在的相对路径
# recursive=True - 递归读取子文件夹中的所有文档
documents = SimpleDirectoryReader('./我的知识库/', recursive=True).load_data()
# 打印已加载的文档数量,让用户知道加载了多少文件
print(f"✅ 加载了 {len(documents)} 篇文档")
# ==================== 3. 构建索引 ====================
# 打印正在构建索引的提示信息
# 索引就像给书编目录,让AI 能快速找到相关内容
print("正在构建索引...")
# 使用 VectorStoreIndex 从文档构建向量索引
# VectorStoreIndex 会自动将文档转换为向量并存储
# 这是 RAG(检索增强生成)系统的核心部分
index = VectorStoreIndex.from_documents(documents)
# 打印索引构建完成的提示信息
print("✅ 索引构建完成!")
# ==================== 4. 创建查询引擎 ====================
# 从索引创建查询引擎
# 查询引擎负责:
# 1. 接收用户问题
# 2. 在索引中搜索相关文档
# 3. 将问题和相关文档一起发送给 LLM
# 4. 返回 LLM 生成的答案
query_engine = index.as_query_engine()
# ==================== 5. 开始交互式提问 ====================
# 打印欢迎信息,告诉用户系统已准备好
print("\n🎉 智能知识库已准备好!")
# 进入无限循环,持续接收用户输入
while True:
# 提示用户输入问题,并获取用户输入
# input() 函数会在终端显示提示并等待用户输入
question = input("\n请输入你的问题(输入 q 退出):")
# 检查用户是否想退出
# lower() 将输入转为小写,这样 'Q' 或 'q' 都可以
if question.lower() == 'q':
# 打印再见信息
print("👋 再见!")
# 跳出循环,结束程序
break
# 打印 AI 正在思考的提示
print("🤖 AI 正在思考...")
# 使用查询引擎查询问题
# query() 方法会执行整个 RAG 流程:
# 1. 将问题转为向量
# 2. 在索引中搜索最相关的文档片段
# 3. 构建提示词:包含问题和相关文档内容
# 4. 发送给 LLM 获取回答
response = query_engine.query(question)
# 打印回答的标题
print("\n💡 回答:")
# 打印 LLM 生成的回答内容
# response.response 包含了最终的回答文本
print(response.response)
第三步:运行代码
# 在命令提示符中,进入文件所在目录 cd c:\Users\董哲\Desktop\五一演讲 # 运行程序 python knowledge_base.py # 按照提示提问即可!
如何修改代码(个性化定制)
1. 修改使用的模型:
# 将 qwen2.5:7b 改为其他模型 Settings.llm = Ollama(model="qwen2.5:1.5b", base_url="http://localhost:11434")
2. 修改文档路径:
# 更改文件夹位置
documents = SimpleDirectoryReader('./你的文档文件夹/', recursive=True).load_data()
3. 添加保存/加载索引功能(可选):
# 保存索引
index.storage_context.persist("./storage")
# 加载索引(需要重启时)
from llama_index.core import load_index_from_storage
storage_context = StorageContext.from_defaults(persist_dir="./storage")
index = load_index_from_storage(storage_context)
4. 调整搜索参数(可选):
# 创建查询引擎时,设置返回的相关文档数量 query_engine = index.as_query_engine(similarity_top_k=3)
📁 准备你的知识库内容
推荐的文档格式
| 格式 | 说明 | 推荐程度 |
|---|---|---|
| Markdown (.md) | 纯文本,结构清晰,AI 最喜欢 | ⭐⭐⭐⭐⭐ 最推荐 |
| TXT (.txt) | 纯文本文件,简单易用 | ⭐⭐⭐⭐ 推荐 |
| PDF (.pdf) | 电子书格式,支持但解析可能不太好 | ⭐⭐⭐ 可以 |
| Word (.docx) | 文档格式,支持但需要额外处理 | ⭐⭐ 可以 |
如何创建 Markdown 笔记?
可以使用 Typora(免费试用)或 VS Code 来写 基本语法: # 一级标题(最大的标题) ## 二级标题 ### 三级标题 - 列表项1 - 列表项2 **加粗文字** *斜体文字*
推荐的知识库结构(参考你的现有文件):
📁 knowledge_base(或 我的知识库)
├── 📂 学习笔记
│ ├── Python入门.md
│ ├── 机器学习基础.md
│ ├── 数据结构与算法.md
│ └── 英语学习心得.md
├── 📂 工作文档
│ ├── 项目总结.md
│ ├── 会议纪要.md
│ └── 技术方案.md
├── 📂 生活记录
│ ├── 健身计划.md
│ ├── 旅行攻略.md
│ └── 读书清单.md
└── 📂 参考资料
├── 编程规范.md
└── 工具使用指南.md
💡 实用技巧(让你的 AI 更聪明)
文档准备技巧
- 文档格式:推荐 Markdown(.md),结构清晰 - 文档内容:简洁明了,重点突出 - 文档结构:分章节,有标题层级 - 文件命名:使用有意义的文件名
好文档示例:
# Python 入门笔记
## 一、什么是 Python?
Python 是一种高级编程语言...
## 二、安装 Python
1. 访问官网下载
2. 运行安装程序
3. 验证安装
## 三、第一个程序
```python
print("Hello World!")
### 让回答更准确
-
问题要具体:"Python 怎么读取 CSV?" 比 "教教我 Python" 好
-
文档要高质量:内容准确、结构清晰
-
使用更好的模型:从 1.5b → 3b → 7b
-
添加示例文档:让 AI 学习正确的回答方式
### 提升运行速度
-
使用小模型(qwen2.5:1.5b 最快)
-
关闭其他占用资源的程序
-
文档不要太多,定期清理无用内容
-
使用 SSD 硬盘(读取速度更快)
--- ## 🎮 有趣的玩法(现场演示) ### 玩法1:学习辅助
上传你的课本笔记,问:
-
"什么是机器学习?"
-
"快速排序的原理是什么?"
-
"如何理解牛顿第二定律?"
### 玩法2:写作助手
上传你的草稿,问:
-
"帮我润色这段文字"
-
"总结这篇文章的要点"
-
"帮我写一篇关于 AI 的短文"
### 玩法3:知识整理
上传杂乱的笔记,问:
-
"帮我整理这些笔记的结构"
-
"找出这些文档的共同点"
-
"帮我做一个学习计划"
### 玩法4:创意激发
上传你的想法碎片,问:
-
"基于这些想法,帮我扩展一下"
-
"有什么好的项目建议吗?"
-
"帮我想一个创新的点子"
--- ## ❓ 常见问题解决(小白必看) ### 问题1:Ollama 安装失败?
可能原因:
-
Windows 版本太低(需要 Windows 10+)
-
缺少 Visual C++ 运行库
-
杀毒软件拦截
解决方案:
-
升级 Windows 系统
-
安装 Visual C++ Redistributable 下载地址:https://aka.ms/vs/17/release/vc_redist.x64.exe
-
暂时关闭杀毒软件
### 问题2:下载模型很慢?
解决方案:
-
使用小模型(qwen2.5:1.5b 只有950MB,几分钟就下完)
-
更换网络(试试手机热点)
-
晚上睡觉前开始下载,第二天早上就好了
### 问题3:聊天没反应?
解决方案:
-
检查 Ollama 是否在运行(任务栏右下角有 🦙 图标)
-
重启 Ollama(右键图标选择 Quit,再重新打开)
-
检查模型名字是否正确(必须是 qwen2.5:1.5b,注意标点)
-
重启电脑试试
### 问题4:电脑配置不够?
解决方案:
-
使用更小的模型(qwen2.5:1.5b 只需要4GB显存,你的8GB完全够)
-
关闭其他使用显卡的程序(游戏、视频播放器等)
-
如果没有 NVIDIA 显卡,Ollama 会自动使用 CPU 模式(会慢一些,但能用)
### 问题5:AnythingLLM 连接不上 Ollama?
解决方案:
-
确保 Ollama 正在运行(任务栏有 🦙 图标)
-
检查 Base URL 是否正确:http://localhost:11434
-
检查模型名字是否正确:qwen2.5:1.5b(冒号是英文的)
-
重启 Both 软件试试
### 问题6:Python 代码报错?
常见问题解决:
-
ModuleNotFoundError: 没有找到模块 → 检查是否安装了所有依赖
-
ValueError: No files found → 检查文档路径是否正确
-
ConnectionError → 检查 Ollama 是否在运行
解决方案:
-
确保已经运行:pip install llama-index llama-index-llms-ollama llama-index-embeddings-ollama
-
检查文件夹里是否有文档(.md 或 .txt 文件)
-
确认 Ollama 正在运行(任务栏有 🦙 图标)
--- ## 📊 对比表格总结 ### 工具对比 | 工具 | 类型 | 优点 | 缺点 | |-----|------|-----|------| | Dify | 在线工具 | 零代码、上手快 | 数据在云端、有额度限制 | | AnythingLLM | 桌面应用 | 界面友好、功能完整 | 需要安装、配置稍复杂 | | LlamaIndex + knowledge_base.py | 代码方式 | 高度定制、灵活扩展 | 需要编程知识 | ### 模型对比 | 模型 | 大小 | 性能 | 推荐场景 | |-----|------|-----|---------| | qwen2.5:1.5b | 950MB | 速度快 | 入门学习、低配电脑 | | qwen2.5:3b | 2.6GB | 平衡 | 日常使用、中等配置 | | qwen2.5:7b | 5.5GB | 效果好 | 专业使用、高配电脑 | --- ## 📚 学习资源推荐 ### 官方网站 | 资源 | 地址 | 说明 | |-----|------|-----| | Ollama | https://ollama.com/ | 本地模型部署工具 | | Ollama 模型列表 | https://ollama.com/library | 查看所有可用模型 | | Dify | https://dify.ai/ | 零代码搭建平台 | | LlamaIndex | https://www.llamaindex.ai/ | RAG 框架 | | Hugging Face | https://huggingface.co/ | AI 模型社区 | ### 学习教程 - Ollama 官方教程:https://ollama.com/docs - LlamaIndex 入门指南:https://docs.llamaindex.ai/en/stable/getting_started/ - Prompt 工程指南:https://www.promptingguide.ai/ ### 推荐模型 - Qwen2.5 系列:https://ollama.com/library?qwen2.5 - Llama 3.2 系列:https://ollama.com/library?llama3.2 - Mixtral:https://ollama.com/library/mixtral --- ## 🎉 完成!恭喜你搭建成功! ### 现在你可以:
✅ 随时问 AI 问题(基于你的文档) ✅ 让 AI 帮你总结文档内容 ✅ 用 AI 辅助写作(写报告、写邮件等) ✅ 构建自己的知识体系(把学到的东西都存起来) ✅ 用 Python 代码定制自己的功能
所有数据都在你自己的电脑上,完全免费!
### 下一步可以做什么?
-
添加更多文档到知识库(越多越聪明)
-
尝试不同的模型(从 1.5b 到 3b 再到 7b)
-
学习提示词技巧(让回答更准确)
-
探索更多功能(比如自动总结、问答机器人等)
-
修改 knowledge_base.py,添加自己想要的功能
--- ## ❓ Q&A 环节 准备一些常见问题: 1. **Q:这个和 ChatGPT 有什么区别?** A:ChatGPT 是通用 AI,回答基于训练数据;LLM Wiki 是基于你自己的文档回答。 2. **Q:需要什么配置的电脑?** A:最低配置:8GB 内存 + 4GB 显存;推荐配置:16GB 内存 + 8GB 显存。 3. **Q:数据安全吗?** A:本地部署的话,所有数据都在你自己的电脑上,非常安全。 4. **Q:可以离线使用吗?** A:可以!安装完成后,不需要网络也能使用。 5. **Q:支持哪些文档格式?** A:支持 Markdown、TXT、PDF、Word 等常见格式。 6. **Q:如何修改 knowledge_base.py?** A:用 VS Code 打开文件,修改代码后保存,重新运行即可。 --- **文档信息** - 版本:v6.0(合并版,含完整代码) - 更新日期:2026-05-05 - 适用配置:Intel i9-13900HX / 16GB RAM / 8GB GPU - 适用对象:班级展示、新手入门、进阶学习 - 难度等级:⭐ 入门级 → ⭐⭐ 进阶级 - 预计展示时间:60分钟 --- > 🌟 **开始你的 AI 知识库之旅吧!**
AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。
更多推荐


所有评论(0)