🎤 展示大纲(约60分钟)

时间 内容 环节
0-5分钟 开场介绍 什么是 LLM Wiki?为什么需要它?
5-15分钟 核心概念 LLM、RAG、向量数据库(大白话解释)
15-25分钟 现场演示 Dify 零代码体验(快速上手)
25-40分钟 实战搭建 Ollama + AnythingLLM 本地部署
40-50分钟 代码进阶 基于 knowledge_base.py 的定制开发
50-55分钟 常见问题 遇到问题怎么办?
55-60分钟 总结互动 Q&A 环节

🎯 什么是 LLM Wiki?

场景引入

想象一下这样的场景:

  • 📚 你有几百篇学习笔记、课程资料

  • 🔍 想找某个知识点,翻半天找不到

  • 💡 突然想到一个问题,却不知道答案在哪里

传统方式:手动翻找、关键词搜索、问同学老师

LLM Wiki 方式:直接问 AI!

你:"Python 中如何读取 CSV 文件?"
AI:"根据你的笔记,读取 CSV 文件可以使用 pandas 库..."

简单定义

LLM Wiki 就是一个能听懂人话的智能知识库

它能:

  1. 理解你的问题(不是简单的关键词匹配)

  2. 在你的文档中搜索(只回答你文档里有的内容)

  3. 用自然语言回答(就像和人聊天一样)

技术本质

智能知识库 = 你的文档 + AI 大脑(LLM) + 智能搜索引擎(向量数据库)

对比传统方式

对比项 传统搜索 LLM Wiki
搜索方式 关键词匹配 语义理解
回答方式 列出文档列表 直接给出答案
知识来源 全网/固定范围 你自己的文档
学习成本 需要知道关键词 直接提问即可

💡 核心概念(大白话版)

1. 大型语言模型(LLM)

什么是 LLM?

  • 就像是 AI 的"大脑",里面装了海量知识

  • 能理解和生成人类语言

  • 可以回答问题、写文章、编代码

常见的 LLM

  • GPT-4(需要付费)

  • Qwen2.5(免费开源)

  • Llama 3(免费开源)

  • Mixtral(免费开源)

模型大小对比

模型 参数大小 特点
Qwen2.5-1.5b 15亿 最小最快,适合入门
Qwen2.5-3b 30亿 平衡选择,效果较好
Qwen2.5-7b 70亿 效果很好,需要好配置

2. RAG(检索增强生成)

什么是 RAG?

  • RAG = Retrieval-Augmented Generation

  • 简单说:先搜索,再回答

工作流程

用户提问 → 在知识库中搜索相关内容 → 让 AI 基于搜索结果回答

为什么需要 RAG?

  • ✅ 回答更准确(基于真实文档)

  • ✅ 减少幻觉(不会胡编乱造)

  • ✅ 知识可更新(随时添加新文档)

  • ✅ 来源可追溯(知道答案来自哪里)

3. 向量数据库

什么是向量数据库?

  • 就像是一个"智能书架"

  • 能理解文档的语义(意思)

  • 快速找到最相关的内容

传统搜索 vs 语义搜索

传统搜索:搜索"苹果" → 找到包含"苹果"这个词的文档
语义搜索:搜索"如何学习编程" → 找到关于编程学习的文档

向量的神奇之处

  • 把文字变成数字(向量)

  • 通过计算向量相似度来匹配

  • 理解"猫"和"狗"都是动物,"汽车"和"自行车"都是交通工具


🚀 新手搭建:三个阶段

阶段一:零代码体验(最简单,5分钟上手)

目标:快速体验智能知识库的神奇

推荐工具:Dify(免费在线版)

现场演示步骤

1. 打开浏览器,访问:https://dify.ai/
2. 注册账号(免费)
3. 点击"创建应用"
4. 选择"文档问答"模板
5. 点击"上传文档",选择本地的笔记文件
6. 等待文档处理完成
7. 选择模型(推荐"通义千问"免费版)
8. 在输入框中提问,比如:"Python 是什么?"
9. 见证神奇的回答!

优缺点分析

优点 缺点
不用安装任何软件 免费版有使用额度限制
5分钟就能上手 数据会上传到云端
界面友好,操作简单 功能相对有限

适合人群

  • 想快速体验的新手

  • 不想折腾安装的同学

  • 只需要临时使用的场景


阶段二:本地部署(完全免费,30分钟搞定)

目标:数据完全在自己电脑上,永久免费使用

准备工作

软件 用途 下载地址
Ollama 运行 AI 模型 https://ollama.com/download
AnythingLLM 图形界面管理 https://anythingllm.com/

详细步骤

第一步:安装 Ollama

什么是 Ollama?(大白话解释)

Ollama 就像是一个"AI 模型管理器",它帮你:
1. 下载各种免费的 AI 模型
2. 在你自己的电脑上运行这些模型
3. 提供一个简单的接口让其他软件连接
​
简单说:有了 Ollama,你就能在本地拥有一个免费的 ChatGPT!

安装步骤

1. 访问:https://ollama.com/download
2. 点击 "Download for Windows"
3. 下载完成后双击安装包
4. 一路点击"下一步",等待安装完成
5. 安装成功后会自动打开命令行窗口

验证安装

# 按 Win+R,输入 cmd 打开命令提示符
ollama --version
# 显示版本号即为成功(如:ollama version 0.21.1)
第二步:下载 AI 模型

什么是 AI 模型?(大白话解释)

AI 模型就像是 AI 的"大脑",里面装了很多知识。
- 小模型:体积小,运行快,但知识量少一点
- 大模型:体积大,运行慢,但更聪明

根据你的配置(16GB内存 + 8GB显存),推荐从最小的模型开始!

推荐的免费模型(专为你的配置优化)

🌟 强烈推荐:Qwen2.5-1.5b(新手首选,你的配置轻松运行)

# 在命令提示符中输入:
ollama pull qwen2.5:1.5b

# 等待下载完成,这个模型很小,只有950MB,很快!
# 下载完成后,测试一下:
ollama run qwen2.5:1.5b

# 看到 >>> 后,输入:你好
# AI 会回复你,说明成功了!
# 输入 /bye 退出

🚀 进阶模型(你的配置可以尝试)

# Qwen2.5-3b(效果更好,需要约6GB显存)
ollama pull qwen2.5:3b

# Qwen2.5-7b(较大,需要8GB+显存,你的配置刚好够)
ollama pull qwen2.5:7b

📊 模型选择参考表

模型 大小 显存需求 推荐指数 适合场景
qwen2.5:1.5b 950MB 4GB ⭐⭐⭐⭐⭐ 入门学习
qwen2.5:3b 2.6GB 6GB ⭐⭐⭐⭐ 日常使用
qwen2.5:7b 5.5GB 8GB ⭐⭐⭐ 需要更聪明的回答

📌 额外需要下载:嵌入模型(用于代码方式)

# 下载用于向量搜索的嵌入模型
ollama pull nomic-embed-text
第三步:安装配置 AnythingLLM

什么是 AnythingLLM?

一个漂亮的桌面应用,像操作微信一样简单:
- 点击上传文档
- 直接输入问题
- AI 从你的文档里找答案

完全不用写代码!

安装步骤

1. 访问:https://anythingllm.com/
2. 点击 "Download"
3. 选择 Windows 版本下载
4. 安装完成后打开
5. 第一次打开会让你创建工作区,输入名称(如:我的知识库)
6. 在左侧菜单找到 "Settings"(设置)
7. 在 "LLM Provider" 中选择 "Ollama"

配置界面如下:

8. Model Name 填:qwen2.5:1.5b(或者你下载的其他模型)
   注意:如果看到输入框,可以输入 `ollama run qwen2.5:1.5b` 然后点击 "Import" 导入
9. Base URL 填:http://localhost:11434
10. 点击 "Save" 保存设置
11. 回到主界面,点击 "Upload" 上传你的文档
12. 等待文档处理完成,开始提问!

阶段三:代码方式搭建(适合想学习的人,基于 knowledge_base.py)

目标:完全定制自己的知识库,灵活扩展功能

准备工作

  • 已安装 Python

  • 已安装 Ollama 并下载 qwen2.5:7b 和 nomic-embed-text

第一步:安装依赖
# 打开命令提示符,输入以下命令:
pip install llama-index llama-index-llms-ollama llama-index-embeddings-ollama
第二步:创建 knowledge_base.py 文件

完整代码(已配置好,可直接使用)

# 导入操作系统模块,用于文件路径等操作
import os

# 从 llama_index.core 导入核心组件
from llama_index.core import (
    VectorStoreIndex,      # 向量存储索引,用于将文档转换为向量并存储
    SimpleDirectoryReader, # 简单的目录读取器,用于加载本地文件夹中的文档
    Settings               # 全局设置配置,用于配置LLM和嵌入模型等
)

# 从 llama_index.llms.ollama 导入 Ollama 的 LLM 接口
from llama_index.llms.ollama import Ollama

# 从 llama_index.embeddings.ollama 导入 Ollama 的嵌入模型接口
from llama_index.embeddings.ollama import OllamaEmbedding

# ==================== 1. 配置 Ollama 模型 ====================
# 配置全局的 LLM(大型语言模型)设置
# model="qwen2.5:7b" - 使用 Qwen2.5 7B 参数的模型
# base_url="http://localhost:11434" - Ollama 服务默认运行在本地的 11434 端口
Settings.llm = Ollama(model="qwen2.5:7b", base_url="http://localhost:11434")

# 配置全局的嵌入模型设置
# 嵌入模型用于将文本转换为向量,用于语义搜索
# model_name="nomic-embed-text" - 使用 Nomic 的文本嵌入模型
Settings.embed_model = OllamaEmbedding(model_name="nomic-embed-text", base_url="http://localhost:11434")

# ==================== 2. 加载文档 ====================
# 打印加载文档的提示信息
print("正在加载文档...")

# 使用 SimpleDirectoryReader 从指定目录加载文档
# './我的知识库/' - 文档所在的相对路径
# recursive=True - 递归读取子文件夹中的所有文档
documents = SimpleDirectoryReader('./我的知识库/', recursive=True).load_data()

# 打印已加载的文档数量,让用户知道加载了多少文件
print(f"✅ 加载了 {len(documents)} 篇文档")

# ==================== 3. 构建索引 ====================
# 打印正在构建索引的提示信息
# 索引就像给书编目录,让AI 能快速找到相关内容
print("正在构建索引...")

# 使用 VectorStoreIndex 从文档构建向量索引
# VectorStoreIndex 会自动将文档转换为向量并存储
# 这是 RAG(检索增强生成)系统的核心部分
index = VectorStoreIndex.from_documents(documents)

# 打印索引构建完成的提示信息
print("✅ 索引构建完成!")

# ==================== 4. 创建查询引擎 ====================
# 从索引创建查询引擎
# 查询引擎负责:
# 1. 接收用户问题
# 2. 在索引中搜索相关文档
# 3. 将问题和相关文档一起发送给 LLM
# 4. 返回 LLM 生成的答案
query_engine = index.as_query_engine()

# ==================== 5. 开始交互式提问 ====================
# 打印欢迎信息,告诉用户系统已准备好
print("\n🎉 智能知识库已准备好!")

# 进入无限循环,持续接收用户输入
while True:
    # 提示用户输入问题,并获取用户输入
    # input() 函数会在终端显示提示并等待用户输入
    question = input("\n请输入你的问题(输入 q 退出):")
    
    # 检查用户是否想退出
    # lower() 将输入转为小写,这样 'Q' 或 'q' 都可以
    if question.lower() == 'q':
        # 打印再见信息
        print("👋 再见!")
        # 跳出循环,结束程序
        break
    
    # 打印 AI 正在思考的提示
    print("🤖 AI 正在思考...")
    
    # 使用查询引擎查询问题
    # query() 方法会执行整个 RAG 流程:
    # 1. 将问题转为向量
    # 2. 在索引中搜索最相关的文档片段
    # 3. 构建提示词:包含问题和相关文档内容
    # 4. 发送给 LLM 获取回答
    response = query_engine.query(question)
    
    # 打印回答的标题
    print("\n💡 回答:")
    
    # 打印 LLM 生成的回答内容
    # response.response 包含了最终的回答文本
    print(response.response)
第三步:运行代码
# 在命令提示符中,进入文件所在目录
cd c:\Users\董哲\Desktop\五一演讲

# 运行程序
python knowledge_base.py

# 按照提示提问即可!
如何修改代码(个性化定制)

1. 修改使用的模型

# 将 qwen2.5:7b 改为其他模型
Settings.llm = Ollama(model="qwen2.5:1.5b", base_url="http://localhost:11434")

2. 修改文档路径

# 更改文件夹位置
documents = SimpleDirectoryReader('./你的文档文件夹/', recursive=True).load_data()

3. 添加保存/加载索引功能(可选)

# 保存索引
index.storage_context.persist("./storage")

# 加载索引(需要重启时)
from llama_index.core import load_index_from_storage
storage_context = StorageContext.from_defaults(persist_dir="./storage")
index = load_index_from_storage(storage_context)

4. 调整搜索参数(可选)

# 创建查询引擎时,设置返回的相关文档数量
query_engine = index.as_query_engine(similarity_top_k=3)

📁 准备你的知识库内容

推荐的文档格式

格式 说明 推荐程度
Markdown (.md) 纯文本,结构清晰,AI 最喜欢 ⭐⭐⭐⭐⭐ 最推荐
TXT (.txt) 纯文本文件,简单易用 ⭐⭐⭐⭐ 推荐
PDF (.pdf) 电子书格式,支持但解析可能不太好 ⭐⭐⭐ 可以
Word (.docx) 文档格式,支持但需要额外处理 ⭐⭐ 可以

如何创建 Markdown 笔记?

可以使用 Typora(免费试用)或 VS Code 来写

基本语法:
# 一级标题(最大的标题)
## 二级标题
### 三级标题
- 列表项1
- 列表项2
**加粗文字**
*斜体文字*

推荐的知识库结构(参考你的现有文件):

📁 knowledge_base(或 我的知识库)
├── 📂 学习笔记
│   ├── Python入门.md
│   ├── 机器学习基础.md
│   ├── 数据结构与算法.md
│   └── 英语学习心得.md
├── 📂 工作文档
│   ├── 项目总结.md
│   ├── 会议纪要.md
│   └── 技术方案.md
├── 📂 生活记录
│   ├── 健身计划.md
│   ├── 旅行攻略.md
│   └── 读书清单.md
└── 📂 参考资料
    ├── 编程规范.md
    └── 工具使用指南.md

💡 实用技巧(让你的 AI 更聪明)

文档准备技巧

- 文档格式:推荐 Markdown(.md),结构清晰
- 文档内容:简洁明了,重点突出
- 文档结构:分章节,有标题层级
- 文件命名:使用有意义的文件名

好文档示例

# Python 入门笔记

## 一、什么是 Python?
Python 是一种高级编程语言...

## 二、安装 Python
1. 访问官网下载
2. 运行安装程序
3. 验证安装

## 三、第一个程序
```python
print("Hello World!")
### 让回答更准确
  • 问题要具体:"Python 怎么读取 CSV?" 比 "教教我 Python" 好

  • 文档要高质量:内容准确、结构清晰

  • 使用更好的模型:从 1.5b → 3b → 7b

  • 添加示例文档:让 AI 学习正确的回答方式

### 提升运行速度
  • 使用小模型(qwen2.5:1.5b 最快)

  • 关闭其他占用资源的程序

  • 文档不要太多,定期清理无用内容

  • 使用 SSD 硬盘(读取速度更快)

---

## 🎮 有趣的玩法(现场演示)

### 玩法1:学习辅助

上传你的课本笔记,问:

  • "什么是机器学习?"

  • "快速排序的原理是什么?"

  • "如何理解牛顿第二定律?"

### 玩法2:写作助手

上传你的草稿,问:

  • "帮我润色这段文字"

  • "总结这篇文章的要点"

  • "帮我写一篇关于 AI 的短文"

### 玩法3:知识整理

上传杂乱的笔记,问:

  • "帮我整理这些笔记的结构"

  • "找出这些文档的共同点"

  • "帮我做一个学习计划"

### 玩法4:创意激发

上传你的想法碎片,问:

  • "基于这些想法,帮我扩展一下"

  • "有什么好的项目建议吗?"

  • "帮我想一个创新的点子"

---

## ❓ 常见问题解决(小白必看)

### 问题1:Ollama 安装失败?

可能原因:

  1. Windows 版本太低(需要 Windows 10+)

  2. 缺少 Visual C++ 运行库

  3. 杀毒软件拦截

解决方案:

  1. 升级 Windows 系统

  2. 安装 Visual C++ Redistributable 下载地址:https://aka.ms/vs/17/release/vc_redist.x64.exe

  3. 暂时关闭杀毒软件

### 问题2:下载模型很慢?

解决方案:

  1. 使用小模型(qwen2.5:1.5b 只有950MB,几分钟就下完)

  2. 更换网络(试试手机热点)

  3. 晚上睡觉前开始下载,第二天早上就好了

### 问题3:聊天没反应?

解决方案:

  1. 检查 Ollama 是否在运行(任务栏右下角有 🦙 图标)

  2. 重启 Ollama(右键图标选择 Quit,再重新打开)

  3. 检查模型名字是否正确(必须是 qwen2.5:1.5b,注意标点)

  4. 重启电脑试试

### 问题4:电脑配置不够?

解决方案:

  1. 使用更小的模型(qwen2.5:1.5b 只需要4GB显存,你的8GB完全够)

  2. 关闭其他使用显卡的程序(游戏、视频播放器等)

  3. 如果没有 NVIDIA 显卡,Ollama 会自动使用 CPU 模式(会慢一些,但能用)

### 问题5:AnythingLLM 连接不上 Ollama?

解决方案:

  1. 确保 Ollama 正在运行(任务栏有 🦙 图标)

  2. 检查 Base URL 是否正确:http://localhost:11434

  3. 检查模型名字是否正确:qwen2.5:1.5b(冒号是英文的)

  4. 重启 Both 软件试试

### 问题6:Python 代码报错?

常见问题解决:

  1. ModuleNotFoundError: 没有找到模块 → 检查是否安装了所有依赖

  2. ValueError: No files found → 检查文档路径是否正确

  3. ConnectionError → 检查 Ollama 是否在运行

解决方案:

  1. 确保已经运行:pip install llama-index llama-index-llms-ollama llama-index-embeddings-ollama

  2. 检查文件夹里是否有文档(.md 或 .txt 文件)

  3. 确认 Ollama 正在运行(任务栏有 🦙 图标)

---

## 📊 对比表格总结

### 工具对比
| 工具 | 类型 | 优点 | 缺点 |
|-----|------|-----|------|
| Dify | 在线工具 | 零代码、上手快 | 数据在云端、有额度限制 |
| AnythingLLM | 桌面应用 | 界面友好、功能完整 | 需要安装、配置稍复杂 |
| LlamaIndex + knowledge_base.py | 代码方式 | 高度定制、灵活扩展 | 需要编程知识 |

### 模型对比
| 模型 | 大小 | 性能 | 推荐场景 |
|-----|------|-----|---------|
| qwen2.5:1.5b | 950MB | 速度快 | 入门学习、低配电脑 |
| qwen2.5:3b | 2.6GB | 平衡 | 日常使用、中等配置 |
| qwen2.5:7b | 5.5GB | 效果好 | 专业使用、高配电脑 |

---

## 📚 学习资源推荐

### 官方网站
| 资源 | 地址 | 说明 |
|-----|------|-----|
| Ollama | https://ollama.com/ | 本地模型部署工具 |
| Ollama 模型列表 | https://ollama.com/library | 查看所有可用模型 |
| Dify | https://dify.ai/ | 零代码搭建平台 |
| LlamaIndex | https://www.llamaindex.ai/ | RAG 框架 |
| Hugging Face | https://huggingface.co/ | AI 模型社区 |

### 学习教程
- Ollama 官方教程:https://ollama.com/docs
- LlamaIndex 入门指南:https://docs.llamaindex.ai/en/stable/getting_started/
- Prompt 工程指南:https://www.promptingguide.ai/

### 推荐模型
- Qwen2.5 系列:https://ollama.com/library?qwen2.5
- Llama 3.2 系列:https://ollama.com/library?llama3.2
- Mixtral:https://ollama.com/library/mixtral

---

## 🎉 完成!恭喜你搭建成功!

### 现在你可以:

✅ 随时问 AI 问题(基于你的文档) ✅ 让 AI 帮你总结文档内容 ✅ 用 AI 辅助写作(写报告、写邮件等) ✅ 构建自己的知识体系(把学到的东西都存起来) ✅ 用 Python 代码定制自己的功能

所有数据都在你自己的电脑上,完全免费!

### 下一步可以做什么?
  1. 添加更多文档到知识库(越多越聪明)

  2. 尝试不同的模型(从 1.5b 到 3b 再到 7b)

  3. 学习提示词技巧(让回答更准确)

  4. 探索更多功能(比如自动总结、问答机器人等)

  5. 修改 knowledge_base.py,添加自己想要的功能

​
---
​
## ❓ Q&A 环节
​
准备一些常见问题:
1. **Q:这个和 ChatGPT 有什么区别?**
   A:ChatGPT 是通用 AI,回答基于训练数据;LLM Wiki 是基于你自己的文档回答。
​
2. **Q:需要什么配置的电脑?**
   A:最低配置:8GB 内存 + 4GB 显存;推荐配置:16GB 内存 + 8GB 显存。
​
3. **Q:数据安全吗?**
   A:本地部署的话,所有数据都在你自己的电脑上,非常安全。
​
4. **Q:可以离线使用吗?**
   A:可以!安装完成后,不需要网络也能使用。
​
5. **Q:支持哪些文档格式?**
   A:支持 Markdown、TXT、PDF、Word 等常见格式。
​
6. **Q:如何修改 knowledge_base.py?**
   A:用 VS Code 打开文件,修改代码后保存,重新运行即可。
​
---
​
**文档信息**
- 版本:v6.0(合并版,含完整代码)
- 更新日期:2026-05-05
- 适用配置:Intel i9-13900HX / 16GB RAM / 8GB GPU
- 适用对象:班级展示、新手入门、进阶学习
- 难度等级:⭐ 入门级 → ⭐⭐ 进阶级
- 预计展示时间:60分钟
​
---
​
> 🌟 **开始你的 AI 知识库之旅吧!**
​
Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐