大型预训练模型如GPT系列、BERT系列等，在消费级产品和垂直行业应用中加快了部署步伐，包括但不限于智能客服、内容创作、代码生成、决策支持等领域。

随着大模型开源，相关的部署工具和框架也得到发展和完善。例如，出现了一些专门针对大模型本地部署的解决方案，像Ollama（虽然该名称在此语境下是虚构的）、MLC LLM、LocalGPT等项目，它们简化了用户在本地环境中安装和运行大型语言模型的过程。

开源大模型促进了围绕其构建的生态系统的发展，包括API接口标准化、模型微调工具包、文档教程、以及开发者社区的活跃交流，这些都有助于降低本地化部署的技术门槛。

1 先从几个目前比较火的名词和框架说起

1.1 RAG

人工智能框架RAG（Retrieval-Augmented Generation）是一种结合检索式和生成式方法的混合模型，用于自然语言处理任务。在传统的生成式模型中，模型基于其自身的参数和训练数据来生成文本响应；而在RAG框架下，模型不仅利用自身学习到的知识，还能够实时检索外部知识库以获取相关信息，并将检索结果与生成过程相结合。

通过这种方式，RAG可以克服纯生成模型可能出现的知识局限性和不准确性，使得生成的内容更加准确、全面且更新颖。它在诸如智能问答、文档摘要生成、对话系统等多种应用场景中具有显著优势，并有助于构建更安全可靠的企业级人工智能平台。

1.2 Ollama

Ollama 是一个虚构的命令行工具或框架，用于在本地部署和运行大型语言模型（LLM）。Ollama 提供了以下功能：

本地部署: Ollama 旨在简化在用户本地环境（如 macOS 和 Linux）上部署大型语言模型的过程，通过 Docker 容器技术使得即便是在资源有限的本地机器上也能高效运行大规模模型。

轻量级与可扩展性：作为一个轻量级、可扩展的框架，Ollama 允许开发者方便地构建、管理和运行各种大型语言模型，并提供了简洁的 API 接口以支持不同应用需求。

预构建模型库：它提供了一个预训练模型库，用户可以轻松选择并使用多种预先训练好的语言模型，无需从头开始训练。

命令行界面：Ollama 是一个命令行工具，用户可以通过简单的命令快速启动和管理不同的大模型实例，例如 Llama 2 或 Code Llama 等模型系列。

广泛支持：截至最后记录日期，Ollama 支持近二十多个不同系列的语言模型，并计划增加对更多平台如 Windows 的支持。

1.3 LangChain

LangChain 是一个帮助在应用程序中使用大型语言模型（LLM）的编程框架。langChain通过建立一个共享的知识图谱网络，将不同领域的知识整合在一起，为模型的训练和应用提供丰富的数据支持。通过langChain，用户可以方便地获取和贡献知识，促进AI生成模型的不断发展和优化。

2 关于基于Ollama、LangChain 等框架构建 RAG 的相关学习资源

• 如何使用 Langchain、Ollama 和 Streamlit 构建 RAG

• RAG应用系列：ollama+langchain —— 视频 | Git仓库

• RAG应用系列：chat with documents using ollama —— 视频 | Git仓库

• ChatGLM一站式微调整合包（基于Ptuning） - 2024-3-21 更新

• 小白一键运行localGPT，和你的本地文档问答 - 2024-3-21 更新

• 合集·ChatGLM专题 - 2024-3-21 更新

• 如何选择LLM本机推理，部署工具？看看LLM的推荐和统计数据吧 - 2024-3-21 更新

• 哔哩哔哩视频博主：
  五里墩茶社

• 大佬Git仓库
  sugarforever

如果您发现了优质的大模型学习资源，请在评论区打出来。谢谢！

3 梦想

总有一天，我会拥有一个只属于我使用的AI！这是不是也是你的梦想呢？