随着大语言模型（LLM）技术的普及，基于大模型的应用开发从快速原型迭代逐步走向工业化生产落地。传统基于Python的LangChain框架虽然上手简单，但存在运行性能低、内存占用高、并发能力弱、部署体积大等问题，难以满足高并发、低延迟、高稳定性的生产级场景需求。

langchain-rust 是原生Rust实现的LangChain生态框架，完整复刻了Python LangChain的核心设计理念与功能模块，同时依托Rust语言的内存安全、零开销抽象、高性能并发特性，完美解决了Python版本的性能短板，成为当前构建生产级LLM应用的最优方案之一。本文将从零开始，带你全面掌握langchain-rust的核心用法、进阶实战与工程落地技巧。

一、langchain-rust 核心优势与适用场景

1.1 核心优势（对比Python LangChain）

• 极致性能：Rust编译型语言特性，无GC垃圾回收开销，LLM调用链路、文档解析、向量检索速度相比Python提升3-10倍，高并发场景优势极其明显

• 内存安全稳定：编译期规避内存泄漏、空指针异常，长期运行服务无内存抖动，适配7×24小时在线的AI服务场景

• 轻量部署：单二进制文件打包，无Python环境依赖，部署体积小、启动速度快，适配边缘设备、容器化轻量化部署

• 原生并发支持：依托Tokio异步运行时，原生支持高并发LLM请求处理，无需复杂线程池优化

• 功能全覆盖：完整支持LLM调用、提示模板、链式调用、对话记忆、RAG检索增强、智能Agent、多向量数据库、文档解析等核心能力

1.2 适用场景

高并发AI问答服务、边缘端LLM应用、私有化部署RAG知识库、自动化智能Agent、长连接流式对话服务、大批量文档解析与检索场景。

二、开发环境搭建

本文基于 langchain-rust 1.0.2 最新稳定版 讲解，所有示例代码可直接编译运行，适配Rust 1.75及以上版本。

2.1 初始化Rust项目

新建空白Rust工程，执行初始化命令：

cargo new langchain-rust-demo
cd langchain-rust-demo

2.2 配置项目依赖

修改 Cargo\.toml 文件，引入核心依赖，包含异步运行时、langchain-rust核心库、环境变量管理等必备组件：

[package]
name = "langchain-rust-demo"
version = "0.1.0"
edition = "2021"

[dependencies]
# 核心框架库
langchain-rust = "1.0.2"
# 异步运行时（必须，支撑所有异步调用）
tokio = { version = "1.0", features = ["full"] }
# 环境变量读取
dotenvy = "0.15"
# 序列化支持
serde = { version = "1.0", features = ["derive"] }
serde_json = "1.0"

2.3 环境变量配置

在项目根目录新建 \.env 文件，配置大模型密钥与接口地址（支持所有OpenAI兼容模型）：

# OpenAI 兼容模型配置
OPENAI_API_KEY=你的模型API密钥
OPENAI_API_BASE=https://api.openai.com/v1
# 默认使用模型
OPENAI_MODEL=gpt-3.5-turbo

三、核心基础：从零实现首个LLM应用

我们从最简单的模型调用、提示模板、链式调用三个基础功能入手，快速上手langchain-rust核心编程范式。

3.1 基础：极简LLM模型调用

实现最基础的单轮大模型问答，直接调用LLM接口获取返回结果，代码简洁易懂，适合新手入门。

编辑 src/main\.rs：

use langchain_rust::llm::openai::{OpenAI, OpenAIModel};
use dotenvy::dotenv;

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    // 加载环境变量
    dotenv().ok();

    // 初始化OpenAI兼容模型客户端
    let llm = OpenAI::default()
        .with_model(OpenAIModel::Gpt35Turbo.to_string())
        .with_timeout(tokio::time::Duration::from_secs(30));

    // 发起单轮模型调用
    let response = llm.invoke("用通俗的话解释什么是Rust语言").await?;

    // 打印结果
    println!("模型回复：\n{}", response);

    Ok(())
}

代码解析：

• dotenv().ok()：加载根目录.env环境变量，统一管理密钥配置

• OpenAI::default()：初始化默认模型客户端，自动读取环境变量中的密钥与接口地址

• with_model：指定调用的大模型版本，支持GPT3.5、GPT4、GPT4o-mini等

• invoke()：阻塞式模型调用，适用于简单问答场景

执行运行命令：cargo run，即可看到模型返回的解释内容。

3.2 进阶：提示模板（PromptTemplate）定制

固定提问无法适配业务场景，langchain-rust提供强大的提示模板功能，支持动态参数填充、角色设定、格式约束，是所有复杂LLM应用的基础。

实现自定义角色+动态参数的提示模板调用：

use langchain_rust::{
    chain::{Chain, LLMChainBuilder},
    fmt_message, fmt_template, message_formatter, prompt_args,
    llm::openai::{OpenAI, OpenAIModel},
    prompt::HumanMessagePromptTemplate,
    schemas::messages::Message,
    template_fstring,
};
use dotenvy::dotenv;

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    dotenv().ok();

    // 初始化模型
    let llm = OpenAI::default().with_model(OpenAIModel::Gpt35Turbo.to_string());

    // 构建自定义提示模板：设定角色 + 动态接收用户问题
    let prompt = message_formatter![
        // 系统角色设定
        fmt_message!(Message::new_system_message(
            "你是一名资深Rust技术专家，回答通俗易懂，适配新手，代码示例简洁规范，拒绝冗余内容。"
        )),
        // 动态用户输入模板
        fmt_template!(HumanMessagePromptTemplate::new(template_fstring!(
            "请详细讲解：{question}", "question"
        )))
    ];

    // 构建LLM链式调用
    let chain = LLMChainBuilder::new()
        .prompt(prompt)
        .llm(llm)
        .build()?;

    // 传入动态参数执行调用
    let result = chain.invoke(prompt_args! {
        "question" => "langchain-rust相比Python版LangChain有哪些核心优势"
    }).await?;

    println!("专业讲解结果：\n{:?}", result);

    Ok(())
}

核心知识点拓展：

langchain-rust通过宏语法简化了模板编写，message_formatter 支持多消息拼接，可灵活组合系统提示、历史对话、用户输入；prompt_args 实现动态参数注入，彻底解耦业务提问与提示词模板，支持模板复用。

3.3 高阶：带对话记忆的多轮问答

普通单轮对话无上下文记忆，无法实现连续问答。langchain-rust原生支持对话记忆模块，可轻松实现多轮连续对话。

use langchain_rust::{
    chain::{Chain, LLMChainBuilder},
    fmt_message, fmt_placeholder, fmt_template, message_formatter, prompt_args,
    llm::openai::{OpenAI, OpenAIModel},
    prompt::HumanMessagePromptTemplate,
    schemas::messages::Message,
    template_fstring,
};
use dotenvy::dotenv;

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    dotenv().ok();
    let llm = OpenAI::default().with_model(OpenAIModel::Gpt35Turbo.to_string());

    // 支持历史对话记忆的提示模板
    let prompt = message_formatter![
        fmt_message!(Message::new_system_message("你是专业的AI技术顾问，基于上下文连贯回答用户问题")),
        // 占位符填充历史对话记录
        fmt_placeholder!("chat_history"),
        fmt_template!(HumanMessagePromptTemplate::new(template_fstring!(
            "用户当前问题：{input}", "input"
        )))
    ];

    let chain = LLMChainBuilder::new()
        .prompt(prompt)
        .llm(llm)
        .build()?;

    // 第一轮对话
    let res1 = chain.invoke(prompt_args! {
        "input" => "什么是Rust异步编程",
        "chat_history" => Vec::new()
    }).await?;
    println!("第一轮回答：{:?}\n", res1);

    // 第二轮对话（携带历史上下文）
    let res2 = chain.invoke(prompt_args! {
        "input" => "它和Python的async有什么区别",
        "chat_history" => vec![
            Message::new_human_message("什么是Rust异步编程"),
            Message::new_ai_message(res1["output"].as_str().unwrap())
        ]
    }).await?;
    println!("第二轮回答：{:?}", res2);

    Ok(())
}

通过手动维护 chat_history 上下文列表，可实现连贯多轮对话，生产场景中可结合内存存储、Redis持久化对话记录，实现长期会话记忆。

四、核心进阶：RAG检索增强知识库实战

RAG（检索增强生成）是企业级AI应用的核心能力，通过检索私有知识库数据，让大模型基于专属数据回答问题，解决大模型幻觉、知识滞后问题。langchain-rust原生支持文档加载、文本分割、向量嵌入、向量检索全流程能力。

4.1 新增RAG相关依赖

开启sqlite向量数据库支持（轻量无需额外部署），修改Cargo.toml：

langchain-rust = { version = "1.0.2", features = ["sqlite-vec", "embeddings"] }

4.2 完整RAG实战代码

实现「本地文档加载→文本分割→向量入库→相似度检索→模型问答」完整闭环：

use langchain_rust::{
    chain::{Chain, RetrievalQAChainBuilder},
    document_loaders::text::TextLoader,
    embeddings::openai::OpenAIEmbeddings,
    text_splitter::RecursiveCharacterTextSplitter,
    vectorstores::sqlite_vec::SqliteVecStore,
};
use dotenvy::dotenv;
use std::path::Path;

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    dotenv().ok();

    // 1. 加载本地知识库文档
    let loader = TextLoader::from_path(Path::new("./knowledge.txt"))?;
    let documents = loader.load().await?;

    // 2. 文本分割：避免超长文本超出模型上下文限制
    let splitter = RecursiveCharacterTextSplitter::new(1000, 200);
    let split_docs = splitter.split_documents(documents).await?;

    // 3. 初始化嵌入模型与向量数据库
    let embeddings = OpenAIEmbeddings::default();
    let vector_store = SqliteVecStore::new(embeddings, "./vector_db.sqlite");

    // 4. 文档向量入库
    vector_store.add_documents(&split_docs).await?;

    // 5. 构建检索问答链
    let retriever = vector_store.as_retriever().with_k(3); // 检索Top3相似文档
    let qa_chain = RetrievalQAChainBuilder::new()
        .retriever(retriever)
        .build()?;

    // 6. 基于私有知识库提问
    let question = "langchain-rust的RAG功能有哪些优势";
    let result = qa_chain.invoke(question).await?;

    println!("问题：{}", question);
    println!("基于知识库的回答：\n{}", result);

    Ok(())
}

使用说明：项目根目录新建 knowledge.txt，写入自定义知识库内容，运行程序即可实现私有知识问答。

拓展知识点：langchain-rust支持PDF、DOCX、HTML、CSV、源码文件等多种文档加载器，同时支持Qdrant、Postgres、SurrealDB等企业级向量数据库，可根据业务场景灵活替换。

五、高阶实战：智能Agent工具调用

Agent是具备自主思考、工具调用、任务规划能力的智能体，可自动调用计算器、搜索引擎、命令行等工具完成复杂任务。langchain-rust原生兼容OpenAI函数调用，内置多种常用工具。

5.1 Agent工具调用完整代码

use langchain_rust::{
    agents::{AgentExecutor, OpenAIFunctionAgent},
    llm::openai::{OpenAI, OpenAIModel},
    tools::math::CalculatorTool,
};
use dotenvy::dotenv;

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    dotenv().ok();

    // 初始化模型
    let llm = OpenAI::default().with_model(OpenAIModel::Gpt35Turbo.to_string());

    // 初始化内置数学计算工具
    let calculator = CalculatorTool::default();

    // 构建支持函数调用的智能Agent
    let agent = OpenAIFunctionAgent::new(llm, vec![Box::new(calculator)]);
    let executor = AgentExecutor::new(agent).with_max_iterations(5);

    // 执行复杂计算任务（模型自动判断调用计算器工具）
    let result = executor.invoke("计算 (36 * 48) + (128 / 4) - 96").await?;

    println!("Agent最终计算结果：{}", result);

    Ok(())
}

功能解析：面对数学计算这类模型准确率较低的场景，Agent会自主识别任务类型，调用计算器工具精准计算，避免模型幻觉。除了计算器，框架还内置搜索引擎、命令行执行、文本转换等工具，同时支持自定义工具开发。

六、核心特性拓展与工程最佳实践

6.1 多模型兼容适配

langchain-rust不局限于OpenAI模型，原生支持Anthropic Claude、MistralAI、通义千问、文心一言等所有OpenAI兼容接口模型，仅需修改接口地址与模型名称即可无缝切换。

6.2 流式响应实战

生产级对话服务必备流式输出能力，提升用户体验，langchain-rust原生支持异步流式返回：

use langchain_rust::llm::openai::{OpenAI, OpenAIModel};
use dotenvy::dotenv;
use futures_util::StreamExt;

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    dotenv().ok();
    let llm = OpenAI::default().with_model(OpenAIModel::Gpt35Turbo.to_string());

    // 获取流式响应流
    let mut stream = llm.stream("详细介绍langchain-rust优势").await?;

    // 逐段输出内容
    while let Some(chunk) = stream.next().await {
        match chunk {
            Ok(text) => print!("{}", text),
            Err(e) => eprintln!("流式输出异常：{}", e),
        }
    }

    Ok(())
}

6.3 生产环境最佳实践

• 超时与重试机制：为LLM请求设置超时时间，结合重试策略应对网络波动

• 模型缓存优化：对高频问答、固定模板请求做结果缓存，降低模型调用成本

• 向量数据库选型：轻量化场景用sqlite-vec，企业级高并发场景用Qdrant、Postgres

• 异步并发控制：利用Tokio信号量限制并发请求数，避免接口限流

• 日志与监控：接入日志框架，统计模型调用耗时、成功率、token消耗

七、langchain-rust 与 Python LangChain 深度对比

对比维度	Python LangChain	langchain-rust
运行性能	一般，高并发卡顿明显	极致高性能，并发能力拉满
内存占用	高，存在GC内存抖动	极低，内存安全无泄漏
部署方式	依赖Python环境，部署繁琐	单二进制文件，一键部署
适用场景	原型开发、低并发测试	生产服务、边缘部署、高并发场景
上手难度	低	中等，需基础Rust语法

八、常见问题与解决方案

• 模型调用失败：检查API密钥、接口地址是否正确，确认网络可访问模型服务，适当延长超时时间

• 向量检索结果不准：调整文本分割大小，优化知识库内容，调高检索TopK数量

• 编译报错：确保Rust版本≥1.75，依赖版本匹配，开启对应功能特性

• Agent工具调用失效：使用支持Function Calling的模型（gpt-3.5-turbo、gpt-4等）

九、总结与学习拓展

langchain-rust 凭借高性能、高稳定、轻量部署的核心特性，彻底弥补了Python LangChain在生产落地中的短板，是当前工业级LLM应用开发的最优技术栈之一。本文循序渐进讲解了从环境搭建、基础模型调用、多轮对话、RAG知识库到智能Agent的全流程实战，覆盖了入门到进阶的核心知识点。

后续可深入拓展的方向：自定义Agent工具、多轮对话持久化、分布式RAG检索、流式对话优化、边缘端轻量化部署、LangGraph工作流编排等高级功能。

对于追求服务稳定性、并发性能、轻量化部署的AI开发者，langchain-rust 是必须掌握的核心框架，也是未来工业级LLM应用开发的主流趋势。