本文介绍了RAG系统中查询前处理的重要性,通过调用LLM模型优化用户问题,提高回答精确度。主要内容包括查询改写、查询拆分、生成HyDE假设性文档和查询路由等策略,帮助读者理解和应用查询前处理技术,从而更好地利用大模型提升RAG系统性能。

**“**查询前处理是在用户提问之后,RAG系统去做检索查询之前做的事情。为了系统能够给出最精确的回答,需要在查询的过程做些优化。”

前面文章我们介绍了向量数据库,Text2SQL查询MySQL的知识内容。了解了在RAG系统中会存在多个不同的数据库。那么问题来了,用户提出问题,什么问题会去检索向量数据库的内容,什么问题会Text2SQL 查询MySQL数据库的信息呢,又或者用户提出的问题是否两个数据库都要检索查询呢。这就引出了本文所要分享的内容,查询前处理。

查询前处理是在用户提问之后,RAG系统去做检索查询之前做的事情。为了系统能够给出最精确的回答,需要在查询的过程做些优化。其实就是调用LLM模型将用户提出的问题处理一遍,再进行下一步动作。以下是查询前处理的一些思路。

1、 查询改写

在用户提出问题后,调用LLM大模型看下问题描述是否清晰。如果问题描述不清晰让LLM大模型对问题进行改写,改写成更适合检索表结构、字段、示例的标准问题。

比如提问:今年一二月大概赚了多少钱,各项收入和纯利润分别是多少呀?

改写后:今年1月至2月的净利润和各项收入明细是多少?

流程图

代码样例

from openai import OpenAI
import os
from dotenv import load_dotenv
load_dotenv()
# 配置你的大模型API
API_KEY = os.getenv("R_PROXY_AI_API_KEY")
BASE_URL = os.getenv("R_PROXY_AI_BASE_URL")
MODEL =  os.getenv("MODEL")
# DeepSeek、openAI都可以
client = OpenAI(
base_url=BASE_URL,
api_key=API_KEY
)
def finance_rewrite_query(question: str) -> str:
"""财务业务专用:用户口语问题清洗重写"""
prompt = """你是财务数据分析助手,对用户的财务问题进行重写优化。
规则:
1. 去掉无关闲聊、个人感慨、语气助词、废话
2. 替换为标准财务术语:净利润、主营业务收入、应收账款、应付账款、管理费用、资产负债等
3. 保留原始查询核心意图:时间、维度、统计诉求
4. 把模糊口语改成精准可查询的问句
只返回重写后的问题,不要任何解释、不要多余文字。
原始问题:{question}
"""
response = client.chat.completions.create(
model= MODEL,
messages=[{"role": "user", "content": prompt.format(question=question)}],
temperature=0
)
return response.choices[0].message.content.strip()
# 测试(财务口语问题)
if __name__ == "__main__":
raw_q = "今年一二月大概赚了多少钱,各项收入和纯利润分别是多少呀?"
print("原始问题:", raw_q)
print("重写后:", finance_rewrite_query(raw_q))

2、查询拆分

在用户提出问题后,调用LLM大模型将问题拆分成几个小问题,系统对每个小问题进行检索查询。

流程图

代码样例

from openai import OpenAI
import os
import logging
from dotenv import load_dotenv
from langchain_chroma import Chroma
from langchain_community.document_loaders import TextLoader
from langchain_huggingface import HuggingFaceEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain.retrievers.multi_query import MultiQueryRetriever
# 加载环境
load_dotenv()
logging.basicConfig()
logging.getLogger("langchain.retrievers.multi_query").setLevel(logging.INFO)
# ===================== 你的 LLM 配置 =====================
API_KEY = os.getenv("R_PROXY_AI_API_KEY")
BASE_URL = os.getenv("R_PROXY_AI_BASE_URL")
MODEL = os.getenv("MODEL")
llm = OpenAI(
base_url=BASE_URL,
api_key=API_KEY,
default_headers={
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}
)
# ===================== 1. 加载财务知识库文档 =====================
# 你可以换成你的财务制度/报销规则文档
loader = TextLoader("你的财务知识库.txt", encoding='utf-8')
data = loader.load()
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=100)
splits = text_splitter.split_documents(data)
# 向量库
embed_model = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh")
vectorstore = Chroma.from_documents(documents=splits, embedding=embed_model)
# ===================== 2. 多问题检索器(自动拆分问题) =====================
from langchain_openai import ChatOpenAI
# 包装成 LangChain LLM(必须这一步,才能用 MultiQueryRetriever)
langchain_llm = ChatOpenAI(
base_url=BASE_URL,
api_key=API_KEY,
model=MODEL,
temperature=0
)
# 核心:自动把用户问题拆成多个子问题 + 自动检索
multi_query_retriever = MultiQueryRetriever.from_llm(
retriever=vectorstore.as_retriever(search_kwargs={"k": 3}),
llm=langchain_llm
)
# ===================== 3. 测试:财务复杂问题 =====================
if __name__ == "__main__":
# 你的复杂问题(包含多个诉求)
raw_query = """今年一二月大概赚了多少钱,各项收入和纯利润分别是多少呀?"""
print("原始问题:", raw_query)
print("=" * 80)
# 自动拆分 + 自动检索
docs = multi_query_retriever.invoke(raw_query)
print("最终检索到的文档:")
for idx, doc in enumerate(docs):
print(f"\n【文档 {idx+1}】")
print(doc.page_content)

3、生成HyDE假设性文档

在用户提出问题后,调用LLM大模型把问题回答一遍,生成假设性文档HyDE (Hypothetical Document Embeddings),再把这篇HyDE文档做向量,去 Milvus 做相似度检索。

流程图

代码样例

# ======================== 财务场景 HyDE 实现 ========================
from langchain.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_openai import ChatOpenAI
from langchain_huggingface import HuggingFaceEmbeddings
from langchain_chroma import Chroma
from dotenv import load_dotenv
import os
# 加载环境变量
load_dotenv()
API_KEY = os.getenv("R_PROXY_AI_API_KEY")
BASE_URL = os.getenv("R_PROXY_AI_BASE_URL")
MODEL = os.getenv("MODEL")
# ===================== 1. 初始化 LLM =====================
llm = ChatOpenAI(
base_url=BASE_URL,
api_key=API_KEY,
model=MODEL,
temperature=0
)
# ===================== 2. 财务知识库向量库(你已有的) =====================
# 这里你可以继续用你的财务制度/报销文档
embed_model = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh")
vectorstore = Chroma(
embedding_function=embed_model,
persist_directory="./chroma_db"  # 你已有的向量库
)
retriever = vectorstore.as_retriever(search_kwargs={"k": 3})
# ===================== 3. 【财务专用】HyDE 假设文档生成模板 =====================
hyde_template = """你是一位专业的财务分析师,请根据以下财务问题,撰写一段专业、详细、结构完整的假设性财务分析文档。
不需要真实数据,只需模拟正式的财务报告内容,用于文档检索。
问题:{question}
财务分析文档:
"""
hyde_prompt = ChatPromptTemplate.from_template(hyde_template)
# 构建 HyDE 文档生成链
hyde_chain = hyde_prompt | llm | StrOutputParser()
# ===================== 4. 测试:你的财务问题 =====================
if __name__ == "__main__":
# 你的真实业务问题
question = "今年一二月大概赚了多少钱,各项收入和纯利润分别是多少呀?"
print("原始问题:")
print(question)
print("=" * 80)
# --------------------- ① 生成 HyDE 假设文档 ---------------------
hyde_doc = hyde_chain.invoke({"question": question})
print("生成的 HyDE 假设性财务文档:")
print(hyde_doc)
print("=" * 80)
# --------------------- ② 用 HyDE 文档去检索真实知识库 ---------------------
retrieved_docs = retriever.invoke(hyde_doc)
print("根据 HyDE 文档检索到的财务知识:")
for i, doc in enumerate(retrieved_docs, 1):
print(f"\n检索文档 {i}:")
print(doc.page_content)
print("=" * 80)
# --------------------- ③ 最终生成答案 ---------------------
answer_prompt = ChatPromptTemplate.from_template("""
你是专业财务助手,请根据检索到的财务资料,准确回答用户问题。
资料:
{context}
用户问题:{question}
请给出专业、简洁、清晰的回答:
""")
final_chain = answer_prompt | llm | StrOutputParser()
final_answer = final_chain.invoke({
"context": retrieved_docs,
"question": question
})
print("最终财务回答:")
print(final_answer)

4、查询路由

按问题领域分到不同的数据库,比如统计类问题查询MySQL 数据,语义相关问题检索Milvus向量数据库数据。调用LLM模型分析问题走哪个数据库,进而进行相对应数据库的查询。

流程图

代码样例

from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI
from dotenv import load_dotenv
import os
import json
# ===================== 加载环境 =====================
load_dotenv()
API_KEY = os.getenv("R_PROXY_AI_API_KEY")
BASE_URL = os.getenv("R_PROXY_AI_BASE_URL")
MODEL = os.getenv("MODEL")
# ===================== LLM =====================
llm = ChatOpenAI(
base_url=BASE_URL,
api_key=API_KEY,
model=MODEL,
temperature=0
)
# ===================== 路由提示词=====================
system_prompt = """
你是专业财务数据路由专家,只按规则判断,输出纯JSON,不要其他内容。
规则:
1)统计、数值、收入、利润、金额、报表 → "mysql"
2)制度、报销、流程、规则、政策、定义 → "milvus"
输出格式:
{{"datasource": "mysql"}} 或 {{"datasource": "milvus"}}
"""
prompt = ChatPromptTemplate.from_messages([
("system", system_prompt),
("human", "{question}")
])
# 构建路由链
route_chain = prompt | llm
# ===================== 执行路由 =====================
def finance_route_question(question: str) -> str:
response = route_chain.invoke({"question": question})
result = json.loads(response.content.strip())
return result["datasource"]
# ===================== 测试 =====================
if __name__ == "__main__":
q1 = "今年一二月收入和净利润是多少?"
q2 = "财务报销流程是什么?"
print("问题1:", q1)
print("路由结果:", finance_route_question(q1))
print("-" * 50)
print("问题2:", q2)
print("路由结果:", finance_route_question(q2))

总结

查询前处理的目的,是为了让我们RAG系统能够给出最精确的回答!

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线科技企业深耕十二载,见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事,早已在效率与薪资上形成代际优势,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套 AI 大模型突围资料包

  • ✅ 从零到一的 AI 学习路径图
  • ✅ 大模型调优实战手册(附医疗/金融等大厂真实案例)
  • ✅ 百度/阿里专家闭门录播课
  • ✅ 大模型当下最新行业报告
  • ✅ 真实大厂面试真题
  • ✅ 2026 最新岗位需求图谱

所有资料 ⚡️ ,朋友们如果有需要 《AI大模型入门+进阶学习资源包》下方扫码获取~
在这里插入图片描述

① 全套AI大模型应用开发视频教程

(包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点)
在这里插入图片描述

② 大模型系统化学习路线

作为学习AI大模型技术的新手,方向至关重要。 正确的学习路线可以为你节省时间,少走弯路;方向不对,努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划,带你从零基础入门到精通!
在这里插入图片描述

③ 大模型学习书籍&文档

学习AI大模型离不开书籍文档,我精选了一系列大模型技术的书籍和学习文档(电子版),它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。
在这里插入图片描述

④ AI大模型最新行业报告

2025最新行业报告,针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。
在这里插入图片描述

⑤ 大模型项目实战&配套源码

学以致用,在项目实战中检验和巩固你所学到的知识,同时为你找工作就业和职业发展打下坚实的基础。
在这里插入图片描述

⑥ 大模型大厂面试真题

面试不仅是技术的较量,更需要充分的准备。在你已经掌握了大模型技术之后,就需要开始准备面试,我精心整理了一份大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余

图片

以上资料如何领取?

在这里插入图片描述

为什么大家都在学大模型?

最近科技巨头英特尔宣布裁员2万人,传统岗位不断缩减,但AI相关技术岗疯狂扩招,有3-5年经验,大厂薪资就能给到50K*20薪!

图片

不出1年,“有AI项目经验”将成为投递简历的门槛。

风口之下,与其像“温水煮青蛙”一样坐等被行业淘汰,不如先人一步,掌握AI大模型原理+应用技术+项目实操经验,“顺风”翻盘!
在这里插入图片描述
在这里插入图片描述

这些资料真的有用吗?

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理,现任上海殷泊信息科技CEO,其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证,服务航天科工、国家电网等1000+企业,以第一作者在IEEE Transactions发表论文50+篇,获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的技术人员,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。
在这里插入图片描述
在这里插入图片描述

以上全套大模型资料如何领取?

在这里插入图片描述

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐