从一个真实的事故说起

2025年，某律师事务所的助理用ChatGPT撰写法律摘要，引用了6个从未存在的判例。这件事被称为"AI幻觉事故"，引发广泛讨论。时至2026年，幻觉问题并未消失，但我们对它的理解和应对方式已经大不相同。本文将系统拆解幻觉问题的本质，以及工程团队可以采取的实际对策。—## 一、什么是幻觉？精确定义AI幻觉（Hallucination）指大语言模型生成的内容与现实不符、无从证实，或与上下文矛盾，但模型却以确定的语气呈现这些内容。根据表现形式，幻觉可分为以下几类：### 1.1 事实性幻觉- 虚构引用：捏造不存在的论文、判例、统计数据- 错误信息：给出错误的人物生卒年、公司成立时间等- 混淆信息：张冠李戴，把A的特征安到B身上### 1.2 忠实性幻觉（针对RAG/摘要场景）- 输入矛盾：生成的内容与提供的文档相矛盾- 过度推断：从文档中推断出文档并未声明的结论- 信息遗漏：忽略了文档中重要的否定词、限制条件### 1.3 逻辑幻觉- 自我矛盾：在同一回答中前后说法相悖- 推理错误：步骤看似合理，但逻辑链条有缺口—## 二、幻觉的根本成因### 2.1 训练数据的噪声LLM从海量互联网文本学习，其中包含：- 错误的维基百科编辑（在被纠正前）- 博客中的主观臆断被当作事实陈述- 过期信息（某项技术"最新版本"在训练截止后已更新）- 数据重复导致特定错误被强化### 2.2 自回归生成的局限LLM的本质是"预测下一个token的概率分布"，它优化的目标是生成听起来流畅、合理的文本，而不是生成事实准确的文本。当模型不确定时，它不会说"我不知道"，而是倾向于生成一个"听起来像答案"的序列——这正是幻觉的根源。### 2.3 知识截止问题训练数据有截止日期，模型对截止日期后的事件完全不知晓，但在被问及时可能会基于历史规律"编造"一个合理的答案。### 2.4 上下文窗口的局限在长文档处理中，当相关信息出现在上下文的中间部分时，模型的注意力会减弱，更容易出现"遗漏"和"推断"。这就是著名的"迷失在中间"（Lost in the Middle）问题。—## 三、检测幻觉的方法### 3.1 基于规则的检测对于结构化输出（时间、数字、引用），可以用规则直接验证：pythonimport refrom datetime import datetimedef validate_date_claims(text: str, source_documents: list[str]) -> list[dict]: """检测文本中的日期声明是否可在源文档中验证""" # 提取文本中的年份 years_in_text = set(re.findall(r'\b(19\d{2}|20\d{2})\b', text)) # 提取源文档中出现的年份 years_in_source = set() for doc in source_documents: years_in_source.update(re.findall(r'\b(19\d{2}|20\d{2})\b', doc)) # 找出文本中出现但源文档中没有的年份 unverified_years = years_in_text - years_in_source results = [] for year in unverified_years: results.append({ "claim": f"年份 {year}", "status": "unverified", "risk": "medium" }) return results### 3.2 LLM-as-Judge（用LLM评判LLM）pythonfrom openai import AsyncOpenAIclient = AsyncOpenAI()FAITHFULNESS_PROMPT = """你是一个严格的事实核查员。请判断以下"模型回答"是否忠实于"参考文档"。参考文档：{context}模型回答：{answer}请以JSON格式回答：{{ "faithful": true/false, "score": 0-1的浮点数（1表示完全忠实）, "issues": ["发现的问题1", "发现的问题2"], "explanation": "简短说明"}}注意：- 如果回答包含文档中没有的事实声明，视为不忠实- 如果回答只是合理推断并有明确标注，可以接受- 过度的确定性表述也算问题（文档说"可能"，回答说"一定"）"""async def check_faithfulness( context: str, answer: str, threshold: float = 0.8) -> dict: response = await client.chat.completions.create( model="gpt-4.1", messages=[{ "role": "user", "content": FAITHFULNESS_PROMPT.format( context=context, answer=answer ) }], response_format={"type": "json_object"}, temperature=0 # 用低温度保证判断稳定性 ) result = json.loads(response.choices[0].message.content) result["passes_threshold"] = result["score"] >= threshold return result### 3.3 自一致性检测（Self-Consistency）同一问题多次询问，检查答案是否一致：pythonasync def self_consistency_check( question: str, num_samples: int = 5, temperature: float = 0.7) -> dict: """通过多次采样检测答案的一致性""" answers = [] for _ in range(num_samples): response = await client.chat.completions.create( model="gpt-4.1", messages=[{"role": "user", "content": question}], temperature=temperature ) answers.append(response.choices[0].message.content) # 让LLM判断这些答案是否一致 consistency_prompt = f""" 以下是对同一问题的{num_samples}个回答，请判断它们在关键事实上是否一致。 问题：{question} 回答列表： {chr(10).join(f'{i+1}. {a}' for i, a in enumerate(answers))} 返回JSON：{{"consistent": true/false, "conflicting_claims": [], "confidence": 0-1}} """ consistency_result = await client.chat.completions.create( model="gpt-4.1", messages=[{"role": "user", "content": consistency_prompt}], response_format={"type": "json_object"}, temperature=0 ) return { "answers": answers, "consistency": json.loads(consistency_result.choices[0].message.content) }### 3.4 基于检索的事实核查pythonfrom qdrant_client import QdrantClientfrom openai import AsyncOpenAIasync def retrieve_and_verify( claim: str, knowledge_base: QdrantClient, collection: str) -> dict: """从知识库检索相关内容，验证声明是否有根据""" # 将声明转为embedding embedding_response = await client.embeddings.create( model="text-embedding-3-large", input=claim ) query_vector = embedding_response.data[0].embedding # 检索最相关的文档片段 results = knowledge_base.search( collection_name=collection, query_vector=query_vector, limit=5, score_threshold=0.6 ) if not results: return { "verified": False, "reason": "知识库中没有相关内容支撑此声明", "risk_level": "high" } # 用LLM判断检索到的内容是否支持该声明 evidence = "\n".join([r.payload["text"] for r in results]) verification_response = await client.chat.completions.create( model="gpt-4.1", messages=[{ "role": "user", "content": f"根据以下证据：\n{evidence}\n\n判断此声明是否有根据：{claim}\n回答：yes/no/partial" }], temperature=0 ) verdict = verification_response.choices[0].message.content.lower().strip() return { "verified": verdict == "yes", "partially_verified": verdict == "partial", "evidence_count": len(results), "top_score": results[0].score if results else 0, "risk_level": "low" if verdict == "yes" else ("medium" if verdict == "partial" else "high") }—## 四、工程级解决方案### 4.1 RAG + 引用追踪（最有效的通用方案）pythonCITATION_PROMPT = """你是一个严谨的助手。回答问题时，必须严格基于提供的参考资料。规则：1. 只使用参考资料中明确陈述的信息2. 每个关键事实后面都要标注来源，格式：[来源X]3. 如果参考资料中没有相关信息，明确说"参考资料中未提及"4. 不要添加参考资料以外的"常识性补充"参考资料：{context}问题：{question}"""async def rag_with_citation( question: str, context_docs: list[dict]) -> dict: # 构建带编号的上下文 numbered_context = "\n\n".join([ f"[来源{i+1}] {doc['text']}\n(来自：{doc['source']})" for i, doc in enumerate(context_docs) ]) response = await client.chat.completions.create( model="gpt-4.1", messages=[{ "role": "user", "content": CITATION_PROMPT.format( context=numbered_context, question=question ) }], temperature=0.3 ) answer = response.choices[0].message.content # 提取引用的来源编号 cited_sources = set(re.findall(r'\[来源(\d+)\]', answer)) return { "answer": answer, "cited_sources": [context_docs[int(i)-1] for i in cited_sources], "uncited_docs": [ context_docs[i] for i in range(len(context_docs)) if str(i+1) not in cited_sources ] }### 4.2 不确定性表达（Chain-of-Thought + Uncertainty）pythonUNCERTAINTY_AWARE_PROMPT = """回答以下问题。在回答中：1. 如果你非常确定某个事实（>90%置信度），直接陈述2. 如果你比较确定（70-90%），使用"据我了解"、"通常情况下"3. 如果你不太确定（<70%），明确说"我不确定，但..."4. 如果你根本不知道，直接说"我不知道这个问题的答案"不要为了看起来有用而编造信息。承认不确定比给出错误答案更有价值。问题：{question}"""### 4.3 多步骤验证管道pythonclass HallucinationAwarePipeline: """带幻觉检测的生产级问答管道""" def __init__(self, retriever, llm, judge_llm): self.retriever = retriever self.llm = llm self.judge_llm = judge_llm async def answer(self, question: str) -> dict: # Step 1: 检索相关文档 docs = await self.retriever.retrieve(question, top_k=5) # Step 2: 生成初始答案 initial_answer = await self.llm.generate( question=question, context=docs ) # Step 3: 幻觉检测 faithfulness_check = await check_faithfulness( context="\n".join([d.text for d in docs]), answer=initial_answer ) # Step 4: 如果检测到幻觉，重新生成或降级处理 if not faithfulness_check["passes_threshold"]: if faithfulness_check["score"] < 0.5: # 严重幻觉：返回"无法回答" return { "answer": "抱歉，我无法从现有资料中找到可靠的答案来回答您的问题。", "reliable": False, "reason": "检测到潜在的幻觉内容" } else: # 轻微幻觉：添加免责声明并附上原始资料 return { "answer": initial_answer + "\n\n⚠️ 注意：以上内容可能包含未经核实的信息，请参考原始资料。", "reliable": False, "sources": [d.source for d in docs], "issues": faithfulness_check["issues"] } return { "answer": initial_answer, "reliable": True, "confidence": faithfulness_check["score"], "sources": [d.source for d in docs] }—## 五、不同场景的风险等级与对策| 场景 | 幻觉风险 | 推荐对策 ||------|---------|---------|| 内部文档问答 | 中 | RAG + 引用追踪 || 代码生成 | 中 | 单元测试兜底 + 实时编译验证 || 法律/医疗咨询 | 极高 | LLM-as-Judge + 人工复核 || 创意写作 | 低 | 无需特殊处理 || 数据分析报告 | 高 | 结构化输出 + 数据库查询验证 || 客服对话 | 高 | 知识库严格约束 + 超范围拒答 |—## 六、总结幻觉无法被"消灭"，但可以被"管理"。2026年工程实践的核心思路是：1. 设计时减少幻觉机会：用RAG约束信息范围，强制引用来源2. 运行时检测幻觉：LLM-as-Judge + 一致性检测3. 优雅降级：检测到幻觉时不是崩溃，而是告知用户不确定性4. 监控与持续优化：收集幻觉案例，定期改进提示词和检测策略幻觉问题的最终解决，可能需要等待模型架构层面的突破。但在那之前，工程上的防御是保障AI应用可靠性的必经之路。—参考：Anthropic Constitutional AI、DeepMind Gemini Technical Report、Hughes et al. (2025) “TruthfulQA 2.0”