摘要

大语言模型已广泛应用于科学论文的问答任务中。为了提升回答的专业性和准确性，许多研究采用外部知识增强。然而，现有科学文献的外部知识结构往往只关注论文实体或领域概念，忽略了论文之间通过共享领域概念而产生的内在联系。这使得在回答同时涉及论文和概念的问题时，答案不够全面和具体。为了解决这一问题，我们提出了一种新颖的知识图谱框架，用于捕捉学术论文之间的深层概念关系，通过论文内部语义元素和论文之间的引用关系构建关系网络。利用基于大语言模型的少样本知识图谱构建方法，我们从ACL Anthology的60,826篇论文中提取了620,353个实体和2,271,584条关系，构建了NLP领域的学术知识图谱NLP-AKG。在此基础上，我们提出了一种“子图社区摘要”方法，并在三个NLP科学文献问答数据集上验证了其有效性。

摘要核心：现有外部知识增强只孤立存论文 / 概念，没把 “共享同一概念的多篇论文” 串起来，导致问答不完整；于是作者提出新的知识图谱架构，用论文内容（论文内部语义元素） + 引用关系，把论文间的深层概念关联建成网络。

摘要解释：

1、现有科学文献的外部知识结构往往只关注论文实体或领域概念，忽略了论文之间通过共享领域概念而产生的内在联系

• 传统学术知识图谱：

  • 节点：单篇论文、单个概念（如 “深度学习”“Transformer”）
  • 关系：只存 “论文 A 提到概念 X”、“论文 B 提到概念 Y”
  • 缺失：论文 A 和论文 B 都提到概念 Z，它们之间的关联没建出来。

2、这使得在回答同时涉及论文和概念的问题时，答案不够全面和具体

“哪些论文都用了‘对比学习’，它们之间有什么关联？”

• 传统图谱：只能列出一堆论文，说 “都提到对比学习”
• 但没说清这些论文谁引用谁、谁改进谁、观点是否一致，答案很浅。

3、为了解决这一问题，我们提出了一种新颖的知识图谱框架，用于捕捉学术论文之间的深层概念关系

作者要做新图谱：核心不是孤立存论文 / 概念，而是抓 “论文 — 概念 — 论文” 的深层关联。

4、通过论文内部语义元素和论文之间的引用关系构建关系网络

1. 新图谱怎么建：

   • 内部：从论文标题、摘要、结论里提取关键概念 / 方法 / 结论（语义元素）
   • 外部：加上论文 A 引用论文 B、论文 B 被论文 C 引用的关系
   • 最终：形成 “论文↔概念↔论文↔引用↔论文” 的完整网络。

5、完整例子解释
 

场景

3 篇论文：

• 论文 P1：《基于对比学习的图像分类》（2020），核心概念：对比学习、图像分类
• 论文 P2：《对比学习在 NLP 中的应用》（2021），核心概念：对比学习、文本分类，引用 P1
• 论文 P3：《对比学习的改进方法》（2022），核心概念：对比学习、损失函数优化，引用 P1、P2

传统知识图谱（旧）

• 节点：P1、P2、P3、对比学习、图像分类、文本分类、损失函数优化
• 关系：
  • P1 → 提到 → 对比学习
  • P1 → 提到 → 图像分类
  • P2 → 提到 → 对比学习
  • P2 → 提到 → 文本分类
  • P3 → 提到 → 对比学习
  • P3 → 提到 → 损失函数优化
• 缺失：P1-P2-P3 因 “对比学习” 相连的关系、引用链。

新提出的知识图谱（作者方案）

• 保留传统节点 + 关系
   
• 节点：P1、P2、P3、对比学习、图像分类、文本分类、损失函数优化

• 关系：
  • P1 → 提到 → 对比学习
  • P1 → 提到 → 图像分类
  • P2 → 提到 → 对比学习
  • P2 → 提到 → 文本分类
  • P3 → 提到 → 对比学习
  • P3 → 提到 → 损失函数优化
     

• 新增深层关联边（通过共享语义和引用关系来建立关系网络）：
  • P1 ↔ 共享概念 ↔ P2（都用对比学习）
  • P1 ↔ 共享概念 ↔ P3
  • P2 ↔ 共享概念 ↔ P3
  • P2 → 引用 → P1
  • P3 → 引用 → P1
  • P3 → 引用 → P2

问答效果对比

• 问题：“围绕‘对比学习’，P1、P2、P3 有什么关联和演进？”
• 旧图谱答案：P1、P2、P3 都提到对比学习，分别用于图像、文本、改进损失函数。（浅，无关联）
• 新图谱答案：
  1. 三者共享核心概念对比学习，属于同一研究主线；
  2. P1 是 2020 年基础，P2（2021）引用 P1 并拓展到 NLP；
  3. P3（2022）引用 P1、P2，做方法改进；
  4. 演进：从图像→文本→方法优化，一脉相承、层层递进。（深、全、具体）

传统学术图谱是点（论文 / 概念）的集合，新图谱是线（共享概念 + 引用）连成的网，能让科研问答从 “罗列” 升级到 “关联推理”。

这里详细指出论文的核心思想（自己的理解使用【】括起来表示）

这篇论文提出并构建了一个名为 NLP-AKG 的NLP（自然语言处理）领域学术知识图谱，并探索了如何利用该图谱增强大语言模型在科学文献问答任务上的表现。

核心问题：

现有知识图谱在辅助LLM回答科学文献问题时，要么只包含论文的元数据（如标题、作者），缺少深层语义信息；

【

什么是深层语义信息？

“深层语义信息”是一个关键概念。简单来说，它指的是超越论文外部属性（如标题、作者、会议），能够直接反映论文核心知识内容（如解决了什么问题、用了什么方法、得出什么结论等）的信息。

在学术文献中，元数据（标题、作者、年份、会议/期刊）告诉我们“这篇论文叫什么、谁写的、发表在哪”。而深层语义信息则回答：

• 这篇论文研究什么任务/领域？ (Task/Field)

• 它试图解决什么具体问题？ (Problem)

• 它提出了什么方法/模型？ (Method/Model)

• 它用了哪些数据集和评价指标？ (Dataset/Metric)

• 它取得了什么主要结果？ (Result)

• 它的核心创新点是什么？ (Innovation)

有了这些深层语义信息，当用户询问 “在方面级情感分析任务中，有哪些解决长距离依赖问题的图神经网络方法？” 时，知识图谱就能直接匹配到这篇论文。而如果只包含元数据，系统只知道这篇论文叫“GCN-ABSA”，却不知道它到底解决了什么问题、用的是什么技术，因此无法给出准确的答案。

深层语义信息如何获取？

深层语义信息是通过一个系统化的流程实现的，核心可以概括为三个步骤：预定义本体论、大语言模型引导提取、以及后续的清洗与消歧。

第一步：预定义本体论 (Ontology Design)

在提取前，需要先界定要提取什么类型的信息（实体） 和关系。

实体分为两种：元数据（6种）、语义实体（9种），然后这些实体之间有一些关系（内部关系和外部关系（引用））；

原论文没有区分实体有两种类型，这里属于自己的理解。

类别	实体类型	说明
元数据	Title, Author, Institution（机构）, Conference（期刊）, Date，Keywords （关键字）	论文的基础外部信息。
语义实体	Field（研究领域）, Task（任务）, Problem（问题）, Method（方法）, Model, Dataset, Metric（指标）, Result, Innovation（创新点）	论文核心内容信息。

接着，作者定义了实体间29种关系，例如：

一、论文内部关系 (Intra-paper Relations)

序号	关系名称	主语实体类型	宾语实体类型	含义说明
1	writes	Author	Title	作者撰写了某篇论文
2	works for	Author	Institution	作者隶属于某机构
3	publishes	Title	Conference	论文发表在某个会议/期刊
4	is written in	Title	Date	论文的发表日期
5	belongs to	Title	Field	论文属于某个研究领域
6	keywords	Title	Keywords	论文拥有某些关键词
7	solves	Title	Problem	论文解决某个问题
8	solves	Method	Problem	某个方法解决某个问题
9	solves	Model	Problem	某个模型解决某个问题
10	adopts	Title	Method	论文采用了某种方法
11	proposes	Title	Model	论文提出了某个模型
12	proposes	Method	Model	某个方法实现了某个模型
13	works on	Title	Task	论文处理某个任务
14	works on	Method	Task	某个方法应用于某个任务
15	works on	Model	Task	某个模型应用于某个任务
16	innovates	Title	Innovation	论文提出了某个创新点
17	innovates	Method	Innovation	某个方法体现了某个创新点
18	experiments on	Title	Dataset	论文使用了某个数据集
19	experiments on	Task	Dataset	某个任务使用了某个数据集
20	experiments on	Model	Dataset	某个模型在某个数据集上实验
21	uses	Title	Metric	论文使用了某个评价指标
22	uses	Task	Metric	某个任务采用某个指标
23	uses	Model	Metric	某个模型采用某个指标
24	faces	Task	Problem	某个任务面临某个问题
25	achieves	Title	Result	论文取得了某个结果
26	achieves	Method	Result	某个方法取得了某个结果
27	achieves	Model	Result	某个模型取得了某个结果

---

二、论文间关系 (Inter-paper Relations)

序号	关系名称	主语实体类型	宾语实体类型	含义说明
28	Direct use	Title	Title	论文直接使用了被引论文中的技术成果（如数据集、模型、方法等）
29	Task correlation	Title	Title	论文与被引论文属于相似任务，引用目的是解释任务背景

 第二步：大语言模型引导提取 (LLM-guided Extraction)

论文利用LLM（该论文中使用的是GPT-4）强大的理解和总结能力，通过不同的提示词（Prompts）进行信息提取。

• 元数据与部分语义实体：直接使用ACL Anthology提供的论文元数据，不需要额外提取。

• 文本类实体 (如任务、问题、方法等)：向LLM提供论文的摘要和引言部分，并使用类似表7的提示词引导其按要求总结输出。

• 表格类实体 (如数据集、指标、结果)：先让LLM定位论文中的核心结果表格，然后参考E5方法，通过提示词让LLM生成代码来提取表格中的结构化数据。

• 创新点 (Innovation)：在提取其他实体后，将它们与论文的摘要、引言一起提供给LLM，要求其进行总结性生成。

第三步：实体清洗与消歧 (Cleaning & Disambiguation)

• 错误检测：针对提取出的不准确信息（如“21 document corpus”），标注了300个错误样本去微调XLNet模型，用来识别并分类错误类型，再决定是删除还是重新提取。

• 实体消歧 (Disambiguation)：使用K-means聚类算法，将相似的实体名称归为一个簇，并选择频率最高的作为该实体标准名，解决同一实体的不同表述问题【13†L1-L7】。

🔗 附录：论文间关系的提取

对于论文间关系（直接使用、任务相关）的提取，则是提取引用的上下文文本，并用这些文本训练了一个XLNet分类器进行自动分类。

这些细节清楚地展示了一个可操作的范式：通过预先定义清晰的知识框架，再利用大语言模型的强大能力进行定向的信息抽取，可以有效地将非结构化的论文，转化为结构化的知识图谱。

】

要么包含概念但无法将概念与具体论文有效关联【

某些现有的知识图谱虽然包含了领域内的概念（例如“情感分析”、“图神经网络”等术语），但这些概念节点并没有与具体的学术论文直接关联起来。

换句话说，你可以在图谱中看到“情感分析”这个概念，也可以看到它与“数据集”、“评价指标”等概念的关系，但当你想要知道“有哪些论文在做情感分析”时，这个图谱无法告诉你答案。概念是孤立的，没有连接到承载这些研究的论文实体上。

举个例子

假设一个知识图谱中包含了以下三元组：

• (情感分析, 使用数据集, 情感树库)

• (情感分析, 评价指标, F1分数)

• (情感分析, 相关方法, LSTM)

这确实展示了概念之间的关联，但缺少了最关键的一环：哪篇具体的论文提出了这个方法？哪篇论文在情感分析任务上取得了某个结果？也就是说，概念与论文之间没有建立链接。

而论文提出的NLP-AKG正是要解决这个问题——它通过“标题”（论文实体）与“任务”、“方法”、“数据集”等概念实体直接建立关系（如：Title → Task），从而实现了概念与具体论文的有效关联。这样当你查询“情感分析相关的论文”时，就能直接检索到所有在任务实体中标注为“情感分析”的论文标题。

】

。这导致LLM在回答结合了“论文”和“概念”的复杂问题时，答案不够全面和精确。

论文之间通过共享领域概念而产生的内在联系
这里详细解释一下论文如何实现论文通过共享领域概念产生内部联系：
步骤一：首先仅对 ** 任务（Task）、数据集（Dataset）、指标（Metric）** 三类实体进行论文间的领域共享。原因：它们在不同论文中相对稳定。
步骤二：对提取到的三类实体中的所有实体进行shiti

保存所有三类实体

1. 引言

在科学文献领域，GPT-4等大语言模型已广泛应用于文献检索、综述生成和文献分析等任务。为了解决基于大语言模型的科学文献问答中的灵活性、幻觉和专业性问题，研究人员通常使用外部知识来增强大语言模型。虽然使用原始文本进行检索增强面临科学文献规模和复杂性导致的检索不准确等挑战，但知识图谱因其结构化的知识存储和可解释的推理路径，在增强大语言模型问答能力方面表现出显著优势。

然而，现有的NLP领域知识图谱在回答诸如“在情感识别领域，哪些论文在GNN架构方面具有创新性？”这类结合论文和概念的问题时，仍存在明显不足。例如，清华大学开放学术图谱包含标题、作者、会议等元数据，但缺乏论文的语义信息，无法处理涉及NLP概念的语义检索和问答。Mondal等人构建的知识图谱揭示了任务、数据集和指标之间的关系，但未能建立概念与学术论文之间的对应关系。Du和Li构建的知识图谱虽然包含语义元素，但没有基于共享概念用法对论文之间的内在联系进行建模。这些局限性导致在利用现有知识图谱增强大语言模型时，答案往往不够全面和精确。

为了解决这些问题，我们设计了一种新颖的知识图谱框架来捕捉NLP学术论文之间的语义关系，包含15种实体类型和29类关系。以论文标题作为检索索引，我们将NLP概念与相关的学术论文语义元素（如任务和方法）联系起来。我们还提取了引用关系，以揭示研究论文之间的联系和影响。基于大语言模型，我们开发了一套针对NLP研究论文的实体提取、清洗和消歧方法，仅需少量标注数据即可构建高质量的知识图谱。整体架构如图1所示。从ACL Anthology的60,826篇论文中，我们提取了620,353个实体和2,271,584条关系。该知识图谱将研究论文与领域概念及丰富的元数据连接起来，反映了NLP领域学术研究的复杂关系网络。

翻译：

图1：知识图谱论文实体提取(a)、论文实体清洗与消歧(b)以及论文关系提取(c)过程

最后，我们提出了一种用于大语言模型的子图社区摘要增强方法，并在三个数据集上与其他检索增强基线和基线大语言模型进行了问答准确率测试：QASPER、NLP-paper-to-QA-generation以及我们标注的一个多论文问答数据集。实验结果表明，我们的方法相比基线方法取得了更优的性能。

摘要解释：

1、使用原始文本进行检索增强面临科学文献规模和复杂性导致的检索不准确等挑战

挑战类型	具体表现	导致后果
规模挑战	1. 文献库达百万 / 千万级，检索延迟高、成本大2. 相似文献冗余，噪声淹没关键信息3. 存储与索引开销随规模指数增长	低召回率（漏相关文献）、高假阳性（混无关文献）、系统不可扩展
复杂性挑战	1. 专业术语多、一词多义 / 多词一义2. 长句 / 复杂句多，语义割裂3. 概念隐含在方法 / 结果中，非显式表述4. 引用关系复杂，跨文献关联难捕捉	语义不匹配（相似≠相关）、上下文断裂、概念理解偏差、关联信息缺失
检索不准确的连锁反应	1. 模型基于错误 / 无关片段生成答案2. 关键证据缺失导致结论片面3. 无法验证引用来源，幻觉率上升	答案错误、结论误导、学术可信度丧失（科学文献幻觉率达 78–98%）

例 1：术语歧义导致检索偏差

• 查询：检索 “Transformer 在蛋白质结构预测中的应用”
• 原始文本检索问题：
  • 科学文献中 “Transformer” 既指深度学习模型，也指蛋白质分子结构中的 “Transformer 结构域”
  • 向量检索返回大量蛋白质分子生物学文献，而非深度学习应用文献
• 结果：模型生成关于蛋白质结构域的回答，与用户问的 AI 模型应用完全无关

例 2：上下文割裂导致关键信息丢失

• 论文结构：某篇论文在 “方法” 部分提 “对比学习”，在 “讨论” 部分指出 “该方法仅适用于小样本数据”
• 原始文本检索问题：
  • 文本切分将方法与讨论拆成独立 Chunk
  • 检索只匹配到 “对比学习” 的方法片段，遗漏 “小样本适用” 的关键限制条件
• 结果：模型生成 “对比学习适用于所有数据规模” 的错误结论，违背原文核心观点

例 3：海量文献中的 “信息孤岛” 问题

• 查询：“近五年机器学习在材料科学中的突破有哪些？”
• 原始文本检索问题：
  • 文献库含 10 万 + 相关论文，传统检索只能返回 “关键词匹配度高” 的 20 篇
  • 遗漏跨领域关联文献（如材料科学 + 物理学 + 计算机科学的交叉研究）
  • 无法识别 “方法 A→改进 B→突破 C” 的演进脉络
• 结果：答案仅覆盖部分领域，缺乏系统性和演进视角，与真实学术进展不符

主流解决方案（针对性破局）

解决方案	核心思路	适用场景
知识图谱增强	构建 “论文 — 概念 — 引用” 网络，用图谱补全文本检索缺失的关联信息	跨文献关联查询、学术脉络梳理
混合检索	向量检索（语义匹配）+ BM25（关键词精确匹配）融合，RRF 排序	术语密集、关键词明确的领域
领域适配 Embedding	用科学文献预训练 / 微调向量模型（如 SciBERT），提升专业语义理解	物理 / 化学 / 生物等高度专业化领域
语义感知切分	按论文结构（摘要 / 方法 / 结果）或逻辑段落切分，保留语义完整性	长论文、复杂结构文献
重排序（Reranking）	用 Cross-Encoder 对初检结果二次打分，提升相关性排序	高召回率优先的场景
分层检索	先检索摘要→再定位正文→最后提取关键句，降低噪声干扰	大规模文献库快速精准定位

原始文本检索增强在科学文献场景中，因规模大导致检索效率低、复杂性高导致语义理解难，容易出现 “找错、找漏、找不全” 的问题；解决方案的核心是用结构化知识（图谱）+ 领域适配技术 + 多层检索策略，把 “文本大海捞针” 变成 “知识网络导航”。

 

2、然而，现有 NLP 领域知识图谱在回答 “在情感识别领域，哪些论文对 GNN 架构做出了创新？” 这类同时涉及论文与概念的问题时，仍存在明显缺陷。例如，清华大学开放学术图谱（OAG）（Zhang 等，2019）仅包含标题、作者、会议等元数据，缺乏论文内部语义信息，无法处理涉及 NLP 概念的语义检索与问答任务；Mondal 等人（2021）构建的知识图谱揭示了任务、数据集与指标之间的关系，但未能建立概念与学术论文之间的对应关系；Du 和 Li（2022）构建的知识图谱虽包含语义元素，却未基于共享概念的使用情况建模论文之间的内在联系。这些局限性导致在使用现有知识图谱增强 LLM 时，往往无法生成全面且精准的答案。


这里我举一个例子理解这句话：

假设知识库里只有以下几篇论文：

1. 论文A：标题《基于GNN的情感识别方法》

   • 任务：情感识别

   • 方法：GNN（图神经网络）

   • 创新点：首次将GNN用于情感识别

2. 论文B：标题《多模态情感分析中的图卷积网络》

   • 任务：多模态情感分析

   • 方法：GCN（图卷积网络，是GNN的一种）

   • 创新点：改进了GCN的多模态融合方式

3. 论文C：标题《使用CNN的语音情感识别》

   • 任务：情感识别

   • 方法：CNN（卷积神经网络）

   • 创新点：无特别

4. 论文D：标题《GNN在情感计算中的可解释性研究》

   • 任务：情感计算（包含情感识别）

   • 方法：GNN

   • 创新点：提出GNN的可解释性机制

问题：“在情感识别领域，哪些论文对GNN架构做出了创新？”

理想答案应包含：

• 论文A（首次将GNN用于情感识别）

• 论文B（虽然不是纯“情感识别”但属于情感分析，且改进了GCN架构）

• 论文D（在情感计算领域对GNN做了可解释性创新）

并且最好能说明：这些论文都共享了“情感识别”这个领域概念和“GNN”这个方法概念，并且在这个概念交集上做出了不同创新，它们之间有内在联系（比如A是开创，B是变体，D是扩展）。

---

现有知识图谱的缺陷表现

缺陷1：只有元数据（如OAG）

图谱中只有：

• 论文A → 作者、会议、年份

• 论文B → 作者、会议、年份
  没有“任务：情感识别”、“方法：GNN”这样的语义信息。
  结果：系统完全无法回答“情感识别”和“GNN”相关的问题，因为图里没有这些概念。

缺陷2：只有概念关系，没有连接到论文（如Mondal等人）

图谱中有：

• 概念节点“情感识别” ——关系——> 概念节点“GNN”
  但“GNN”节点没有连接到任何具体的论文A、B、D。
  结果：系统知道情感识别任务可以用GNN，但不知道是哪篇论文提出的或改进的，无法回答“哪些论文”。

缺陷3：有语义元素，但没有基于共享概念建立论文间联系（如Du和Li）

图谱中有：

• 论文A → (任务) → “情感识别”

• 论文A → (方法) → “GNN”

• 论文B → (任务) → “多模态情感分析”

• 论文B → (方法) → “GCN”

• 论文D → (任务) → “情感计算”

• 论文D → (方法) → “GNN”

但是它没有把使用了“情感识别”相关任务且使用了“GNN”方法的论文（A、B、D）聚合成一个“社区”或建立它们之间的“同主题关系”。
结果：系统只能单独检索到论文A（因为标了情感识别）、论文B（因为方法包含GCN，但任务不完全匹配）、论文D（任务较宽）。由于不知道论文A、B、D之间的内在联系（都属于“GNN+情感识别”这个交集），回答时可能漏掉B或D，也无法给出它们之间的创新演进关系。

2 相关工作

2.1 科学文献领域知识图谱

早期科学文献领域知识图谱的研究大多局限于构建基于论文外部特征（如标题、作者、出版商）的知识图谱（Zhang 等，2019；Tang 等，2008）。Hao 等人（2021）提出了一种识别学术文献中创新内容的方法，通过提取新颖句子、识别实体并构建聚焦于研究论文创新相关信息的知识图谱。开放研究知识图谱（ORKG）（Jaradeh 等，2019）提供了一个结构化框架，可根据用户需求将论文中的学术知识表示为相互连接且语义丰富的知识图谱。在 NLP 领域，NLPKG（Schopf 和 Matthes，2024）通过语义关系连接研究领域、出版物、作者与会议场所，形成知识图谱，用户可以研究领域为索引检索科研文献。

2.2 知识图谱增强 LLM 问答

增强 LLM 问答最直接的方式是将知识图谱融入预训练过程，例如使用链接预测等任务提供额外监督信号（Yasunaga 等，2022）。KAPING（Baek 等，2023）等方法基于语义相似度从知识图谱中检索相关事实，以指导 LLM 生成答案。目前，知识增强生成（KAG）（Liang 等，2024）较为流行，该方法利用知识图谱与文本之间的互索引结构提升跨文档链接能力。MindMap（Wen 等，2024）通过构建思维导图帮助 LLM 理解知识图谱节点关系，支持基于证据的生成。

 

2.1 科学文献领域知识图谱

这里按时间或复杂度顺序介绍了四类工作：

类别	代表工作	做法	局限性（隐含）
1. 只做外部特征	OAG (Zhang 2019), ArnetMiner (Tang 2008)	只提取标题、作者、会议、机构等元数据	没有论文内部的语义信息（如方法、任务、创新点），无法回答涉及论文内容的问题
2. 聚焦创新内容	Hao 等人 (2021)	从论文中找出“创新句子”，提取其中的实体，构建创新点图谱	关注创新，但仍未系统性地连接论文之间的共享概念
3. 用户自定义知识结构	ORKG (Jaradeh 2019)	允许用户按需将论文中的知识组织成语义图谱	依赖用户手动构建，不是自动化、规模化的通用图谱
4. NLP 领域的专门图谱	NLP‑KG (Schopf & Matthes 2024)	连接研究领域、出版物、作者、会议等，支持按领域检索	仍然是基于元数据和粗粒度关系，没有深层的论文间概念关联（比如都用了GNN的论文之间有什么联系）

2.1 想说明，现有的科学文献知识图谱要么缺少论文内部语义，要么缺少论文之间基于共享概念的内在联系。这正是本文要解决的问题

2.2 知识图谱增强 LLM 问答

这一节介绍：即便有了知识图谱，怎么用它们来帮助 LLM 回答问题时更准确。介绍了四种技术路线：

方法类别	代表工作	核心思想	潜在问题（本文视角）
1. 预训练融合	Yasunaga 2022	在 LLM 预训练时加入知识图谱的链接预测等任务，让模型直接学到图谱知识	成本高，且图谱更新后需要重新训练
2. 检索事实引导	KAPING (Baek 2023)	针对问题，从知识图谱中检索相关事实（三元组），拼接到提示中送给 LLM	依赖图谱的事实覆盖度和检索质量，无法利用论文间深层联系
3. 知识增强生成（KAG）	Liang 2024	建立知识图谱与文本的互索引，支持跨文档和多跳推理	仍然受限于底层知识图谱的结构是否丰富
4. 思维导图（MindMap）	Wen 2024	为 LLM 构建知识图谱节点的思维导图，帮助理解复杂关系	路径跳数有限，容易遗漏多步关联的论文

2.2 想说明，虽然有很多用知识图谱增强 LLM 的方法，但它们的上限受限于知识图谱本身的质量。如果图谱缺少论文之间的深层概念联系（例如，哪些论文共享同一个任务和方法组合），那么这些增强方法也无法给出全面、精准的答案。


2.1 指出前人构建的科学文献知识图谱不够“深”（缺语义或缺论文间概念关联），2.2 指出即使有很多增强 LLM 的方法，也会因为底层图谱的不足而效果受限。因此，本文需要先构建一个更丰富的图谱（NLP‑AKG），再设计专门适配它的增强方法（子图社区摘要）。

3 NLP-AKG 的构建

本文提出了一套针对 NLP 领域科研论文的定制化知识图谱构建框架，利用 LLM 中丰富的先验知识作为熟练的论文元素实体自动提取器。知识图谱的本体设计细节如图 2 所示。最终共提取出 620,353 个实体与 2,271,584 条关系。本文通过手动抽样检测 100 篇论文的提取结果，实体与论文间关系的提取准确率分别达到 0.94 与 0.93。具体的知识图谱模式与测试细节见附录 A。

图 2：知识图谱本体设计

3.1 论文元素实体提取

由于本文聚焦于 NLP 领域论文，因此使用 Rohatgi（2022）提供的 ACL Anthology 中 1952 年至 2023 年的论文数据，他们爬取了该网站的所有 PDF 文档与元数据。其中，标题、作者、机构、会议与日期等实体已包含在论文元数据中，无需额外提取。对于其他实体，本文利用 LLM 的零样本理解与摘要能力，从文本内容与表格数据中提取论文元素。本文使用的具体提示词及其他细节见附录 B。

1. 对于领域（Field）、关键词（Keywords）、问题（Problem）、方法（Method）、模型（Model）与任务（Task），本文向 LLM 提供结构化论文文本中的摘要与引言部分以提取实体。
2. 对于数据集（Dataset）、指标（Metric）与结果（Result），这部分论文元素主要来源于论文中的表格。本文首先使用 LLM 筛选论文与表格，选出能够代表论文主要研究结果的表格。借鉴 E5（Zhang 等，2024）的思想，使用 LLM 解析表格层级结构、生成代码提取数据并优化提取结果，引导 LLM 从表格中提取对应的数据集、评估指标与结果。
3. 对于创新点（Innovation），在提取完其他论文元素后，本文将已提取的论文元素与摘要、引言部分的文本一同提供给 LLM，引导 LLM 总结论文内容并生成凝练的创新点。

3.2 论文元素实体清洗与消歧

提取出的实体中存在不准确的描述，例如 “21 个文档语料库” 并非具体的数据集名称。针对此类错误实体，本文标注了 300 个错误样本的错误类型，用于微调 XLNet（Yang 等，2019）作为检测器，检测并分类错误样本，然后根据实体的错误类型删除或重新提取相应实体。

本文选择对任务、数据集与指标进行消歧，因为与其他类型的实体相比，它们在不同论文中相对稳定。本文使用 K-means（Na 等，2010）进行实体消歧，将相似实体分配到同一簇中。其目标是最小化簇内平方和误差： \(J=\sum_{i=1}^{k} \sum_{x \in C_{i}}\left\|x-\mu_{i}\right\|^{2}\) 其中\(C_{i}\)为第i个簇，\(\mu_{i}\)为簇中心，k为簇的数量。

3.3 论文间关系提取

对于单篇论文而言，由于论文内关系与论文元素之间存在一一对应关系，因此无需额外提取论文内关系。本文主要考虑论文间关系，包括直接使用与任务相关两类，划分依据是被引论文提出的技术成果是否被当前论文所利用。本文提取引用上下文作为分类依据，并为这两类关系各标注 300 个示例，用于训练 XLNet 作为分类器对引用上下文进行分类。

对于创新点（Innovation），在提取完其他论文元素后，本文将已提取的论文元素与摘要、引言部分的文本一同提供给 LLM，引导 LLM 总结论文内容并生成凝练的创新点。

解释：
“已提取的论文元素”指的是在前两步中已经提取出来的所有论文内部语义实体。根据论文原文第3.1节，这些实体具体包括：

1. 领域（Field）

2. 关键词（Keywords）

3. 问题（Problem）

4. 方法（Method）

5. 模型（Model）

6. 任务（Task）

7. 数据集（Dataset）

8. 指标（Metric）

9. 结果（Result）

此外，论文元数据中已有的 标题、作者、机构、会议、日期 虽然不需要提取，但在实际输入给LLM时也可能作为上下文的一部分（但原文说“已提取的论文元素”主要指上述9类）。

因此，生成创新点（Innovation） 时，LLM 会同时看到：

• 已经提取出的领域、关键词、问题、方法、模型、任务、数据集、指标、结果（结构化信息）

• 再加上论文原始的摘要和引言文本（非结构化信息）

这样LLM可以综合已有的结构化知识和原始文本，生成一段凝练的、概括性的创新点描述。

3.2 论文元素实体清洗与消歧

提取出的实体中存在不准确的描述，例如 “21 个文档语料库” 并非具体的数据集名称。针对此类错误实体，本文标注了 300 个错误样本的错误类型，用于微调 XLNet（Yang 等，2019）作为检测器，检测并分类错误样本，然后根据实体的错误类型删除或重新提取相应实体。

本文选择对任务、数据集与指标进行消歧，因为与其他类型的实体相比，它们在不同论文中相对稳定。本文使用 K-means（Na 等，2010）进行实体消歧，将相似实体分配到同一簇中。其目标是最小化簇内平方和误差： \(J=\sum_{i=1}^{k} \sum_{x \in C_{i}}\left\|x-\mu_{i}\right\|^{2}\) 其中\(C_{i}\)为第i个簇，\(\mu_{i}\)为簇中心，k为簇的数量。

这段话讲的是：从论文中自动提取出来的实体（比如数据集名称、任务名称）可能会有错误或写法不一致，所以需要两步处理：清洗（删除明显错误的）和消歧（把同一个东西的不同写法合并）。下面分步解释。

---

1. 为什么要清洗和消歧？

LLM 提取实体时并不完美。例如：

• 它可能把“21个文档的语料库”这种描述性短语当成一个数据集名称，但这不是一个真实的数据集（比如“IMDb”、“GLUE”才是）。

• 不同论文可能把同一个任务写成“情感分析”、“sentiment analysis”、“SA”，在知识图谱里应该合并成同一个节点，否则会重复。

所以需要：

• 清洗：删除那些根本不是有效实体的错误提取。

• 消歧：把不同写法但指向同一概念的实体合并。

---

2. 如何清洗？—— 用 XLNet 检测错误类型

步骤：

1. 人工标注错误样本：从提取结果中找出 300 个错误实体，并给每个错误打上类型标签，例如：

   • 无效数据（如“21个文档语料库”）

   • 格式不正确（比如缺了括号）

   • 不够具体（比如只说“一个数据集”）

   • 冗余信息（包含了多余的解释）

2. 微调 XLNet：用这 300 个标注好的样本训练一个分类器（XLNet 是一种预训练语言模型）。训练后，这个分类器能自动判断一个新提取的实体属于哪种错误类型（或判断它正确）。

3. 处理：根据错误类型决定动作：

   • 如果是“无效数据” → 直接删除该实体。

   • 如果是其他可修复的错误 → 把错误实体、错误类型、原始的提取提示一起再送给 LLM，让 LLM 重新提取一次。

---

3. 为什么只对任务、数据集、指标进行消歧？

论文说这三类实体在不同论文中相对稳定。意思是：

• 同一个任务（如“文本分类”）在不同论文里可能叫法略有差异，但核心含义固定。

• 同一个数据集（如“CIFAR-10”）的写法差异不大。

• 同一个指标（如“F1-score”）也类似。

而像“问题（Problem）”、“方法（Method）”、“创新点”这些实体，每篇论文都是独特的，不存在跨论文的重复和歧义，所以不需要合并。

---

4. 如何消歧？—— 用 K-means 聚类

步骤：

• 取样：从知识图谱中抽取一部分任务（或数据集、指标）实体的字符串。

• 向量化：用某种编码（比如用 LLM 的 tokenizer 或 word2vec）把每个实体名称转成一个向量（数字列表）。例如“情感分析”和“sentiment analysis”这两个字符串在向量空间中距离很近。

• K-means 聚类：把这些向量分成 k 个簇（k 需要事先指定或通过肘部法则确定）。公式
  J=∑i=1k∑x∈Ci∥x−μi∥2J=∑i=1k​∑x∈Ci​​∥x−μi​∥2
  是聚类算法的目标函数：让每个簇内的点尽量靠近该簇的中心点 μiμi​。

• 选代表：在每个簇里，选择出现频率最高的那个实体名字作为这个标准名。例如一个簇里有“情感分析”（出现5次）、“SA”（2次）、“sentiment analysis”（3次），则选“情感分析”作为标准。

• 扩展到全图：用同样的向量化和聚类方法处理所有任务实体，把每个实体映射到某个标准名。

这样，不同论文里的“情感分析”、“SA”、“sentiment analysis”就会被统一成一个节点。

---

一句话总结

先使用大模型对论文相关部分（论文概述、引言重要表格）提取15种实体。然后使用分类器判断这这些实体是否合规，根据不同的合规性使用不同的处理方式（不属于实体直接删除，属于实体把判断出来的错误结合源文本让大模型二次处理）。最后再使用聚类算法对提取到的三类（数据集、指标、结果）（因为这三类在不同论文中相对稳定，有合并价值）所有实体进行消歧。

3.3 论文间关系提取

对于单篇论文而言，由于论文内关系与论文元素之间存在一一对应关系，因此无需额外提取论文内关系。本文主要考虑论文间关系，包括直接使用与任务相关两类，划分依据是被引论文提出的技术成果是否被当前论文所利用。本文提取引用上下文作为分类依据，并为这两类关系各标注 300 个示例，用于训练 XLNet 作为分类器对引用上下文进行分类。

 

1. 为什么不需要“额外提取”论文内关系？

论文内关系是指同一篇论文中，不同语义元素之间的固定关系。例如：

• 标题 → 作者（撰写）

• 标题 → 任务（工作于）

• 标题 → 方法（采用）

• 任务 → 数据集（实验于）

• ……

这些关系的类型是预先定义好的本体（见原文附录A表4）。在3.1节已经提取出了标题、任务、方法、数据集等实体节点，那么这些节点之间的“内关系”自然就存在了（因为每个实体都属于同一篇论文）。所以不需要再去判断或提取，直接按本体映射即可。

2. 需要额外提取的是什么？—— 论文间关系的分类

论文之间的关系主要来自引用。一篇论文引用另一篇论文，但引用的动机不同：有的引用是因为直接使用了被引论文的技术成果（如用了它的模型、数据集、方法），有的引用只是任务背景介绍（例如“前人也在做情感识别，比如[xx]”）。

本文只把论文间关系分为两类：

关系类型	含义	举例
直接使用 (Direct use)	当前论文明确使用了被引论文中提出的技术成果（模型、算法、数据集、评估指标等），并在自己的实验或方法中依赖该成果。	“我们采用 Zhang et al. (2020) 提出的BERT模型进行微调。”
任务相关 (Task related)	当前论文与被引论文属于相同或相似的研究任务，引用它是为了说明任务背景、相关进展或对比，但并未实际使用其具体技术成果。	“情感识别是自然语言处理中的重要任务（Li et al., 2019），已有许多研究...”

分类依据是引用上下文：即论文中引用标记出现的那一句话（或前后几句话）。模型需要根据这些文字判断该次引用属于哪一类。

3. 如何实现分类？

实现步骤：

1. 数据准备：从论文中抽取出所有带有引用标记的句子（例如“... [10] ...”所在的一句话）。对每个引用实例，人工阅读上下文，判断它是“直接使用”还是“任务相关”。

2. 标注训练集：为每类关系各标注 300 个 例子（共600条）。这是少样本学习的规模。

3. 训练分类器：使用 XLNet（一种预训练语言模型）在这些标注数据上进行微调。微调后，XLNet 能根据输入的引用上下文文本，输出一个二元分类结果（直接使用 / 任务相关）。

4. 应用：将训练好的分类器应用到所有论文的所有引用上，自动给每条引用打上标签。

4. 为什么这样做？

• 细粒度的引用关系能让知识图谱更丰富：比如可以回答“哪些论文直接使用了GNN模型” vs “哪些论文只是提到了GNN”。

• 在问答增强时（第4章），这种分类可以帮助系统判断两篇论文之间是否有“直接技术继承”关系，从而形成更紧密的“社区”。

一句话总结

把引用的句子的上下文进行人工标注，然后训练模型。然后在使用论文中的引用的句子的上下文让模型判断是那种类别（上下文一般指前后1~2句话）

4 NLP-AKG 增强 LLM 问答

本文提出 “子图社区摘要” 方法，进一步提升 LLM 在 NLP 领域科学论文问答中的能力。在三个科学文献问答数据集上的实验结果表明，该方法优于当前的纯 LLM 与检索增强基线方法。

4.1 用于 LLM 问答的子图社区增强

本文首先使用 LLM 对问题进行意图识别，具体而言，识别问题题干中涉及的相关元素以及问题所询问的目标元素。由于论文元素之间的关系类型是固定的，因此无需检索即可直接确定论文元素之间的对应路径。

通过路径查询得到的论文子图是所有与标题\(t_{i}\)相连的目标元素节点。如果这些论文之间存在论文间关系（\(t_{i}\), 关系，\(t_{j}\)），则认为这些论文之间具有更深层次的相关性，可以形成一个社区C。

接下来，本文将问题Q、子图社区元素C、元素相关介绍I与简单提示词P拼接起来，引导 LLM 生成子图社区的社区答案\(A_{c}\)。该过程可表示为： \(A_{c}=LLM(Q \oplus C \oplus I \oplus P)\) 其中\(\oplus\)表示拼接操作。

最后，本文使用 LLM 将所有社区答案\(A_{c}\)与问题Q同时汇总为最终的全局答案\(A_{g}\)： \(A_{g}=LLM\left(\bigcup_{c} A_{c} \oplus Q\right)\)

特别地，如果论文之间不存在相关性，则直接将检索到的论文元素输入 LLM。

4.2 实验设置

本文选择两个开源数据集（QASPER（Dasigi 等，2021）、NLP-paper-to-QA-generation）来评估本文方法在 NLP 科学论文问答任务上的泛化能力。由于目前缺乏 NLP 领域多论文问答的开源数据集，本文还标注了 200 个问答对作为测试数据集。

本文将所提方法与多种基线方法（包括 GPT-4）以及 MindMap（Wen 等，2024）方法、知识增强生成（KAG）（Liang 等，2024）方法进行了对比。同时考虑了两种检索增强基线：BM25 检索与文本嵌入检索。为保证公平对比，所有方法均使用 GPT-4-0613 作为骨干模型。这些基线方法的详细描述见附录 D。本文使用 BERTScore（Zhang 等，2020）来衡量生成答案与参考答案之间的语义相似度。

4.3 实验结果

为测试本文方法在 NLP 领域科研问答中的泛化能力，本文在两个数据集上进行了测试，结果如表 1 所示。可以看出，尽管各种方法的 BERTScore 结果相近，但本文的 “子图社区摘要” 方法在 F1-score 上仍优于其他基线模型，这是因为 NLP-AKG 中的论文元素为回答问题提供了更准确、更具体的补充信息。同时，使用本文构建的知识图谱的 MindMap 方法也优于 GPT-4 与其他基线方法，证明了本文知识图谱在增强 LLM 问答方面的有效性。

表 1：本文方法与基线方法在 QASPER 和 NLP-paper-to-QA-generation 数据集上的性能

表格

模型	精确率	召回率	F1-score
QASPER
BM25	0.6794	0.7386	0.7048
嵌入检索	0.6829	0.7383	0.7069
GPT-4	0.6709	0.7220	0.6929
KAG	0.6873	0.7387	0.7097
MindMap	0.6938	0.7491	0.7173
本文方法	0.6943	0.7550	0.7204
NLP-paper-to-QA-generation
BM25	0.7098	0.7399	0.7234
嵌入检索	0.7065	0.7391	0.7221
GPT-4	0.6953	0.7261	0.7095
KAG	0.7074	0.7361	0.7204
MindMap	0.7158	0.7461	0.7295
本文方法	0.7181	0.7448	0.7300

表 2 结果显示，本文提出的方法在 F1-score 上相对 GPT-4 提升了 1.1%，相比当前表现较好的知识图谱增强 LLM 问答方法 MindMap 与 KAG，分别提升了 7.7% 与 4.9%。这是因为本文设计的知识图谱检索与增强问答方法更适配 NLP-AKG 的结构，提升了检索效率，并充分利用了论文之间的深层联系。

表 2：本文方法与基线方法在自标注测试数据集上的性能

表格

模型	精确率	召回率	F1-score
BM25	0.6890	0.7097	0.6989
嵌入检索	0.6878	0.7117	0.6992
GPT-4	0.7638	0.7670	0.7654
KAG	0.6819	0.7797	0.7275
MindMap	0.6985	0.7039	0.7006
本文方法	0.7646	0.7912	0.7768

由于 MindMap 限制了路径检索的跳数，在进行多论文问答时容易遗漏信息，因此其性能效果不如使用大量论文信息进行预训练的 GPT-4。

4.1 子图社区增强方法 —— 怎么做？

第一步：意图识别（让 LLM 理解问题）

首先，把用户的问题（例如“在情感识别领域，哪些论文对GNN架构做出了创新？”）交给 LLM，让它分析：

• 问题中涉及哪些论文元素？（比如：任务=“情感识别”，方法=“GNN”）

• 问题想要问什么目标元素？（比如：想知道“论文标题”或者“创新点”）

因为知识图谱里论文元素之间的关系是固定的（比如“标题 → 任务”、“标题 → 方法”），所以不需要去搜路径，直接就能知道：要找的目标是“标题”，条件是“任务=情感识别”且“方法=GNN”。
 

第二步：找出子图社区

用上面得到的条件，从知识图谱里找出所有满足条件的论文标题节点（即所有在情感识别领域使用了GNN的论文）。这些论文之间如果还有引用关系（而且是“直接使用”那种强关系），那么它们就形成了一个社区 C——可以理解为关系紧密的一小簇论文。

第三步：生成社区答案

对于每个社区，把以下信息拼在一起送给 LLM：

• 问题 Q

• 社区里的论文元素（标题、任务、方法等）C

• 这些元素的简短介绍 I（比如“GNN是图神经网络”）

• 一个简单的提示词 P（比如“请基于以上信息回答”）

LLM 就会针对这个社区生成一个社区答案 A_c。公式：
Ac=LLM(Q⊕C⊕I⊕P)Ac​=LLM(Q⊕C⊕I⊕P)

第四步：汇总成全局答案

如果有多个社区（比如情感识别领域用了GNN的论文分成了两个互不引用的子群），那么会得到多个社区答案。最后把所有社区答案和原始问题 Q 再一起送给 LLM，让它总结成最终全局答案 A_g。公式：
Ag=LLM(⋃cAc⊕Q)Ag​=LLM(⋃c​Ac​⊕Q)

如果论文之间没有引用关系（形不成社区），就直接把检索到的论文元素给 LLM 让它回答。

一句话：先找出相关的论文，再把有引用关系的论文抱团成“社区”，分别让 LLM 总结每个社区，最后汇总。这样能充分利用论文之间的深层联系。

4.2 实验设置 —— 怎么测试的？

用了三个数据集：

1. QASPER（公开）：1,585 篇 NLP 论文上的问答对。

2. NLP-paper-to-QA-generation（公开）：从 QASPER 衍生出来的另一个问答集。

3. 自标注数据集：因为缺少多论文问答的开源数据，作者自己标注了 200 个问答对（例如“请列举三篇在情感识别中使用GNN的论文”）。

对比的方法包括：

• 纯 GPT-4（不给任何额外知识）

• 两种传统检索增强：BM25（基于关键词匹配）、嵌入检索（用向量相似度找相关文档）

• 两种知识图谱增强方法：KAG、MindMap

所有方法都用 GPT-4-0613 作为底层的 LLM（公平对比）。

评估指标：BERTScore（衡量语义相似度，不是字面匹配）。

4.3 实验结果 —— 结论是什么？

表1（QASPER 和 NLP-paper-to-QA-generation）

• 所有方法的分数都差不多（F1 约 0.70~0.73），但本文的方法在每个数据集上都是最高（0.7204 和 0.7300）。

• 说明本文的知识图谱和增强方法有效，但提升幅度不大（因为这两个数据集主要是单论文问答，知识图谱的优势不太明显）。

表2（自标注的多论文问答数据集）

差距拉大了：

• GPT-4 的 F1 = 0.7654

• KAG = 0.7275

• MindMap = 0.7006

• 本文方法 = 0.7768（比 GPT-4 高 1.1%，比 MindMap 高 7.7%，比 KAG 高 4.9%）

为什么本文方法更好？

• 因为多论文问答需要把不同论文的信息整合起来，而且要理解论文之间的关系（谁引用了谁、谁直接使用了谁的技术）。

• MindMap 限制了检索路径的跳数（比如只找直接引用的论文），容易漏掉间接相关的论文。

• KAG 虽然用了知识图谱，但它的图谱结构不如本文的 NLP-AKG 这么细（没有“任务-方法-论文”这样的联合索引）。

• 本文的“子图社区”方法正好利用了图谱里丰富的论文间关系（直接使用、任务相关），能更全面地召回相关论文，并让 LLM 按社区逐一总结，避免了信息遗漏。

一个有趣的发现：在表2中，纯 GPT-4 居然比 KAG 和 MindMap 都要好，因为 GPT-4 在预训练时已经看过大量论文，对于多论文问答这种需要“知识回忆”的任务，它依靠自身参数里存储的信息就能做得不错。但是本文的方法仍然超过了 GPT-4，说明知识图谱提供了 GPT-4 内部没有的、更结构化和更准确的引用关系信息。

总结 —— 这一章在说什么？

• 做了什么：设计了一个“子图社区摘要”方法，用知识图谱里论文之间的引用关系，把相关论文分成“社区”，让 LLM 先看每个社区，再汇总答案。

• 怎么验证：在单论文问答（QASPER）和多论文问答（自标注）上对比了 GPT-4、BM25、KAG、MindMap。

• 结果如何：在单论文问答上略优；在多论文问答上明显优于所有基线，甚至超过 GPT-4。

• 为什么有效：因为本文的知识图谱包含了论文间深层的“直接使用”和“任务相关”关系，而社区摘要能充分利用这些关系，避免遗漏。

5 结论

本文介绍了一种基于 LLM 的少样本 NLP 科学文献知识图谱框架。该框架从 ACL Anthology 语料库中提取实体，构建了 NLP 领域学术知识图谱 NLP-AKG，包含元数据、语义元素与引用网络。本文提出 “子图社区摘要” 方法，使 LLM 能够聚焦于相关论文社区生成准确答案。实验结果表明，该方法在 NLP 文献问答任务中表现优异，尤其在多论文摘要任务上优于 GPT-4 与 MindMap 等基线方法，且在多个数据集上具有良好的泛化能力。

6 局限性

尽管本文提出的方法在 NLP 领域科学文献问答任务中取得了显著效果，但仍存在一些局限性，需要在未来研究中进一步改进与优化。首先，科学文献体量庞大且更新频繁，如何在不重构整个图谱的情况下动态更新与扩展知识图谱是一个亟待解决的问题。虽然本文方法在一定程度上减少了对人工标注的依赖，但在处理新领域的论文时，仍需要人工干预以保证知识图谱的质量。未来工作应研究自动化的知识图谱更新机制，特别是在处理动态科学文献流的同时保持提取准确率。其次，本文的实验主要基于 NLP 领域的科学文献，尽管使用了多个数据集进行测试，但该方法在其他学科（如医学、材料科学等）中的泛化能力仍需进一步验证。如何将该方法扩展到其他领域并构建跨领域知识图谱是一个值得探索的方向。

---

附录 A 知识图谱模式

本节提出了 NLP 领域文献知识图谱的模式构建方法。本文创新性地围绕论文中的元素与领域内的概念术语构建知识图谱。该模式包含 15 种实体类型，反映了论文的重要客观信息与核心要素。除了作者、机构等论文外部元素外，本文还提取了创新点、问题、方法等包含语义信息的元素，这些元素能够概括论文的主要内容。本文创新性地使用总结性句子而非论文原文来描述这些元素，使其更加简洁易懂。详细的关系信息见表 3。

表 3：知识图谱实体及介绍

表格

实体	介绍	数量
标题（Title）	论文的标题	60826
作者（Author）	论文的作者	77136
机构（Institution）	作者所属机构	20747
会议（Conference）	论文发表的会议或期刊	2132
日期（Date）	论文的发表日期	485
领域（Field）	论文的研究领域	9581
关键词（Keywords）	论文的主题短语	60826
创新点（Innovation）	论文的主要创新点	60826
方法（Method）	论文提出的方法	60826
问题（Problem）	论文主要解决的问题	60826
模型（Model）	论文提出的模型的具体名称	29389
任务（Task）	模型应用的具体任务	45944
数据集（Dataset）	实验中使用的数据集	25419
指标（Metric）	实验中使用的评估指标	9097
结果（Result）	模型的主要实验结果	96293

本文重点关注实体之间的 29 种关系类型，详细的关系信息见表 4。同一篇论文的标题与所有内部元素之间保持对应关系，论文之间也通过引用建立关系。为便于使用，本文将引用关系分为两类：直接使用与任务相关。由于同一篇论文可能被多次引用，因此两篇论文之间可能存在两种关系，最终本文删除了重复的三元组。

• 直接使用：当前论文直接使用了被引论文提出的内容，包括数据集、评估指标、模型、架构等。
• 任务相关：当前论文与被引论文属于相似任务，在讨论过程中借助被引论文说明任务背景。

部分三元组示例见表 5。

表 4：关系名称与类型

表格

关系名称	关系类型
论文内关系
撰写（writes）	作者 -> 标题
任职于（works for）	作者 -> 机构
发表（publishes）	标题 -> 会议
发表于（is written in）	标题 -> 日期
属于（belongs to）	标题 -> 研究领域
关键词（keywords）	标题 -> 关键词
解决（solves）	标题 -> 问题，方法 -> 问题，模型 -> 问题
采用（adopts）	标题 -> 方法
提出（proposes）	标题 -> 模型，方法 -> 模型
研究（works on）	标题 -> 任务，方法 -> 任务，模型 -> 任务
创新（innovates）	标题 -> 创新点，方法 -> 创新点
实验于（experiments on）	标题 -> 数据集，任务 -> 数据集，模型 -> 数据集
使用（uses）	标题 -> 指标，任务 -> 指标，模型 -> 指标
面临（faces）	任务 -> 问题
取得（achieves）	标题 -> 结果，方法 -> 结果，模型 -> 结果
论文间关系
直接使用（Direct use）	标题 -> 标题
任务相关（Task correlation）	标题 -> 标题

表 5：部分三元组示例

表格

主语	谓语	宾语
基于 SVM 核方法的阿拉伯语语义角色标注再探讨	日期	2012 年 12 月
基于 SVM 核方法的阿拉伯语语义角色标注再探讨	关键词	阿拉伯语语义角色标注，自然语言处理，论元分类
Laurel Hart	撰写	基于 SVM 核方法的阿拉伯语语义角色标注再探讨
Laurel Hart	任职于	BCL 技术公司
Hassan Alam	撰写	基于 SVM 核方法的阿拉伯语语义角色标注再探讨
Hassan Alam	任职于	BCL 技术公司
Aman Kumar	撰写	基于 SVM 核方法的阿拉伯语语义角色标注再探讨
Aman Kumar	任职于	BCL 技术公司
COLING 2012 演示论文集	发表	基于 SVM 核方法的阿拉伯语语义角色标注再探讨
基于 SVM 核方法的阿拉伯语语义角色标注再探讨	属于	语义角色标注
基于 SVM 核方法的阿拉伯语语义角色标注再探讨	解决	现有的大多数语义角色标注系统和方法都是为英语设计并适配阿拉伯语的，缺乏针对阿拉伯语的专门开发。
基于 SVM 核方法的阿拉伯语语义角色标注再探讨	采用	提出了一个针对阿拉伯语独特语言特征定制的专门阿拉伯语语义角色标注系统，以改进谓词论元边界检测和论元分类。
基于 SVM 核方法的阿拉伯语语义角色标注再探讨	研究	阿拉伯语语义角色标注
基于 SVM 核方法的阿拉伯语语义角色标注再探讨	创新	为解决以英语为中心的语义角色标注系统适配阿拉伯语的问题，创新性地提出了一个定制化的阿拉伯语语义角色标注系统，利用阿拉伯语的独特特征，旨在增强谓词论元边界检测和论元分类能力。
基于 SVM 核方法的阿拉伯语语义角色标注再探讨	直接使用	CUNIT：现代标准阿拉伯语语义角色标注系统
基于 SVM 核方法的阿拉伯语语义角色标注再探讨	任务相关	语义角色的自动标注
基于 SVM 核方法的阿拉伯语语义角色标注再探讨	直接使用	基于核方法的阿拉伯语语义角色标注系统

图 3 是本文构建的知识图谱的局部示例。本文抽样了从 100 篇论文中提取的所有语义元素实体与论文间关系，手动检查了每个类别的提取准确率（不考虑遗漏情况），具体结果见表 6。

表 6：实体与论文间关系手动抽样测试结果

表格

实体与论文间关系	准确率
实体
标题	0.99
作者	0.99
机构	0.98
会议	0.98
日期	0.99
领域	0.95
关键词	0.97
创新点	0.85
方法	0.95
问题	0.91
模型	0.97
任务	0.96
数据集	0.91
指标	0.94
结果	0.78
论文间关系
直接使用	0.91
任务相关	0.95

附录 B 提示词与细节

本节整理了本文在知识图谱构建与 LLM 问答增强过程中使用的提示词以及一些实现细节。

B.1 实体提取

本文使用 Rohatgi（2022）提供的语料库，他们爬取了该网站的所有 PDF 文档与元数据。使用 Grobid 处理论文 PDF，将其转换为结构化的 XML/TEI 编码文档。删除无法识别的论文后，共获得 60,826 篇处理后的结构化文档及其对应的元数据，通过 Anthology ID 进行唯一标识。

表 7：提取领域、关键词、问题、方法、模型、任务的提示词

表格

实体类型	提示词
领域	- 总结论文的研究领域（例如：“知识图谱”、“图像分类”）。- 示例：“领域”：“目标检测”
关键词	- 提供 3-5 个关键词，总结论文的内容、主题与领域。- 示例：{“关键词”：[“大选择性核网络”，“遥感目标检测”，“深度学习”]}
问题	- 描述论文重点解决的问题（例如：现有方法的不足、任务中的挑战、影响性能的因素）。- 用一句话总结（最多 50 个词）。- 示例：“问题”：“当前方法在目标检测过程中无法有效融合遥感图像中各种物体的大范围上下文信息。”
方法	- 总结论文为解决问题提出的方法（例如：模型或框架）。- 用一句话总结（最多 50 个词）。- 示例：“方法”：“本文提出了一种大选择性核网络，在特征提取骨干网络中动态调整感受野，以有效建模不同物体的上下文，提升目标检测性能。”
模型	- 说出论文提出的模型或框架的名称。- 示例：“模型”：“大选择性核网络（LSKNet）”
任务	- 明确论文所解决的任务。- 示例：“任务”：“遥感目标检测”

表 8：提取数据集、指标、结果的提示词

表格

步骤	提示词
论文筛选	- 判断文章是否提出了自己的模型并进行了测试，还是仅仅评估和比较了其他方法。- 如果文章提出了自己的模型，输出模型的名称或描述。- 如果没有，输出 “NO”。- 示例：模型：大选择性核网络（LSKNet）
表格筛选	- 识别包含所提模型在测试数据集上主要结果的表格。- 主要结果不包括消融实验或研究性实验。- 输出对应主要结果的表格编号（例如：“表 0”）。- 示例：主要结果表：表 2
数据集与指标提取	- 从主要结果表中提取实验数据集、评估指标与结果。- 确保结果来自论文提出的模型。- 格式：(数据集，指标，结果)。- 示例：(PubMedQA, 准确率，96.7%)(CIFAR-10, F1-score, 89.2%)

表 9：提取创新点的提示词

表格

实体类型	提示词
创新点	- 为解决 [任务] 中存在的 [问题]，创新性地提出了 [方法]，并取得了 [结果]。- 从之前总结提取的问题与论文引言中总结 [问题]。- 从之前总结提取的方法与论文引言中总结 [方法]。- 从之前总结提取的任务与论文引言中总结 [任务]。- 从之前总结的实验中总结 [结果]。

B.2 实体清洗与消歧

在提取论文元素的过程中，LLM 不可避免地会出现同一论文元素被不同方式描述的现象，因此需要对提取出的实体进行消歧。在所有论文元素类别中，问题、方法等类别反映了论文的独特属性，无需进行消歧。

本文首先标注一批错误示例用于训练。错误类型包括无效数据、格式错误、不够具体、信息冗余等。然后使用这些错误示例微调 XLNet，得到一个用于检测和分类错误示例的检测器。如果类别为无效数据，则删除该结果；否则，将错误结果、错误类型与原始提取提示词提供给 LLM 进行重新提取。

本文使用 K-means（Na 等，2010）进行实体消歧，将相似实体分配到同一簇中。首先对知识图谱中的实体进行抽样，使用分词器对这部分实体进行词嵌入，将其映射到同一向量空间进行聚类分析。选择频率最高的实体作为整个簇的代表实体，然后使用 LLM 将聚类结果扩展到整个知识图谱。

B.3 子图社区摘要方法

本文使用 LLM 识别问题的意图，并确定问题中涉及的几个论文元素之间的关系。具体而言，本文使用三部分提示词：待分析的问题、相关论文元素类别与示例。在确定了问题中涉及的相关元素与待查询的目标元素后，由于论文元素之间的关系存在确定的对应关系，因此无需路径检索即可直接确定相关元素与目标元素之间的对应路径。

通过路径查询得到的论文子图是所有与标题相连的目标元素节点。如果这些论文之间存在关系，则认为这些论文之间具有更深层次的相关性，可以形成一个社区。接下来，本文将问题、子图社区元素与元素相关介绍拼接起来，引导 LLM 生成子图社区的社区答案。最后，本文使用 LLM 将所有社区答案与问题同时汇总为最终的全局答案。该方法的示意图如图 4 所示。

图 4：子图社区摘要方法示意图

表 10：子图社区摘要相关提示词

表格

步骤	提示词
意图提取	- 从给定输入中提取 NLP 领域的关键实体，并将其分类为：标题、任务、领域、方法、问题、模型、数据集。- 确定问题询问的是何种问题、方法、模型、数据集、应用与研究。- 不要拆分实体或删除实体的任何部分。- 示例：实体：文本摘要（任务），控制文本摘要长度（问题）问题：方法
社区结果生成	- 使用额外的论文元素回答问题：标题：论文的标题。任务：论文的任务。领域：论文的研究领域。方法：论文的方法。问题：论文旨在解决的问题。模型：论文使用的模型。数据集：论文使用的数据集。- 确保答案简洁，不包含解释性文字。
最终结果生成	- 将提供的部分结果总结为 NLP 领域问题的整体结果。- 尽可能包含所有部分结果中的详细信息。- 优化结果以回答所提出的问题。

附录 C 示例问题

本文由三位 NLP 从业者标注了 20 个多论文问答对，并由研究团队验证了答案的准确性。本节提供了本文标注数据集中的部分问题及其标注结果示例。

1. 问题：在开放域问答领域，解决处理时间过长问题的方法有哪些？ 答案：为解决开放域问答（ODQA）领域处理时间过长的问题，研究者提出了多种解决方案，旨在加快从问题到答案的整个处理过程。在加速证据检索方面，使用层次化导航小世界图（HNSW）与近似最近邻（ANN）搜索技术，如局部敏感哈希（LSH）与倒排文件（IVF），可以快速找到与查询相似的文档，尽管这可能会牺牲一定的准确性，但极大地提升了检索效率。在加速证据阅读方面，跳读策略通过动态识别并跳过与问题相关性较低的文本块，减少不必要的计算量；而自适应计算（AC）则根据文本块的重要性动态分配计算资源，从而优化推理过程。同时，减小索引与模型的大小也是一项重要策略，可以通过学习哈希技术与乘积量化（PQ）减小索引大小，通过模型压缩与剪枝、知识蒸馏等方法减小模型大小，降低推理的计算负担。其他研究提出了单阶段框架，直接生成或检索答案，跳过证据检索与阅读过程，进一步加速处理。此外，MobileBERT 等轻量级 BERT 变体也被用于在保持性能的同时降低资源消耗。结合这些方法，通过 GPU 加速以及模型与服务的优化实现，可以进一步降低延迟。这些技术共同提升了 ODQA 系统在实时或近实时场景中的可行性与实用性。

2. 问题：在文本摘要领域，提升可解释性的方法有哪些？ 答案：在文本摘要领域，提升可解释性的方法主要聚焦于解释摘要生成过程，尤其是在生成式摘要的背景下。由于生成式摘要需要理解文本语义并生成与原文不同的新摘要，通常使用复杂的神经网络模型，这些模型因其不透明性被称为 “黑盒模型”。为解决这一问题，众多研究探索了可解释性技术，以使最终用户能够理解并信任生成过程。例如，BERT 与 T5 等预训练语言模型（PLM）被广泛应用于文本摘要任务，近年来的多项研究通过引入图神经网络主题模型与领域知识，增强了这些模型的性能与可解释性。此外，GAMI 等固有可解释模型被用于抽取式摘要，尽管它们在性能上不如现代黑盒模型，但提供了决策过程的透明度。

3. 问题：推荐系统领域结合 LLM 处理序列推荐任务的研究有哪些？ 答案：在结合 LLM 的推荐系统领域，处理序列推荐任务的研究主要聚焦于如何有效利用用户与物品的交互历史进行预测。研究者通常将用户与物品序列填入提示词中，例如 “给定用户的交互历史，预测用户接下来会交互的物品”，然后让 LLM 生成下一个物品 ID 作为预测结果。该方法利用 LLM 的语言生成能力处理序列推荐任务。为提升推理效率，研究者通常在填入物品序列前截断较早的物品，以减少输入长度。在该领域，部分研究使用 LLM 生成候选集以进行进一步筛选，另一部分研究则专注于通过 LLM 提供推荐候选。此外，还有研究通过引导 LLM 判断用户是否会喜欢某一特定物品来优化推荐质量。总体而言，这些研究探索了如何通过将用户的历史交互序列输入 LLM 来更好地利用序列信息进行序列推荐，并通过候选选择与用户偏好判断进一步优化了推荐系统的性能。

4. 问题：在自然语言处理主动学习领域，基于混合策略解决样本选择问题的方法有哪些？ 答案：在自然语言处理主动学习领域，混合策略通过结合信息性与代表性来解决样本选择问题。一种简单的组合方法是通过加权或相乘将多个准则组合成一个单一的选择准则。例如，不确定性加权聚类与基于梯度的多样性选择方法可以同时考虑不确定性与多样性。此外，多步查询策略也被广泛使用，首先根据不确定性筛选样本，然后通过聚类方法选择多样化的批量样本。另一种方法是在每个簇中选择最不确定的样本。与静态组合策略不同，动态组合方法可以根据主动学习的不同阶段灵活切换策略，例如在主动学习的早期阶段可能更偏好代表性方法，而在后期阶段则更依赖不确定性采样。DUAL 与 GraDUAL 等动态策略能够在不同阶段之间切换，以提升样本选择的效率。这些混合策略通过整合多个准则，有效提升了主动学习在不同阶段的性能。

5. 问题：在机器翻译领域，针对低资源场景通过神经网络模型解决尼日利亚语言翻译问题的方法有哪些？ 答案：在尼日利亚语言机器翻译领域，神经网络模型的应用主要通过几种方法解决低资源语言的翻译问题。首先，使用基于 Transformer 的神经机器翻译模型，该模型通过编码器 - 解码器架构与多头自注意力机制进行翻译。通过对埃多语、皮钦语等尼日利亚语言的训练研究表明，使用子词级字节对编码（BPE）与词级分词可以提升翻译质量，尤其是在数据量较大的语言中。其次，迁移学习技术被广泛应用于低资源语言的翻译任务，通过在高资源语言模型上微调多语言模型（如 mBERT 与 XLM-RoBERTa），提升豪萨语、约鲁巴语等尼日利亚语言的命名实体识别与主题分类性能。这些模型即使在少量标注数据的情况下也能取得较好的翻译效果，展示了神经网络在低资源语言机器翻译中的潜力与广阔应用前景。

6. 问题：在 LLM 去偏领域，存在哪些类型的偏见？ 答案：在 LLM 去偏领域，主要存在以下几种形式的偏见：首先是局部偏见，表现为词语与上下文之间的相关性差异，例如在性别相关句子的下一个词预测中存在性别歧视。其次是全局偏见，涉及整个文本的情感倾向，可能表现出对某一性别的偏见态度。在机器翻译中，模型在歧义情况下往往默认使用男性词汇，忽略女性形式的可能性。在信息检索中，即使查询未指定性别，模型也可能返回更多与男性相关的文档。在问答系统中，模型可能依赖刻板印象回答问题，例如将特定种族与负面行为联系起来。在自然语言推理中，模型可能依赖错误的刻板印象导致无效推理，错误判断前提与结论之间的关系。最后，在分类任务中，毒性检测模型往往将非裔美国人英语推文错误标记为负面，其频率高于标准美式英语推文。这些偏见反映了人工智能应用中性别与种族歧视的普遍性，凸显了去偏技术的重要性。

附录 D 实验细节

D.1 数据集实现

• QASPER 是一个用于科研论文问答的数据集，包含 1,585 篇 NLP 论文上的 5,049 个问题。每个问题由仅阅读了对应论文标题与摘要的 NLP 从业者编写，问题旨在获取论文全文中存在的信息。本文选择了测试集中与本文构建的知识图谱有重叠的 280 个问题。
• NLP-Paper-to-QA-Generation 从 QASPER 数据集中提取每篇 NLP 论文的摘要与引言，并仅提取标记为问答且为生成式而非抽取式的行。本文选择了测试集中与本文构建的知识图谱有重叠的 274 个问题。

D.2 基线方法实现

• GPT-4 作为纯 LLM 基线的代表进行测试，使用gpt-4-0613（Guo 等，2023）API。在两个开源数据集中，向 LLM 提供摘要与论文文本片段；在多论文问答数据集中，不提供任何内容。
• BM25 文档检索是一种概率检索方法（Peng 等，2023），基于查询 - 文档相关性对文档进行排序，平衡词频与逆文档频率。它能够有效处理不同长度的文档与查询，同时防止过度强调高频词。本文使用原始论文作为检索文档，对于每个问题查询，根据 BM25 分数检索前 k 个黄金文档上下文。
• 文本嵌入文档检索与 BM25 文档检索方法类似（Sharma 和 Kumar，2023），基于文本嵌入的文档检索方法也为每个查询识别前 k 个文档。但关键区别在于使用在文档语料库上训练的 word2vec 嵌入模型（Dai，2020）作为文档排序的基础。
• 知识增强生成（KAG）是一个结合知识图谱与检索增强生成来增强 LLM 的框架（Liang 等，2024）。与传统 RAG 主要依赖向量相似度不同，KAG 整合了结构化知识推理。纯向量相似度检索无法很好地处理需要多跳推理的问题。本文使用 Neo4j 作为知识库，使用 SiliconFlow 上的 bge-m3（Chen 等，2024）作为表示模型。本文使用所有原始论文作为语料库，并向 KAG 提供本文的知识图谱模式以进行实体与关系提取。KAG 将自动从其构建的知识图谱中检索相关实体来回答问题。
• MindMap 利用知识图谱增强 LLM 的推理能力与透明度（Wen 等，2024），该方法通过以思维导图的形式整合隐式与外部知识，使 LLM 能够理解知识图谱输入并进行推理。本文针对所使用的论文数据集修改了实体提取与问答提示词，其他部分与原论文保持一致。