如何利用 n8n、Groq 与学术 API 构建人工智能驱动的科研自动化系统译文

程序员小橙

95人浏览 · 2026-03-26 17:24:47

程序员小橙 · 2026-03-26 17:24:47 发布

前提条件
问题所在：研究耗时过长
技术栈
项目结构：如何以软件工程思维构建 n8n 工作流
第一阶段：集中式配置
第二阶段：并行 API 采集（含故障隔离）
第三阶段：标准化与去重（DOI 优先，标题后备）
第四阶段：AI 驱动的内容提取（严格 JSON 格式）
第五阶段：评分与综合
适合初学者的评估方法（检索与提取的质量保证）
关键经验与错误处理
结语

前提条件

阅读本文无需具备 DevOps 工程师背景，但你应具备：

对 API 和 JSON（请求/响应负载）的基本熟悉
对电子表格的熟悉（Google Sheets 基础操作）
在 n8n 的 Function/Code 节点中使用少量 JavaScript 代码的意愿

需获取以下资源：

一个 n8n 实例（自托管或云端版本）
一个 Groq API 密钥（或兼容的大语言模型提供商）
可选的 API 密钥，具体取决于你所使用的数据库

本项目构建内容基于以下假设：

你将基于元数据和摘要进行提取（而非下载完整的 PDF 文档）。
你能够接受某些数据源偶尔会出现限速或返回部分结果的情况（且你的工作流设计将具备应对此类情况的能力）。

问题所在：研究耗时过长

手动研究往往成为创新的瓶颈。在构建此自动化系统之前，我的工作流程涉及检索多个学术数据库、浏览摘要以及手动提取关键发现。这一过程不仅缓慢，而且容易产生人为错误，导致笔记记录缺乏一致性。

此自动化系统的目标是提供一个“全栈研究助理”，由其承担收集候选论文、去重、提取一致性字段、评估相关性与质量等繁重工作，并交付精选的日报或周报，从而使你能将时间投入到高层次的综合分析中，而非消耗在重复性的采集工作上。

技术栈

本工作流综合利用了自动化工具、高速大语言模型（LLM）推理以及学术元数据提供商的服务。

工具	用途
n8n	编排所有步骤的工作流引擎
Groq	运行快速大语言模型（例如 Llama 3.3 70B）以进行结构化提取与综合
Semantic Scholar / OpenAlex	提供元数据、摘要及引文的广泛学术覆盖
arXiv / PubMed	强大的专业领域覆盖（预印本、生命科学）
Google Sheets	用于存储与历史记录的轻量级“研究数据库”

注意： 覆盖范围因提供商而异。部分 API 能稳定返回摘要，而其他 API 可能会省略。你的流水线应将摘要缺失视为正常情况，而非系统故障。

项目结构：如何以软件工程思维构建 n8n 工作流

尽管 n8n 是一款可视化工具，但将工作流设计为模块化阶段有助于避免“意大利面条式工作流（spaghetti workflow）”问题。

复制

.
├── configuration/         # 关键词、阈值、限制、日期过滤器
├── collectors/            # 并行 HTTP 请求节点（多数据源）
├── processing/            # 标准化 + 去重代码节点
├── extraction/            # LLM 提取节点（严格 JSON 格式）
├── scoring/               # 相关性 + 质量评分 + 过滤
└── delivery/              # Google Sheets + 电子邮件/HTML 报告

设计原则： 每个阶段均应产生整洁、可预测的输出结构，以供下一阶段依赖。

第一阶段：集中式配置

与其在多个节点中硬编码检索参数（关键词、最小年份、引用阈值），不如使用一个配置节点来定义工作流变量。

这对可维护性（只需更改一次数值，而非十个节点）、可复用性（通过替换一个配置对象即可复用整条流水线）和可调试性（在每次运行开始时记录配置，以便复现结果）至关重要。

使用一个 Set 节点，或一个返回如下 JSON 的 Code 节点：

{
  "keywords": "circular economy battery recycling remanufacturing",
  "min_year": 2020,
  "max_results_per_source": 10,
  "min_citations": 2,
  "relevance_threshold": 15,
  "batch_size": 10
}

提示： 将数值字段保持为数字类型（而非字符串），以避免后续出现评分错误。

第二阶段：并行 API 采集（含故障隔离）

你的工作流应同时查询多个数据源。在 n8n 中，你可以从配置节点分叉出多个 HTTP Request 节点，随后合并结果。

此处的生产环境思维很简单：API 会失败。速率限制会发生。提供商会返回部分数据。关键在于防止一个采集器的失败导致整个运行崩溃。

为实现这一点，在每个 HTTP Request 节点上启用 Continue On Fail（或等效的“不停止工作流”行为）。然后，在标准化阶段，将缺失或失败的输出视为空数组，以便下游阶段仍能运行。

在实践中，设置显式超时并添加少量重试策略（一至两次重试）以应对暂时性故障也很有帮助。“良好”的表现应是：如果五个来源中有两个失败，你仍能从剩余的三个来源生成有用的报告，并记录哪些来源失败以便后续调查。

第三阶段：标准化与去重（DOI 优先，标题后备）

每个学术 API 返回的字段名称和结构各不相同。一个可能使用 title，另一个使用 display_name，还有一个使用 paper_title。下一阶段应将所有输入标准化为同一模式。

目标标准化模式

以下是一个简单的基准模式（可根据需要稍后扩展）：

{
  "title": "string",
  "abstract": "string|null",
  "doi": "string|null",
  "year": 2024,
  "citations": 12,
  "url": "string|null",
  "source": "Semantic Scholar|OpenAlex|arXiv|PubMed"
}

基于 DOI 去重的含义（以及 DOI 是什么）

DOI（数字对象标识符）是分配给许多学术出版物的唯一持久标识符。如果一篇论文有 DOI，该 DOI 就像是一个稳定的 ID：同一篇论文可能出现在多个数据库中，元数据略有不同，但 DOI 应保持一致。

因此，基于 DOI 去重意味着：如果两条记录拥有相同的 DOI，则将其视为同一篇论文，仅保留一条。

当 DOI 缺失时（这对于某些预印本和某些 API 响应很常见），后备方案是使用标准化的标题键进行去重，即小写化、去首尾空格、去除标点符号并合并空白字符。这不如基于 DOI 的匹配完美，但却是一个强有力的务实后备方案。

“标准化为统一对象”的含义（代码中发生了什么）

“标准化为统一对象”仅仅意味着将每个提供商的原始响应转换为相同的可预测结构（即上述模式）。一旦所有内容看起来一致，去重、评分、AI 提取和存储等下游步骤就变得直截了当，因为它们不需要针对特定提供商的逻辑。

在下面的代码中，normalized 对象的作用就在于此：它将 Semantic Scholar 的字段（paper.title、paper.externalIds.DOI、paper.citationCount）映射到你的标准字段（title、doi、citations 等）。之后，工作流生成一个去重键（如果 DOI 存在则为 doi:...，否则为 title:...），并使用 Set 节点仅保留首次出现的记录。

示例 n8n Code 节点（标准化 + 去重模式）

const itemsIn = $input.all();

const seen = new Set();
const results = [];

function titleKey(t) {
  return (t || "")
    .toLowerCase()
    .replace(/[\W_]+/g, " ")
    .replace(/\s+/g, " ")
    .trim();
}

for (const item of itemsIn) {
  // 示例：Semantic Scholar 响应结构
  const papers = item.json?.data || [];

  for (const paper of papers) {
    // "标准化为统一对象"：
    // 获取特定于提供商的字段，并将其映射到我们的标准模式。
    const normalized = {
      title: paper.title || null,
      abstract: paper.abstract || null,
      doi: paper.externalIds?.DOI || null,
      year: paper.year || null,
      citations: paper.citationCount || 0,
      url: paper.url || null,
      source: "Semantic Scholar",
    };

    if (!normalized.title) continue;

    // 去重键：DOI 最强；标题作为后备
    const key = normalized.doi
      ? `doi:${normalized.doi.toLowerCase()}`
      : `title:${titleKey(normalized.title)}`;

    if (seen.has(key)) continue;
    seen.add(key);

    results.push(normalized);
  }
}

return results.map(r => ({ json: r }));

面向生产环境的提示： 保留类似 source 的字段，以便你后续调试错误元数据的来源。

第四阶段：AI 驱动的内容提取（严格 JSON）

一旦获得了去重后的论文列表，你可以将每篇论文（或小批量）发送给 Groq 进行结构化提取。

为何结构化输出至关重要

如果你的 LLM 返回叙述性文本而非 JSON、遗漏字段或发出格式错误的 JSON，你的工作流将在下游中断。在生产工作流中，这并非罕见的边缘情况；而是你应当预期并设计应对措施的情况。

这就是为什么要使用严格的模式提示并在下游验证响应。

系统提示词与用户提示词（以及如何组合它们）

在生产环境中思考提示词的一种有益方式是：

系统提示词定义不可协商的契约：输出格式、允许的键、无注释以及在不确定情况下的处理方式。这是你声明“仅返回有效 JSON”和“无额外键”的地方。
用户提示词提供此特定请求的可变数据：标题、年份、引用数、摘要以及你希望填充的确切模式。

以这种方式组合，它们可保持工作流的稳定性。系统提示词基本保持不变（你的格式契约），而用户提示词随每篇论文变化（你的负载）。这也使调试更容易：如果输出开始失败，你可以调整系统约束，而无需重写每个负载模板。

建议的提取模式

仅提取你可以从摘要级别数据中支持的内容：

research_question（研究问题）
methodology（方法论）
key_findings（关键发现）
limitations（局限性）
notes（注释，用于摘要缺失/模糊的情况）

示例提示词（系统 + 用户）

System:

你是一个研究提取引擎。你必须仅返回有效的 JSON。
不要包含 markdown。不要包含额外的键。不要包含评论。
如果摘要缺失或过于模糊，请将字段设置为 null，并在 "notes" 中说明原因。

User:

从这篇论文中提取结构化字段。

TITLE: {{title}}
YEAR: {{year}}
CITATIONS: {{citations}}
ABSTRACT: {{abstract}}

返回包含以下键的 JSON：
research_question (string|null)
methodology (string|null)
key_findings (array of strings)
limitations (array of strings)
notes (string)

模型设置： 保持较低的温度（约 0.2–0.3），并保持响应简短且结构化。

批处理以避免超时

不要一次发送 50 篇论文，而是分批处理（例如 10 篇）。这能减少延迟峰值、故障影响范围和成本意外。较小的批次也使得仅重试失败的块而非重新运行所有内容变得更加容易。

第五阶段：评分与综合

并非每篇检索到的论文都值得你花费时间。如果没有评分，你的流水线就会变成数据洪流：你已经自动化了采集，但仍需手动决定阅读内容。评分正是将“庞大的结果列表”转化为你可以信任的精选短名单的关键。

我建议计算两个信号：

相关性：这是否确实关乎你的研究问题？
质量/优先级：如果相关，是否值得优先阅读？

对于相关性，保持简单且可解释。计算标题和摘要中关键词的命中次数（以及可选的提取出的 key_findings 中的次数）。标题匹配应赋予更高权重，因为标题是经过精心设计的简短摘要。摘要匹配也很有用，但应设置上限，以免长摘要主导评分。

对于质量/优先级，使用你已有的轻量级元数据。时效性在快速发展的领域中是一个强信号，引用数也有帮助，但应将其视为弱信号（并设置上限），以免新的高价值论文受到不公平的惩罚。

一个稳健的初步评分模型是：加上标题奖励分，加上设限的摘要奖励分，加上设限的引用数奖励分，并为过去两年的论文加上少量时效性奖励分。然后使用第一阶段的 relevance_threshold 结果进行过滤。这种方法的优势在于易于调试和调优：你始终可以解释为何某篇论文通过或未通过筛选。

一旦过滤出你的“黄金”精选集，综合工作变得更安全、更有用。将每篇录用的论文在 Google Sheets 中写入一行，然后生成日报/周报 HTML 摘要（例如，前 5 篇论文及其 1-2 个关键发现），并包含链接以便你快速核实。

适合初学者的评估方法（检索与提取的质量保证）

AI 工作流往往会悄然发生退化。提示词的微调、模型的更新或 API 架构的变更，都可能导致提取功能损坏，且不抛出明显的错误。添加轻量级评估，是区分“上周还能用”与“系统可靠”的关键所在。

此处的目标并非构建一个完整的评估框架，而是添加小型、低成本的检查机制，以捕获最常见的故障模式：

采集器是否仍在返回结果？
我们是否确实移除了重复项？
LLM 是否返回了包含所需键值的有效 JSON？

在 n8n 中的具体实现形式（示例）

一种简单的实现方式是在提取步骤之后立即添加一个“断言”代码节点，并可选择在标准化/去重之后添加另一个。

宏观层面，该工作流部分如下所示：

采集器（并行 HTTP Request 节点）
合并结果
标准化 + 去重（Code 节点）
批量拆分（可选）
LLM 提取（Groq/OpenAI 兼容节点）
断言（Code 节点）
If 节点（通过/失败）
交付（Sheets + 电子邮件）

示例：提取后的断言代码节点

该代码节点假设每一项都是一篇论文，包含：

标准化字段中的 title（标题）和 abstract（摘要），以及
一个 extraction 字段（或你命名的任何名称），包含作为对象或 JSON 字符串的 LLM 响应。

请调整字段名称以匹配你的实际节点输出，但模式相同：解析、验证必需键、计算百分比，然后决定失败或警告。

const items = $input.all();

let total = items.length;
let withTitle = 0;
let withAbstract = 0;

let parseOk = 0;
let schemaOk = 0;

const requiredKeys = [
  "research_question",
  "methodology",
  "key_findings",
  "limitations",
  "notes",
];

const failures = [];

for (let i = 0; i < items.length; i++) {
  const p = items[i].json;

  if (p.title && String(p.title).trim().length > 0) withTitle++;
  if (p.abstract && String(p.abstract).trim().length > 0) withAbstract++;

  // 根据您存储模型输出的位置进行调整：
  const raw = p.extraction ?? p.llm ?? p.model_output;

  let obj = null;
  try {
    obj = typeof raw === "string" ? JSON.parse(raw) : raw;
    parseOk++;
  } catch (e) {
    failures.push({ index: i, title: p.title || null, reason: "JSON parse failed" });
    continue;
  }

  const hasAllKeys = requiredKeys.every(k => Object.prototype.hasOwnProperty.call(obj, k));
  if (!hasAllKeys) {
    failures.push({ index: i, title: p.title || null, reason: "Missing required keys" });
    continue;
  }

  // 可选：确保数组类型正确
  const arraysOk = Array.isArray(obj.key_findings) && Array.isArray(obj.limitations);
  if (!arraysOk) {
    failures.push({ index: i, title: p.title || null, reason: "key_findings/limitations not arrays" });
    continue;
  }

  schemaOk++;
}

const pct = (n) => (total === 0 ? 0 : Math.round((n / total) * 100));

const report = {
  total_papers: total,
  pct_with_title: pct(withTitle),
  pct_with_abstract: pct(withAbstract),
  pct_extraction_json_parse_ok: pct(parseOk),
  pct_extraction_schema_ok: pct(schemaOk),
  failures_sample: failures.slice(0, 5),
};

// 决定通过/失败的阈值
const HARD_FAIL_PARSE_BELOW = 90;
const HARD_FAIL_SCHEMA_BELOW = 85;

const shouldFail =
  report.pct_extraction_json_parse_ok < HARD_FAIL_PARSE_BELOW ||
  report.pct_extraction_schema_ok < HARD_FAIL_SCHEMA_BELOW;

return [
  {
    json: {
      eval_report: report,
      shouldFail,
    },
  },
];

然后添加一个 If 节点：