我把Prompt迭代了20+版，才搞明白AI论文速读的坑有多深

第一次深度做Prompt Engineering。
以为写prompt就是"把需求说清楚"，结果从V1到V3迭代了20多版，踩过的坑比写过的prompt还多。
这篇文章不聊产品，不聊创业，只聊一件事：一个论文速读工具的prompt，到底怎么从"能跑"调到"能用"。

---

一、V1：以为prompt就是写需求文档

最开始我把prompt当需求文档写——把要求说清楚，AI就该输出想要的结果。

V1大概长这样：

你是一个学术论文分析助手。请阅读以下论文，从以下四个维度输出总结：
1. 学科领域：论文所属的学科方向
2. 研究方法：论文使用的研究方法
3. 核心发现：论文的核心发现
4. 可重现指标：论文的可复现性评估
请确保输出简洁、准确、学术严谨。

该说的都说了，输出一塌糊涂。三个致命问题：

学科领域变成复读机。 “Attention Is All You Need"输出"深度学习”——看似正确，但模糊到等于没说。深度学习的什么方向？NLP？CV？对决策来说，"深度学习"和"计算机视觉/目标检测"的信息量完全不同。

核心发现和方法混淆。 输出"提出了一种新的注意力机制"——这是方法，不是发现。发现应该是"该机制在长序列任务上比标准注意力提升X%，计算开销增加Y%"。

可重现指标形同虚设。 永远输出"代码未开源，可复现性一般"。论文明明开源了代码、数据集、训练脚本，依然被判"一般"——因为prompt没告诉AI该检查什么。

根本原因：不是AI能力不够，是我没想清楚每个维度要什么。 prompt说"学科领域"，AI按最宽泛理解输出；说"核心发现"，AI把方法当发现——不是AI理解错了，是指令本身不精确。

核心认知：prompt不是需求文档，是精确的行为规约。 需求文档可以模糊，行为规约必须消除歧义，因为每次"猜错"都是输出灾难。

---

二、V2：过度约束——从"太自由"到"太死板"

V1的问题让我第一反应是：加约束。学科领域定义枚举值，核心发现规定输出模板，可重现指标列checklist。V2节选：

## 学科领域
请从以下层级选择最匹配的：
一级学科：计算机科学 / 生物学 / 物理学 / ...
二级学科：NLP / CV / 机器人 / ...

## 核心发现
请按模板输出："在[条件]下，[方法]相比[基线]取得了[效果]"

## 可重现指标
- 代码开源：是/否
- 数据集公开：是/否
- 综合评估：高/中/低

看起来严谨？实际一塌糊涂。

枚举变枷锁。 一篇用GNN做药物发现的论文，二级学科该选"图神经网络"还是"计算生物学"？AI找不到完全匹配的，硬塞一个比V1的模糊输出还误导。交叉方向不在枚举里，只能选"最接近的"。

模板变填空题。 “在[条件]下，[方法]相比[基线]取得了[效果]”——综述论文的核心发现是"该领域趋势从X转向Y"，不是对比实验；理论论文的核心发现是"证明了XX条件下YY不等式成立"，没有基线。AI为填模板生造基线或硬套格式，输出机械且失真。

Checkbox面对灰度失真。 代码开源了但只有推理代码，算"是"还是"否"？数据集公开但审批周期6个月，算"是"还是"否"？二元判断面对真实世界灰度，失真严重。

V2教训：约束不是越多越好，过度约束让AI从"理解任务"退化为"填表格"。 好的prompt告诉AI"我要什么"和"边界在哪"，而不是"你必须怎么说"。

前端类比：V1像没有!important——样式冲突布局混乱；V2像到处!important——每个元素有明确样式但失去灵活性。好的CSS是合理利用优先级和继承，好的prompt是在约束和灵活性间找平衡。

---

三、V3：结构化框架+灵活表达

核心思路转变：不规定"怎么说"，只规定"说什么"和"不说什么"。 每个维度从"输出模板"变成"判定标准+约束条件+示例"三件套。

学科领域：从枚举到层级约束

## 学科领域
判定标准：精确到核心研究问题所属领域，而非使用的技术手段。

约束条件：
- 必须包含一级学科和具体研究方向
- 跨领域论文优先选择核心贡献领域，次要领域用"（涉及XX）"补充
- 不要仅凭技术推断领域（使用深度学习≠属于深度学习领域）

示例：
✓ 计算机科学 > 计算生物学 > 蛋白质结构预测
✓ 生物医学 > 流行病学 > 传染病建模（涉及深度学习）
✗ 深度学习（过于宽泛）

关键：不告诉AI"从选项里选"，告诉它"什么样的输出是好的"。 示例比枚举灵活——枚举定义封闭集，示例定义开放标准。

核心发现：从模板到判定框架

## 核心发现
判定标准：核心发现不是"做了什么"，而是"发现了什么"。
- "提出了一种新方法" → 方法，不是发现
- "新方法在XX上比基线提升12%" → 发现
- "证明了XX条件下YY成立" → 发现

约束条件：
- 必须包含效果/结论，不能只说"提出了""研究了"
- 有量化结果时必须包含数值和对比条件
- 理论/综述类用一句话概括核心洞察
- 不要编造论文中未给出的数值

技巧：用对比示例显式区分易混淆概念。 "提出了一种新方法"vs"新方法比基线提升12%"的对比，比写三段文字解释"发现和方法的区别"有效得多。AI对对比示例的服从度远高于抽象描述。

可重现指标：从checkbox到灰度判断

## 可重现指标
请从以下方面用一句话综合描述可复现性：
- 代码与数据开源程度（仅推理/含训练/完整pipeline）
- 关键超参数完整性
- 实验设置可追溯性
- 外部依赖（私有数据/闭源工具/特殊硬件）

综合评估：高/中/低
判断依据：[一句话说明理由]

“代码部分开源（仅推理）“和"代码完全开源含训练脚本”，V2里都是"是”，V3产生不同描述。灰度信息比二元判断更有决策价值。

---

四、学术严谨性 vs 可读性

学术表达：“所提方法在GLUE基准上相较于BERT-base取得平均2.3个百分点提升，其中SST-2和MNLI提升显著（+3.8/+3.1），CoLA和MRPC未见显著差异（p>0.05）。”

可读性表达：“该方法在通用语言理解任务上比BERT提升2.3%，情感分析和推理任务提升明显，语法和相似度任务持平。”

做NLP的人能看懂前者，做推荐系统的不知道GLUE是什么。但"通用语言理解任务"是GLUE的通俗说法，精度有损失——对"判断值不值得精读"来说，这个损失可接受。

策略：关键数值保留原文精度，术语允许通俗化。 这条规则本身就是学术性和可读性的平衡点。前端渐进式披露思维在此帮了大忙——默认展示可读版本，详细版本按需展开，和组件设计逻辑一致。

---

五、PDF解析：比prompt更头疼的问题

Prompt调好了，喂给AI的"原料"经常是歪的。论文PDF解析的典型坑：

双栏乱序。 解析器从左到右逐行读，左栏第一行接右栏第一行，整篇文章变成乱炖。解法： 利用PDF页面几何信息（文本块x坐标和宽度）识别栏位，按栏位重组文本，解决80%乱序问题。

公式变乱码。 数学公式解析后变成部分Unicode符号或完全丢失，核心推导过程不可读，AI对核心发现的判断直接降级。解法： 在prompt中兜底——“文本可能存在解析错误，请基于可理解部分分析，无法理解的部分标注[解析异常]”。

图表错位。 caption被解析到离图很远的位置，甚至和正文混在一起。解法： 在关键位置插入语义标记[ABSTRACT]、[METHOD]、[RESULTS]，给AI一个结构目录而非让它大海捞针。

反直觉发现：花在PDF预处理上的时间，ROI比花在prompt调优上高。 同样的V3 prompt，预处理文本vs原始解析文本，输出质量差距30%以上。Prompt决定AI"怎么想"，输入决定AI"能想什么"——垃圾进垃圾出，铁律。

---

六、结构化 vs 自然语言：选了半结构化

纯JSON信息压缩过度——{"reproducibility": "medium"}丢失灰度信息。纯自然语言不可控——有时一段话有时三段话。

最终选了半结构化：结构化标签+自然语言描述。

{
  "field": {
    "path": "计算机科学 > 计算生物学 > 蛋白质结构预测",
    "note": "使用图神经网络预测蛋白质三维结构，核心贡献在计算生物学领域"
  },
  "reproducibility": {
    "level": "medium",
    "summary": "代码部分开源（仅推理），数据集公开但需申请，训练参数在补充材料中完整给出"
  }
}

path和level结构化，前端用来筛选排序；note和summary自然语言，保留灰度信息。结构化解决"能不能用"，自然语言解决"好不好用"。 这和前端状态管理一个思路——组件需要确定性props渲染，用户需要灵活内容理解。

---

七、前端人做Prompt工程的独特优势

迭代20多版后，发现前端经验和prompt工程有很多思维同构：

交互经验 = 用户意图理解。 前端核心能力不是写代码，是理解用户怎么用界面。这种用户视角直接迁移为：AI输出给谁看？什么场景看？需要什么信息决策？我做prompt时每个维度的判定标准从用户决策场景倒推，和做前端从用户流程倒推组件设计一个思路。

组件化 = prompt模块化。 四个维度各有独立判定标准，但共享通用规则。把通用规则抽成基础prompt，维度各做子prompt，改一个不动其他——和前端组件化维护逻辑完全一致。

边界条件处理 = 异常case兜底。 前端最怕边界条件崩掉——空状态、超长文本、异常字符。prompt也一样——综述、理论、数据集论文等"非典型论文"容易输出异常，预设处理规则和写边界判断逻辑一致。

---

八、6条Prompt调优方法论

1. 先定义"好输出"再写prompt。 收集5-10篇不同类型论文，手动写期望输出，分析背后的共同规则。这些规则才是prompt素材——不是直觉，是验证过的标准。

2. 对比示例比抽象描述有效10倍。 “核心发现不是方法"写三遍不如一个对比：“提出了一种新方法”（✗）vs"新方法比基线提升12%”（✓）。AI对具体示例的服从度远高于抽象规则。

3. 过度约束比约束不足更危险。 约束不足至少能看到AI理解了什么；过度约束输出格式正确但内容失真，更难发现问题。从松到紧逐步加约束，别一上来就锁死。

4. 输入质量是输出质量的天花板。 花30%时间优化输入（PDF解析、预处理、结构标记），比100%时间优化prompt的ROI高。Prompt不能拯救垃圾输入。

5. 每次只改一个变量。 同时改三个地方，出问题不知哪个导致。维护prompt变更日志，每次只调一个维度或一条规则。

6. 建立回归测试集。 选10篇不同类型论文（实证/理论/综述/工具/数据集），每次prompt变更后跑一遍，看整体效果升还是降——和前端回归测试一个逻辑。

---

写在最后

从V1的"能跑就行"，到V2的"过度约束"，到V3的"框架约束+灵活表达"——prompt迭代本质是从"我想要什么"到"怎么让AI稳定地给出来"的认知深化。

最大体会：Prompt Engineering的核心不是"写指令"的能力，是"想清楚"的能力。 每个维度要什么、不要什么、边界在哪、异常怎么处理——这些想清楚了，写prompt反而是最简单的部分。而"想清楚"这件事，恰恰是做产品、做交互、做前端时一直在练的基本功。

产品地址：https://www.tldrscholar.cn

---

#PromptEngineering #AI产品 #论文速读 #大模型应用 #独立开发