合格的评分标准(rubrics)
 一、什么是“合格的 rubrics”?
它能够确保:根据考生书写的内容,可以稳定地生成一个理想的回复。  
也就是说,评分标准要清晰、可操作,让不同评阅人看到同一份答案时,能得出基本一致的判断。
 要写好这样一份 rubrics,需要重点做三件事:
1. 列出关键事项(标题) —— 要回答好这个需求,必须做哪几件事?  
2. 明确每件事的具体内容和达标程度 —— 每件事包含哪些要点?每个要点做到什么程度才算合格?  
3. 按照下面的原则去撰写要点并分配权重。
二、需求分析
在写 rubrics 之前,先分析 prompt(题目或需求):
- 这个 prompt 包含了哪些核心需求?
- 这些需求的本质是什么?
- 用户(或出题人)真正想要的是什么?
只有把需求挖透,后续的要点才不会跑偏。
 三、要点撰写 —— 核心原则
写出的每一条 rubrics 应该是事实点(用来判断考生是否做到了某件事),而不是要求(如“考生应当…”)。  
具体要求如下:
| 原则 | 解释 |
| 一条 rubrics 只含一个核心判定点 | 避免把多个并列要求(如“逻辑清晰且数据准确”)或两层以上逻辑(如“如果A则B,否则C”)堆在一起 |
| 要点必须充分且不重复 | 所有与满足需求相关的要点都要覆盖到;内容不要重复;主观性强的考察点尽量少用 |
| 边界清晰,相互独立 | 每条 rubrics 的考察范围与判定要点不能和其他条有含义重复或判定交叉 |
 例如:  
错误写法:“能正确计算利润并写出分析建议” → 包含两个不同能力。  
 正确写法:  
 条目1:利润计算过程正确  
 条目2:基于利润结果提出了两条以上的合理建议
 四、权重分类 —— 价值排序与评估指引
把考点按照对整体价值的影响程度分成六个类别,用于指导打分和优化。
| 分类 | 说明 | 对评分的影响 |
| 要点 | 回答的必要信息。包含主需信息、必要的推理过程、关键步骤、关键补充说明或论证深度。 | 遗漏/答错 → 直接不可用,劝退 |
| 重要点 | 重要性稍低于要点。是对要点的细化拆分,或对要点中重要内容的强调。 | 漏掉会明显扣分,但不一定直接判零 |
| 附加点 | 满足主需之后的其他增益内容,如拓展分析、例子、对比等。 | 加分项,没有不扣分 |
| 雷区 | 模型一旦出现这种情况,直接给0分,不管其他部分答得多好。 | 一票否决 |
| 一级误区 | 影响主需满足程度的错误情况。 | 严重扣分,可能导致不可用 |
| 二级误区 | 数量少时不影响可用;出现多了会导致回复不可用,但不会直接一票否决。例如次要事实的错误。 | 按数量累计扣分,超过阈值则不可用 |

 五、总结:如何实际应用这套标准?
1. 拿到一个题目 → 先做需求分析,提炼核心需求本质。  
2. 列出要答好题目必须做的几件事(标题级)。  
3. 针对每件事写出若干条 rubrics,每条只测一个判定点,互不重复、边界清晰。  
4. 给每条 rubrics 打上权重标签(要点/重要点/附加点/雷区/一级误区/二级误区)。  
5. 评分时:  
   - 先扫雷区,有雷区直接0分;  
   - 再看要点,缺要点直接劝退;  
   - 然后查重要点、二级误区;  
   - 最后看附加点决定是否给高分。

示例
题目信息 rubrics撰写
prompt 标题 重要性分类 要点 考察原因 参考信源
硫化汞的性质 介绍硫化汞的熔点 必要点 给出硫化汞的熔点为583.5℃或584 ℃(升华) 熔点是硫化汞核心物理性质之一,这是回答prompt的必要信息 claim:硫化汞的熔点
url:https://baike.baidu.com/item/%E7%A1%AB%E5%8C%96%E6%B1%9E/2692614
介绍硫化汞的密度 必要点 给出硫化汞密度为8.1 g/cm³ 密度是硫化汞核心物理性质之一,并且密度也是介绍物质性质的必要信息之一 claim:硫化汞的密度
url:https://baike.baidu.com/item/%E7%A1%AB%E5%8C%96%E6%B1%9E/2692614
介绍硫化汞的外观 必要点 硫化汞的外观为红色六方(或粉末)和黑色立方(或无定形粉末),在自然界中呈红褐色。 外观是硫化汞辨别方式,通过视觉观测就能直观观测到硫化汞。 claim:硫化汞的外观
url: https://baike.baidu.com/item/%E7%A1%AB%E5%8C%96%E6%B1%9E/2692614
给到硫化汞的毒性 必要点 给到硫化汞的毒性,示例:硫化汞会刺激眼睛,吸入、皮肤接触和不慎吞咽有毒。硫化汞对水生生物极毒;或 指出硫化汞有毒,说明汞和汞盐都有很大毒性,主要是汞离子有毒。 硫化汞的毒性非常强,因此在介绍硫化汞的性质时需要单独提出来,且是一个必要信息 claim:硫化汞的毒性
locator:网页的安全信息栏
url:https://baike.baidu.com/item/%E7%A1%AB%E5%8C%96%E6%B1%9E/2692614
介绍硫化汞的溶解性 必要点 给出硫化汞难溶于水;溶于硫化钠溶液、王水,不溶于硝酸、盐酸。 溶解性是硫化汞重要的理化性质之一,这是介绍硫化汞性质的核心点所必须的 claim:硫化汞理化性质
url:https://baike.baidu.com/item/%E7%A1%AB%E5%8C%96%E6%B1%9E/2692614
介绍硫化汞的稳定性 重要点 指出硫化汞具有高度稳定性 硫化汞的稳定性是重要的理化性质之一 claim:硫化汞的稳定性
url:https://www.chemicalbook.com/ProductChemicalPropertiesCB6173856.htm
介绍硫化汞的氧化还原性 重要点 介绍硫化汞的氧化还原性
示例:硫化汞在与一些具有强氧化性或强还原性的物质接触时,会发生氧化还原反应。例如,与过氧化氢(H₂O₂)等氧化剂接触时,硫化汞中的硫离子可能被氧化,反应式可能为:HgS + 4H₂O₂ → HgSO₄ + 4H₂O。在这个反应中,过氧化氢将硫离子从 - 2 价氧化到 + 6 价,形成硫酸根离子。而在与一些金属还原剂如锌粉等接触时,汞离子可能被还原成汞单质,反应式如:HgS + Zn → Hg + ZnS。(无需完全一致,意思相同即可)
硫化汞的氧化还原性是重要理化性质之一 claim:硫化汞的氧化还原性
url:https://www.chemicalbook.com/ProductChemicalPropertiesCB6173856.htm
给到硫化汞的化学式 附加点 给出硫化汞的化学式为HgS 硫化汞的化学式可以作为回复的补充增益性信息 claim:硫化汞的化学式
url:https://baike.baidu.com/item/%E7%A1%AB%E5%8C%96%E6%B1%9E/2692614
给到硫化汞的用途 附加点 指出硫化汞具有广泛的应用场景,并给出其多种用途。
示例(列举不全,仅供参考):
1.用作黑色颜料:其黑色的外观,硫化汞广泛应用于油墨、塑料、橡胶和染料等领域。
2.用于电池:硫化汞曾用于某些电池类型中,如用于温度传感器和医疗设备中的汞电池。
3.用于化学分析:硫化汞可作为一种重要的反应试剂,用于检测和分离其他物质,如金属离子和硫化物。
硫化汞的用途可以作为回复的补充增益性信息 claim:硫化汞的用途
url:https://baike.baidu.com/item/%E7%A1%AB%E5%8C%96%E6%B1%9E/2692615
Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐