诸神缄默不语-个人技术博文与视频目录
诸神缄默不语的论文阅读笔记和分类

1. 论文简介

论文全名:Evaluating AGENTS.md: Are Repository-Level Context Files Helpful for Coding Agents?

论文下载地址:https://arxiv.org/abs/2602.11988

论文最新修改日期:2026.2.12

作者来自苏黎世联邦理工学院和LogicStar.ai

核心结论:LLM生成的AGENTS.md(仓库级上下文规则文件)反而会降低AI编程智能体的生成效果,人工编写的AGENTS.md能够带来少量效果提升,但成本会大幅增加。因此,现阶段建议只通过人工编写必要的AGENTS.md(如特定工具的使用说明)。

2. AGENTS.md

本文提到的AGENTS.md泛指各种仓库级上下文规则文件,不管它叫AGENTS.md、CLAUDE.md还是rules.md。

AGENTS.md是一个markdown语言编写的项目文档,主要用于给 AI 编程 Agent 提供项目说明和操作规则。是给AI读的。

一般放在项目根目录下。

内容可以包括:

  • 项目怎么运行
  • 如何构建和测试
  • 代码风格和规范
  • 提交代码时的规则
  • 不允许做的事情

如:

  • 项目环境
    • Node / Python / Java 版本
    • 框架版本
  • 开发命令
    • 安装依赖
    • 启动服务
    • 构建项目
  • 测试流程
    • 单元测试命令
    • CI 流程
  • 代码规范
    • 是否使用 semicolon
    • lint 规则
    • 格式化方式
  • PR / Git 规则
    • commit message 规范
    • PR 流程
  • 特殊限制
    • 哪些目录不能修改
    • 哪些文件必须更新

示例:

# AGENTS.md

## Environment
Python 3.11
FastAPI
Poetry

## Setup
poetry install

## Run server
poetry run uvicorn app.main:app --reload

## Tests
pytest

## Code Style
- black formatter
- line length 88
- use type hints

Trae CN中可以自建rules.md,也可以引入AGENTS.md/CLAUDE.md。就在设置 - 规则与技能中,上面是引入AGENTS.md/CLAUDE.md,中间的“个人规则”是整个电脑下所有Trae CN都会共享的全局配置,下面的“项目规则”则与AGENTS.md更类似,是本项目下的上下文规则文件:
Trae CN规则和技能

3. 论文构建思路

故事线

现在AGENTS.md很火,但是还没有研究去验证它的实际效果。本文验证了“LLM生成AGENTS.md”(通过/init生成)和“手工编写AGENTS.md”两种方式的效果,包括对任务成功率、完成任务的成本(执行调用工具的步骤数和token消耗账单)、测试深度的影响。

数据集

  • SWE-BENCH LITE:无AGENTS.md
  • (新建)AGENTBENCH:有AGENTS.md,任务是根据PR描述生成代码

实验用的agent和模型

  • Claude Code + Sonnet-4.5
  • Codex + GPT-5.2 / GPT-5.1 Mini
  • Qwen Code + Qwen3-30B-Coder

实验结论

  • LLM生成的上下文文件(包括更换模型、更换提示词模版时)没有稳定提高准确率,同时增加超过20%的推理成本
  • 开发者编写的上下文文件仅带来4%的边际性能提升,但同样显著增加成本;
  • 但是在缺乏文档的仓库中,LLM生成的AGENTS.md提升了生成效果
  • 写入指定工具是有用的(如uv在文件中被提及时代理使用次数从<0.01次增至1.6次)(我在这里说一下,我就在上下文规则里强调了要用uv,还是有用的)
  • 但写入指定文件没用
  • 上下文文件中的冗余指令和过度要求反而增加了任务复杂度,导致智能体需要更多推理 token 和探索步骤。

参考资料

参考了papers.cool的论文解读和ChatGPT对AGENTS.md的解读

在这里插入图片描述

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐