System prompt是静态规则,里面放的是角色设定、目标、约束、执行流、输出格式这些东西,决定了Agent做任务时的基本边界。User prompt是用户输入的业务数据和指令。Memory分为长期和短期。短期记忆一般是session内的滑动窗口,长期记忆可以是向量库、文件、KV、关系库、图数据库、向量检索层。RAG负责检索外部文档把相关内容塞进上下文,Tools负责把工具描述、参数格式、调用结果挂载进去。Structured Output (结构化输出)就是让模型按给定结构输出内容。Token优化就是摘要压缩、历史剔除、ContextCaching,目标是在尽量不丢信息的情况下控制Token消耗。

ContextCaching(上下文缓存)是LLM服务中的一项优化技术,用来避免重复计算相同的前置内容,从而降低延迟和成本。

上下文存在边际收益递减,窗口越多≠效果越好。ContextRot,上下文腐化。上下文越长,信息越杂,模型利用上下文的稳定性就越可能变差。长上下文会增加模型筛选关键信息的难度,推理成本也会增加,但具体退化程度取决于模型本身、上下文的结构和任务类型。ContextEngineering要解决的问题不是把所有资料都塞进prompt,而是尽量提高上下文的信噪比,即删掉重复和无关信息,把关键约束放到更显眼的位置,长文档先切分、摘要或检索,把任务目标、背景、约束、输出要求分清楚,对关键事实做标记,减少模型自己猜的空间。

预检索:快、简单、链路稳定,但是容易一次性塞入噪声,运行中不够灵活,适合FAQ、固定知识库问答、稳定文档审阅。

Just-in-Time:上下文更干净,证据按需进入,但工具调用更多,延迟更高,适用代码库分析、故障排查、开放式研究。

混合策略:兼顾启动速度和运行时探索能力,但需要预算管理器和工具导航能力,适用复杂业务Agent、长任务、多源检索任务。

抵抗腐化三大武器

1.Compaction上下文状态压缩:窗口快满时压缩历史,适用需要持续对话的长流程,重点是保持上下文连贯

2.Note-taking结构化外部笔记:让Agent记笔记,适用迭代式开发、有清晰里程碑、多步推进的任务

3.Sub-agents多点架构解耦:别让一个Agent扛所有状态,适用复杂研究、需要并行探索、最终要汇总结果的任务

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐