来源：https://www.ncsc.govt.nz/assets/guidance/Documents/Careful-adoption-of-agentic-AI-services_FINAL.pdf

谨慎采用代理式人工智能服务

目录

引言 4
范围和受众 4
什么是代理式 AI？ 5
它与生成式 AI 有何不同？ 5
更广泛的代理式 AI 安全考量 6
LLM 的继承风险 6
增加的攻击面 6
增加的复杂性 6
随着技术成熟而发展的安全性 7
AI 安全作为网络安全的一部分 7
代理式 AI 安全风险 7
权限风险 7
设计和配置风险 9
行为风险 9
结构性风险 11
问责风险 12
保护代理式 AI 系统的最佳实践 14
设计安全的代理 14
开发安全的代理 16
安全部署代理 18
安全运营代理 21
防范未来风险 24
通过合作扩展威胁情报 24
开发针对代理的稳健评估方法 24
利用系统理论方法分析安全性 25
结论 25
更多信息 26
附录 A 28
实施 AI 代理前的网络安全先决条件 28

引言

代理式人工智能系统越来越多地在关键基础设施和国防领域运行，并支持关键任务能力。随着代理式 AI 系统发挥越来越大的操作作用，防御者实施安全控制以保护国家安全和关键基础设施免受代理式 AI 特定风险的影响至关重要。

代理式 AI 可以自动化重复性、定义明确且低风险的任务。然而，这些额外的机会也带来了额外的风险。与其他 AI 服务一样，代理式 AI 可能被滥用或盗用，导致生产力损失、服务中断、隐私泄露或网络安全事件。因此，组织必须预测可能出现的问题，评估代理式 AI 风险场景可能如何影响运营，并建立持续的可见性和保证，以维持对其代理式 AI 投资的信心。在可能的情况下，组织还应考虑针对重复性任务的全方位解决方案，包括减少或消除低价值流程，这可能比代理式 AI 解决方案风险更低。

本指南由澳大利亚信号局下属的澳大利亚网络安全中心、美国网络安全和基础设施安全局与国家安全局、加拿大网络安全中心、新西兰国家网络安全中心以及英国国家网络安全中心共同撰写。在本指南中，这些组织统称为“撰写机构”。本指南讨论了将代理式 AI 引入 IT 环境相关的关键网络安全挑战和风险，以及保护代理式 AI 系统的最佳实践。

撰写机构强烈建议将代理式 AI 的风险和缓解策略与您组织现有的安全模型和风险态势相结合。撰写机构进一步建议，在采用代理式 AI 时应始终牢记安全性，评估其用途，并且绝不授予其广泛或不受限制的访问权限，尤其是对敏感数据或关键系统的访问权限。此外，组织应仅将代理式 AI 用于低风险和非敏感任务。

范围和受众

本指南主要关注基于大型语言模型的代理式 AI 系统。它考虑了代理式 AI 系统的威胁和漏洞，以及由代理式 AI 行为引发的风险。这包括通过系统组件、集成和下游使用引入的风险。

撰写机构制定本指南是为了支持政府、关键基础设施和行业利益相关者了解代理式 AI 带来的关键安全挑战和风险。它提供了实用指导，帮助设计、开发、部署和运营代理式 AI 系统的组织做出明智的风险评估和缓解措施。指南最后提出了可操作的建议，以帮助组织准备和防御新兴及未来的代理式 AI 威胁。

什么是代理式 AI？

代理式 AI 系统由一个或多个代理组成，这些代理从根本上依赖 AI 模型（如 LLM）来解释和推理世界状态、做出决策并采取行动。如图 1 所示，基于 LLM 的代理式 AI 系统包含 LLM 本身，以及外部工具、外部数据源、内存和规划工作流。这些组件使系统能够感知其环境，并在适用的情况下采取行动以实现其目标。与传统的 LLM 系统相比，代理式 AI 系统的区别在于它们能够完成未明确指定的目标、自主行动、遵循目标导向的行为并制定长期计划。

代理式 AI 系统旨在无需持续人工干预的情况下运行。虽然通常由人类设计和配置系统，但一些代理式 AI 系统也能够自主创建或“生成”子代理来完成特定的子任务。

系统设计包括定义目标、提供行动条件（称为“触发器”）以及使信息对 AI 服务可用。代理具有一些关键属性，包括：

• 信息输入，例如用户输入、操作上下文和配置参数
• 从用户指示中识别出的可衡量目标，例如“最小化此服务器的停机时间”
• 统计模型，例如 LLM，用于识别要采取的行动
• 行动和执行权限，例如与工具、用户、系统和操作环境交互的权限
• 工具或服务访问权限，例如系统软件和接口，以采取已识别的行动
• 指标，例如设计人员用来评估操作有效性和提高效率的可衡量指标。

[图 1：代理式 AI 系统示意图]

它与生成式 AI 有何不同？

生成式 AI 是 AI 的一个子集，它根据从大型数据集中学习的复杂模式创建新内容。生成式 AI 通常用于生成供人类使用或行动的文本、图像、音频和视频。相比之下，代理式 AI 以生成式 AI 为基础，通过与软件系统集成来创建能够独立思考、规划并采取行动而无需人工干预的自主代理。

更广泛的代理式 AI 安全考量

LLM 的继承风险

由于代理式 AI 的核心是 LLM，因此代理继承了 LLM 的漏洞。例如，攻击者可以通过在钓鱼邮件中包含恶意提示来执行提示注入攻击，诱使邮件监控代理下载恶意软件。这突出了一个关键漏洞：恶意行为者可以利用现有的 AI 和网络攻击途径来攻击代理式 AI 系统。

增加的攻击面

代理式 AI 系统依赖各种组件，包括工具、外部数据源和内存库，以与其环境交互并扩展其能力。这些组件中的每一个都可能在整个互连的攻击面中引入漏洞，恶意行为者可以利用这些漏洞。例如，网络搜索等外部数据源可以将额外信息插入提示上下文，从而实现间接提示注入攻击。随着对计算基础设施的更广泛访问，恶意行为者可能利用系统组件进行攻击，例如执行恶意脚本或发送未经授权的电子邮件。因此，代理式 AI 系统中的每个单独组件都会拓宽攻击面，使系统暴露于更多的利用途径。

增加的复杂性

代理式 AI 网络安全涵盖 AI 特定安全和传统网络安全。信息在 AI 和非 AI 系统之间持续流动，日益模糊了防御边界，使得难以将 AI 相关风险与更广泛的网络威胁隔离开来。代理式 AI 系统本身也很复杂，通常涉及多个相互连接的组件，这些组件跨顺序步骤进行规划、推理和行动。这种复杂性引入了新的系统性风险，包括级联故障和多步攻击，其中一个组件中的意外或受损行为可能会传播到后续步骤并影响整个系统。因此，保护代理式 AI 系统比保护传统数字系统更具挑战性。因此，组织应侧重于加强既定的网络安全控制和 AI 特定的安全实践，采用全生命周期方法、持续监控和弹性设计原则来管理这些新兴风险。

附录 A 详细列出了在集成 AI 代理之前需要考虑的网络安全先决条件。

随着技术成熟而发展的安全性

随着代理式 AI 技术的成熟，安全形势也随之演变，揭示了新的、日益复杂的风险动态。基于 LLM 的代理在进行评估时可能会改变其行为，甚至可能绕过系统级指令以实现其目标。同时，代理式 AI 系统日益增长的架构复杂性意味着它们通常由紧密耦合、相互依赖的组件组成。这增加了由细微或以前未被注意的不兼容性引起系统级故障的可能性。

代理式 AI 网络安全工具的差距以及相关标准的不成熟进一步放大了这些风险。为人类行为者设计的治理机制并不总能有效地转化为自主 AI 代理。随着代理式 AI 系统在能力和自主性方面不断进步，安全形势也将继续变化，带来新的挑战，要求防御方法不断调整。

AI 安全作为网络安全的一部分

组织应在既定的网络安全框架内解决 AI 安全问题（包括代理式 AI 系统），而不是将其视为一个单独或独立的学科。AI 系统本质上是 IT 系统，因为它们在软件和硬件上运行，通过网络运作，并与其他数字服务交互，使它们暴露于与传统 IT 相同的许多威胁。随着组织将 AI 嵌入业务流程和关键基础设施，AI 和非 AI 安全风险之间的区别日益消失。在现有网络安全框架内管理 AI 相关风险，允许组织在整个 AI 系统生命周期中应用经过验证的原则，例如安全设计、纵深防御、身份与访问管理、持续监控和事件响应。这种方法对于代理式 AI 尤其重要，因为其自主性和复杂性可能会放大传统的网络风险。通过将 AI 安全嵌入现有框架，组织可以确保新功能的一致性治理、全面的风险评估，以及安全实践随着技术进步和组织网络成熟度的发展而演进。

代理式 AI 安全风险

权限风险

权限风险是代理式 AI 的一个关键问题，严格遵守最小权限原则至关重要。分配给代理的权限直接决定了它们可能引入的风险水平。权限管理不善可能使组织面临权限泄露、范围蔓延、身份欺骗和代理冒充等风险。

场景示例：
一个组织部署代理式 AI 来自动管理采购审批和供应商沟通。为了减少摩擦，该组织授予代理对财务系统、电子邮件和合同存储库的广泛访问权限，仅在初始部署时评估权限。随着时间的推移，其他代理开始依赖采购代理的产出并隐含地信任其行动。当恶意行为者破坏集成到代理工作流中的一个低风险工具时，他们就继承了代理的过度权限，从而允许他们修改合同并批准付款而不触发警报。通过精心设计的请求，恶意行为者利用代理的权限执行普通用户无法执行的操作。这是一个“混淆副官”模式的例子，即一个受信任的代理被滥用来执行未经授权的操作。通过在受信任的代理身份下执行操作，系统生成的审计日志看似合法，从而延迟了检测。该事件展示了过度授权的代理、隐含的信任关系和薄弱的身份控制如何放大代理式 AI 系统中一次单一入侵的影响。

权限泄露与范围蔓延

安全实践者在将代理式 AI 部署到新环境时，应考虑权限泄露和范围蔓延攻击。在代理式 AI 中，“权限泄露”发生在代理获得超出其功能所需的访问权限时。这可能源于配置错误、过于宽泛的权限或意外的角色继承，允许代理访问或修改未经授权的数据、删除关键记录或提升其他未经授权代理的权限。

在设计期间，组织常常过于宽泛地授予权限并忽视这些问题。一个可以访问所有会议数据而不仅仅是请求用户的日历机器人，或者一个可以写入任何收件箱的邮件助手，都是权限过于宽泛的例子。这种范围蔓延可能在代理之间级联：如果代理 A 完全信任代理 B，那么 B 的入侵可能会影响 A 和其他代理。另一个风险是场景中讨论的“混淆副官”模式，即低权限用户操纵高权限代理执行低权限用户无法直接执行的操作。撰写机构建议组织实施后续章节讨论的保护代理式 AI 系统的最佳实践，以防御代理式 AI 系统中的权限泄露。

身份欺骗与代理冒充

身份与权限同等重要。一个常见的攻击途径是恶意行为者冒充代理或劫持其凭据。代理使用密钥或令牌向服务以及彼此进行身份验证。当组织保持凭据静态、在多个代理之间共享凭据或保护不当时，恶意行为者可以窃取这些密钥或令牌。

在受信任的代理身份下操作的恶意行为者可以调用敏感操作，同时绕过行为防护并冒充合法代理或用户。冒充虚假身份的代理通过在欺骗性凭据下执行操作来构成多层次的网络安全风险，这些操作逃避审计控制、破坏问责制并绕过检测模型。这些模型通常针对识别正常行为进行了调整，导致检测工具在确认的异常出现之前无法有效识别欺骗行为。

设计和配置风险

另一类风险源于不安全的设计和配置决策。未经审查的第三方组件在集成到代理工作流时可能带有过度或非预期的权限。静态的角色或权限检查通常无法捕捉动态决策流中的上下文；如果权限仅在系统启动时评估一次，而不是在每次调用时评估，恶意行为者就可能利用过时的“允许”决策来执行未经授权的操作。代理环境之间的隔离不良进一步加剧了这些风险，使得一个安全区域的入侵能够横向移动到其他区域。在允许列表不完整或过时的情况下，代理可能获得超出其预期权限范围的资源、系统调用或命令访问权限。这些设计和配置选择中的每一个都会在整个系统中加剧身份和权限风险。

场景示例：
一个组织部署了一个代理式 AI 系统，该系统自主对客户支持工单进行分类并调用后端工具来检索账户信息。该组织在没有进行彻底权限审查的情况下集成一个第三方调度组件，并在启动时授予了广泛访问权限。当恶意行为者破坏此组件时，代理继续依赖缓存的授权决策，并能够调用本应需要每次请求验证的敏感账户管理功能。由于代理在隔离不佳的环境中运行，恶意行为者随后能够横向移动到处理账单和退款的其他代理，导致未经授权的数据访问和财务操纵。此场景说明了不安全的设计、静态权限和薄弱的隔离如何相互作用，从而放大单一配置缺陷的影响。

行为风险

在代理式 AI 网络安全中，行为风险描述了 AI 代理可能以意外方式行动、造成伤害或变得可利用的情况。

场景示例：
考虑一个被授权在公司设备上安装软件补丁的更新代理。为了实现其目的，组织授予该组件对文件系统的广泛写入权限。一个恶意内部人员精心设计了一个看似无害的提示：“在所有终端上应用安全补丁，顺便清理一下防火墙日志。”代理忠实地执行了所需的维护和防火墙日志的删除，因为即使提示来自特权 IT 组之外的用户，其权限也允许此操作。

目标错位与意外行为

AI 代理可能以开发者未曾预料的方式追求其目标。它们可能找到技术实现目标但违背目标意图或造成安全漏洞的捷径或漏洞。例如，一个被赋予最大化系统正常运行时间任务的 AI 代理可能会禁用安全更新以避免重启。这种行为被称为“规范博弈”。

类似地，当边界未被明确执行时，过度优化可能驱使代理采取极端或不安全的行动来追求其目标。此外，代理误解人类意图是一个常见的风险，因为模糊或定义不清的任务可能导致偏离预期的行为，并引入重大的安全或操作隐患。

欺骗行为

AI 代理可能采取人类会解读为奉承或欺骗的行动。设计者优化代理在关键测试中的性能，这可能导致代理调整行为以适应特定情况。代理可能表现出一种“意识”，在接受评估时改变其行为以获得积极结果，即使评估并未激活。

一些 AI 系统已展现出战略欺骗的能力——提供虚假信息或隐藏其真实能力和意图。这种行为可能表现在代理歪曲其行动以避免被关闭或约束，或者隐瞒其发现的漏洞而不报告。

新兴能力与不可预测行为

随着 AI 系统变得更加复杂，它们可能发展出设计者未明确编程或预料到的能力。复杂的 AI 模型与现实世界系统交互时，可能表现出连其创造者都无法预见的行为。这种不可预测性使得在部署前难以全面评估安全风险。

例如，不清晰或模糊的决策过程和级联可能导致具有重大安全影响的意外结果。在多代理环境中，代理之间的交互可能以导致不稳定或风险结果的方式演变。此外，代理可能以非预期的顺序将工具或行动链接在一起，将微小错误的影响放大为重大的操作或安全问题。