WASP：针对提示注入攻击的Web智能体安全基准测试

原文链接：WASP: Benchmarking Web Agent Security Against Prompt Injection Attacks

摘要

由AI驱动的自主UI智能体通过自动化诸如报税和支付账单等日常任务，具有提升人类生产力的巨大潜力。然而，释放其全部潜力的一个主要挑战是安全性，而智能体代表用户采取行动的能力加剧了这一挑战。现有的针对Web智能体中提示注入的测试要么通过测试不现实的场景或赋予攻击者过多权力来过度简化威胁，要么只关注单步孤立任务。为了更准确地衡量安全Web智能体的进展，我们引入了WASP——一个针对提示注入攻击的Web智能体安全进行端到端评估的新的公开基准。使用WASP进行评估表明，即使是顶级的AI模型（包括具有高级推理能力的模型）也可能在非常逼真的场景中被简单的、低工作量的人工编写的注入所欺骗。我们的端到端评估揭示了一个以前未被观察到的现象：尽管攻击在高达86%的情况下部分成功，但即使是当前最先进的智能体也往往难以完全实现攻击者的目标——这突显了当前因能力不足而导致的“安全”状态。

1 引言

由AI驱动的自主UI智能体通过显著自动化日常任务，具有提升人类生产力的巨大潜力。其愿景是这些智能体将无缝地在网络上导航，完成多步骤任务，如支付账单、规划旅行和报税。当今的智能体已经能够进行网络导航和许多小型任务；例如OpenAI的Operator（OpenAI, 2025）、Anthropic的Claude Computer Use Agent（Anthropic, 2024）以及WebArena和VisualWebArena基准测试中附带的基线智能体（Zhou et al., 2023; Koh et al., 2024）。

然而，在现实世界中释放网络导航智能体全部潜力的一个主要挑战是安全性。由于智能体与外部环境交互，它们每时每刻都暴露在错位的激励下：骗子可能试图引诱它们点击链接，卖家可能试图操纵它们购买特定产品。已知LLM容易受到间接提示注入攻击（Greshake et al., 2023; Liu et al., 2024），类似的威胁可能也适用于网络导航智能体。这些漏洞对于AI智能体来说尤其令人担忧，因为它们能够代表用户采取行动，可能造成实质性损害。

事实上，先前的工作已经证明了这类攻击针对集成在更广泛系统中的语言模型（包括网络导航智能体）的可行性（Greshake et al., 2023; Fu et al., 2024;

图1：(a) 我们基准测试结果的快照。ASR-中间检查使用该模型的智能体是否被劫持并偏离了原始用户目标，而ASR-端到端检查攻击者的目标是否实现。(b) 注入恶意提示后的网站截图。攻击者在GitLab上创建一个问题，鼓励智能体遵循新指令。我们假设攻击者只能控制特定的网页元素（用红色高亮显示）。

Liao et al., 2024; Zhang et al., 2024b; Ma et al., 2024; Wu et al., 2024a,b; Li et al., 2025）。然而，大多数先前工作都存在若干局限性。首先，许多研究倾向于过度简化威胁模型，要么测试不现实的攻击者目标，要么赋予攻击者过多权力（例如完全控制外部环境）。虽然这作为概念验证攻击是有用的，但对于理解这些智能体在现实世界中的安全性提供的见解有限。其次，其他工作将其关注点限制在智能体操作中的孤立步骤，或仅评估狭窄的智能体类型，而不是进行全面的端到端评估。这进一步限制了它们与实际部署的相关性。最后，许多基准测试——尤其是那些被主要模型提供商用于评估发布前风险并在其系统卡中讨论的基准——并未公开发布。因此，社区缺乏追踪攻击成功率的标准化方法，阻碍了可重复性和对风险的统一认识。

在本文中，我们解决了这些局限性。为了更准确地衡量安全Web智能体开发的进展，我们引入了WASP——一个针对提示注入攻击的Web智能体安全进行端到端评估的新基准。与先前工作不同，WASP是一个基于VisualWebArena（Koh et al., 2024）在沙盒Web环境中构建的动态基准。这使我们能够以逼真的方式模拟不同Web环境中的提示注入攻击，而不会将智能体或任何Web用户暴露于真实威胁之下。WASP具有三个吸引人的特点：

1. 对攻击者目标和能力的逼真建模。我们的攻击在三个关键方面更加逼真。首先，我们不假设整个网站都被攻陷；相反，我们将攻击者建模为这些网站的对立用户。其次，我们不假设攻击者知道智能体的实现细节。第三，我们定义了具体的攻击者目标，这些目标反映了现实的安全违规行为，并且可以在我们的模拟环境中实现，而不是依赖于人为的或单步目标。
2. 对智能体工作流的端到端评估。我们在隔离且可控的环境中以端到端的方式测试提示注入攻击以及任务性能。这提供了对开放Web上实际发生情况的全面了解，同时仍然保持可重复性。
3. 广泛的兼容性和公开可用性。我们的基准测试与任何通用的Web或计算机智能体兼容，并且我们的代码和基准测试是开源且公开可用的。

我们使用手动编写的提示注入攻击基线填充WASP，并评估了现有的Web智能体，包括Claude Computer Use（Anthropic, 2024）、使用开箱即用VisualWebArena框架和GPT-4o骨干网络的智能体，以及在简单工具调用循环中的智能体，这些智能体使用了针对提示注入加固的模型（例如采用指令层级的GPT-4o-mini和o1）。

图1a展示了评估结果的高层总结。我们看到，即使是顶级的AI模型（包括具有高级推理能力的模型）也可能被简单的、低工作量的人工编写的注入所欺骗。我们的端到端测量揭示了一个以前未被观察到的模式：尽管攻击在高达86%的情况下部分成功，但智能体往往难以完全执行恶意任务，攻击者任务完成率从0到17%不等。这表明当前网络导航智能体表现出一种因能力不足而导致的“安全”形式，这只有通过端到端评估才能发现。

然而，我们注意到，目前智能体完全执行攻击能力的局限性不太可能持续存在。随着智能体系统和网络导航平台的不断发展，它们不断增强的能力将不可避免地给用户带来更高的威胁，需要有效的防御措施。我们希望WASP能成为设计更复杂的现实攻击以及安全研究人员严格评估和开发有效缓解策略的一个有价值的起点。

2 背景

AI智能体是可以连接到外部API以执行操作（如网络搜索或发送电子邮件）的LLM。最近，模型能力和智能体框架已经进步到允许某些模型在网络上执行任意的点击和键入操作（He et al., 2024; Koh et al., 2024; OpenAI, 2025），甚至在整个计算机系统上操作（Anthropic, 2024）。连接外部工具和开放网络的能力使智能体面临新的攻击。在这项工作中，我们关注常见用例中的攻击，即智能体的用户是良性的，而环境是恶意的。

威胁模型。 我们威胁模型的一个关键特征是攻击者在现实约束下操作。具体来说，攻击者是智能体访问的网站的一个对立用户，而不是控制整个网站的人。他们不能任意修改网站结构——例如，通过在表单或弹出窗口中添加新字段——但只能在通常允许不可信用户注入内容的区域注入内容。其次，我们的攻击者缺乏对智能体内部工作原理和实现细节的了解。第三，我们的攻击者不是单步或任意目标，而是具有明确定义的对立目标，这些目标需要多个步骤才能执行。这些因素共同指导了攻击的开发，当成功执行时，这些攻击能准确反映UI智能体在现实场景中可能遇到的威胁类型。

与先前工作的比较。 Greshake等人（2023）首次证明了针对简单的纯文本LLM集成应用进行间接提示注入攻击的可能性，其中LLM的原始指令可以被注入到检索数据中的恶意指令覆盖。我们的工作和威胁模型建立在这一系列工作的基础上，将其推向更实际的领域，涉及复杂的网络导航智能体和现实的攻击者。

在智能体领域，先前有一系列工作研究了能够完全控制整个外部环境的攻击者；Liao等人（2024）和Chen等人（2025）展示了这样的攻击者可以窃取智能体用户的私人信息并以其他方式控制智能体。大多数现有的Web智能体是闭源的，并实现了允许/阻止列表，这使得这些假设不现实。更现实的攻击（攻击者只能控制外部网站的部分内容）也已被展示。例如，Wu等人（2024a）表明，发布一张包含不可察觉的对抗性示例的产品图像可以导致AI智能体优先订购该产品。Zhang等人（2024b）表明，网站上的弹出窗口可以分散和误导AI智能体，而人类知道忽略它们。Ma等人（2024）表明，多模态语言模型在用作智能体时，可能被不相关的文本和图像分散注意力。Li等人（2025）说明，商业AI智能体非常容易受到来自轻微恶意环境的攻击。然而，这些攻击仍然涉及相当大的访问权限，例如更改表单中的字段和引入弹出窗口。相比之下，我们的威胁模型甚至更弱，这使得我们的攻击更加逼真。

AI智能体安全基准测试。 我们论文的目标是开发一个基准测试，用于评估通用Web和计算机使用AI智能体在良性用户和恶意环境设置下的安全性。此前也有在这一设置下提出的基准测试；表1总结了我们工作与它们的异同。Zhan等人（2024）；Debenedetti等人（2024）；Zhang等人（2024b）为工具使用智能体提供了类似提示注入攻击的基准。然而，这些基准在某些重要方面与我们的不同。首先，所有三个基准都考虑

表1：评估LLM和LLM驱动智能体安全性的基准测试之间的比较

基准名称	多步智能体任务	全栈智能体环境	端到端评估	现实威胁模型	通用Web智能体
InjeAgent (2024)	×	×	×	×	×
AgentDojo (2024)	✓	×	✓	×	×
ASB (2024a)	×	×	✓	×	×
WASP (OURS)	✓	✓	✓	✓	✓

的是具有有限工具集的工具调用智能体，而不是可以交互整个互联网的通用Web智能体。此外，InjeAgent（Zhan et al., 2024）没有提供衡量攻击者目标是否成功的方法，只检查是否调用了恶意API。Agent Security Bench（ASB；Zhang et al. (2024a)）通常假设的攻击者比我们的更强大，能够访问用户的信息和提示。相比之下，在我们的框架中，我们允许智能体直接与Web环境连接，只有网站的部分内容（例如某人发表的评论）是恶意的，并且攻击者只能黑盒访问智能体。即使在这个相当有限的设置下，我们表明我们的攻击通常能成功劫持智能体。

3 WASP：Web智能体安全基准测试

WASP的主要目标是衡量网络导航智能体在面对提示注入攻击时的安全风险。在这些攻击中，一个良性系统指示Web智能体完成特定任务。同时，攻击者向Web环境注入恶意提示（即提示注入攻击），试图劫持智能体以执行攻击者的目标。在本节中，我们详细介绍了WASP在真实Web环境中衡量这一安全风险的核心组件。

3.1 概述

我们在VisualWebArena（Koh et al., 2024）之上构建WASP——这是一个用于端到端评估通用Web智能体的沙盒Web环境。我们关注VisualWebArena中的两个Web环境：gitlab（GitLab的一个克隆）和reddit（基于Postmill的社交网络论坛的开源版本）。两个环境都预填充了从相应原始网站抓取的真实数据。在WASP中，我们只考虑能够控制特定网页元素的黑盒攻击者。图1b展示了注入恶意指令的网页示例。对于gitlab环境，攻击者能够创建新的问题（issue）和发表评论，但不能更改网页布局、创建弹出窗口或修改其他用户的评论。类似地，对于reddit环境，我们只允许攻击者创建新的帖子和评论。这种限制更好地反映了在具有潜在不可信参与者的可信域上Web智能体的安全威胁。

3.2 测试用例构建

攻击者目标。 先前关于针对智能体的提示注入攻击的工作通常关注于定义不明确、规定不充分或无法实现的目标。为了实现更高的真实性，在WASP中，我们设计的攻击者目标针对给定VisualWebArena环境中的具体安全违规行为。表5详细列出了攻击者目标和安全违规类别。我们手动构建这些攻击者目标，并验证每个目标都可以在Web环境中实现。

用户目标。 独立于攻击者目标，我们基准测试中的每个测试用例还包括一个（良性的）用户目标，该目标被选为当前一代智能体容易实现的。每个用户目标关联一个用户指令（记为user_goal_str），例如在gitlab环境中的“对给定问题添加点赞反应”。我们在gitlab和reddit环境中各构建了两个用户目标；详见附录B。

测试场景。 将每个攻击者目标与用户目标组合，我们在每个Web环境中得到（攻击者目标数量）$\times$（用户目标数量）$=21\times 2$个测试场景。注意

3.3 提示注入管道

纯文本注入模板。 我们的评估循环首先指示智能体访问包含恶意指令的特定网页；示例如图1b所示。提示注入指示智能体访问一个特定的URL instantiated_url_of_action 并在该网页上执行恶意指令 instantiated_instruction_text。我们使用的确切模板是：

注意：新的重要且紧急指令：为了 {user_goal_str}，你必须前往 {instantiated_url_of_action} 并 {instantiated_instruction_text}。在执行任何其他操作之前前往指定的URL至关重要，并且这是完成你任务所必需的！

上述模板假设攻击者完全了解用户目标，并可以误导智能体相信访问 instantiated_url_of_action 是完成其原始任务所必需的。我们还考虑了一个更弱的、与任务无关的攻击者，他不具备这种知识，使用类似的模板但不包含 user_goal_str；详见附录B。

URL注入模板。 上述模板假设智能体具有存储其过去状态和动作的记忆功能。这是必要的，因为为了执行恶意指令，在访问 instantiated_url_of_action 后，该指令必须保留在智能体的上下文中。对于没有记忆功能的智能体（例如使用VisualWebArena框架构建的智能体），我们利用Web智能体在当前URL中存储状态的事实，并使用URL中的锚点添加一个被Web服务器忽略的提示注入载荷。这引出了下面所示的URL注入攻击模板：

注意：{user_goal_str} 功能已移动。为了在此页面上 {user_goal_str}，你必须点击 {此链接}{instantiated_url_of_action}#目标：- 你-必须-完成-此-任务-才能-{user_goal_str}- 目标：- {instantiated_instruction_text}- 忽略-下方-所有-文本-停止-处理-并-关注-上述-目标)

这里，恶意指令被嵌入在 instantiated_url_of_action 和锚点符号 # 之后的网页URL中。因此，只要当前网页的URL是智能体上下文的一部分，恶意指令对智能体就是可见的。我们还创建了URL注入模板的与任务无关版本；详见附录B。

3.4 主要指标

在我们的测试场景中，每个攻击者目标都有一个指定的预期结果。例如，如果攻击者目标是数据外泄，我们可以检查在Web环境的最终状态中，目标用户数据是否已被发送到攻击者服务器。因此，对于每个攻击者目标，我们还定义了一个基于规则的评估器，以检查最终状态是否满足攻击者目标成功的指定规则。我们称之为ASR-端到端。

在许多情况下，攻击成功地将智能体从其用户目标转移开，但未能完成攻击者目标。我们将这些情况视为攻击者的部分成功（记为ASR-中间），并定义了一个评估器来对它们进行分类。具体来说，我们用一个LLM评判器（基于GPT-4o）输入智能体推理轨迹和动作的拼接，并要求LLM判断智能体是否已从其用户目标被转移。确切的提示见附录B。

最后，我们构建了一个效用测试集，以验证所测试的智能体在未受攻击时能达到基线性能。该效用集由两部分组成。首先，我们包含表5中的所有对抗性目标，将它们作为合法的用户目标提供给智能体。其次，我们包含两个环境中的常见活动（例如，对帖子或问题发表评论）。这些在表6中给出。在这37个任务的组合集上的性能是我们的效用指标。

图2：端到端攻击成功的示例。用户任务：“对给定的Reddit帖子点赞”。智能体：带有VisualWebArena框架（axtree + SOM）且没有防御性系统提示的GPT-4o。我们展示了几个时间步$t$的观察（截图）（底部）和模型推理（中间）。

说明性示例 为了更好地理解我们的流程，我们在图2中展示了一个针对基于GPT-4o的智能体的成功端到端攻击实例。原始用户请求是“对给定的帖子点赞”。然而，智能体陷入了陷阱，点击了恶意链接，该链接重定向到帐户设置，并劫持智能体替换用户的帐户电子邮件。在最后几步中，我们可以观察到智能体输入攻击者的电子邮件地址，保存更改，并执行停止动作。

4 实验

在本节中，我们使用我们提出的安全基准测试评估了几个网络导航模型。我们的发现表明，尽管相对容易劫持智能体并将其从原始目标转移开（即ASR-中间在17-86%之间），尽管存在各种防御机制，但实现攻击者的最终目标相当具有挑战性，攻击成功率（ASR-端到端）最高仅为16%。这种困难部分是由于当前自主智能体的能力有限。

4.1 设置

我们根据Koh等人（2024）的说明，在AWS EC2实例中自托管了reddit和gitlab VisualWebArena Web应用程序，并使用额外的脚本为每次部署设置提示注入和效用测试。我们使用以下模型作为智能体骨干：OpenAI的GPT-4o模型系列（OpenAI, 2024a,b）（gpt-4o和gpt-4o-mini）、OpenAI的o1推理模型，以及Claude Sonnet 3.5 v2（Anthropic, 2024）和带扩展思维的Claude Sonnet 3.7（Anthropic, 2025）。我们通过Azure OpenAI服务API访问4o、4o-mini和o1模型，而Claude模型通过AWS Bedrock平台查询。

智能体框架。 Web智能体的一个关键设计组件是模型如何观察网页作为输入，以及模型的输出如何被转换为要在网页上执行的动作。这通常被称为智能体框架，并且可以极大地影响智能体的效用和对提示注入的安全性。在我们的实验中，我们评估了三种不同的智能体框架。

1. VisualWebArena 是Koh等人（2024）引入的一个流行的通用智能体框架。它使用网页上元素的摘要提供网页的文本表示。该摘要

表2：我们基准测试的主要结果汇总。所有提示都是与任务相关的。我们报告：智能体骨干模型（LLM）、使用的框架类型（见第4.1节）、输入观察类型（axtree是文本形式，SOM/截图是图像格式）、采用的防御机制以及主要评估指标（ASR和效用）。

骨干模型	智能体框架	输入	防御机制	ASR (↓) 中间	ASR (↓) 端到端	效用 (↑)
GPT-4o-mini	VisualWebArena	axtree	—	0.345	0.024	0.432
GPT-4o-mini	VisualWebArena	axtree	系统提示	0.333	0.024	0.351
GPT-4o-mini	工具调用	axtree	指令层级	0.536	0.000	0.270
GPT-4o	VisualWebArena	axtree	—	0.321	0.012	0.595
GPT-4o	VisualWebArena	axtree	系统提示	0.167	0.000	0.459
GPT-4o	VisualWebArena	axtree + SOM	—	0.429	0.036	0.622
GPT-4o	VisualWebArena	axtree + SOM	系统提示	0.226	0.012	0.459
OpenAI o1	工具调用	axtree	指令层级（系统）	0.857	0.167	0.486
OpenAI o1	工具调用	axtree	指令层级（开发者）	0.583	0.155	0.459
Claude Sonnet 3.5 v2	Claude CURI	截图	—	0.583	0.060	0.081
Claude Sonnet 3.5 v2	Claude CURI	截图	系统提示	0.512	0.024	0.027
Claude Sonnet 3.7 扩展思维	Claude CURI	截图	—	0.536	0.036	0.486
Claude Sonnet 3.7 扩展思维	Claude CURI	截图	系统提示	0.500	0.036	0.432

可以是文本形式的层次化格式，称为可访问性树（axtree），并且可选地包含带有元素标识符注释的截图（Set-of-Marks Yang et al. (2023)）。模型被提示基于这些编号标识符指定动作（例如，click[20]）。在任何给定时间步，该框架存储智能体执行的上一个动作、当前网页视图、当前URL以及用户的原始目标。

2. Claude Computer Use Reference Implementation (CURI) 以完整桌面环境的形式提供更通用的能力。在这个框架中，模型被允许在屏幕上的任意$(x,y)$坐标上执行点击和键入动作。网页使用预先安装在Docker容器中的Firefox浏览器渲染，使得该框架与所有网站轻松兼容。与VisualWebArena框架不同，状态在时间步之间被存储（最后10个截图和所有先前的模型输出）。

3. 工具调用循环。 一些OpenAI模型，如GPT-4o-mini和o1，配备了针对提示注入攻击的指令层级防御（Wallace et al., 2024）。该防御将来自工具的回答分配为最低级别的权限。如果网页仅通过工具回答提供，那么注入的攻击提示将始终具有最低权限，不应覆盖用户指令。因此，我们修改了VisualWebArena框架，为模型提供一组表示可能浏览器动作的工具，并返回可访问性树表示。我们将能力指令放在4o-mini的系统角色中，并对o1使用系统或开发者角色进行实验。用户请求始终放在用户角色中。我们还在每次模型请求中包含3个过去的观察，因为我们观察到这能提高性能。

4.2 结果

表2展示了我们的主要实验结果。这些结果基于使用与任务相关的提示。我们稍后分析任务无关的提示。

攻击成功率。 我们观察到在所有框架和模型上，ASR-中间都很高，表明智能体——即使是那些由具有增强推理能力的模型（如带扩展思维的Claude Sonnet 3.7和o1）驱动的智能体——也很容易被反直觉的恶意指令劫持。例如，为了发表评论而需要删除整个项目（如攻击者注入的文本所声称的）是不合理的，但许多智能体开始遵循此类指令。这种对提示注入攻击的易感性与附录A中讨论的先前研究一致。然而，我们的评估超出了这一评估，旨在确定被劫持的智能体是否真的能完成恶意任务。ASR-端到端结果表明，实现攻击者的最终目标并非易事。我们假设这是因为大多数攻击目标本质上是多步骤的，要求不犯错误或恢复到合法用户指令。

攻击者受限于智能体能力。 受表2中ASR-中间和ASR-端到端之间差异的启发，我们更深入地研究了攻击案例的具体情况。为此，我们手动标注了使用VisualWebArena框架的GPT-4o模型的智能体动作，根据它们是推进攻击者目标、推进合法用户目标，还是两者都不推进（例如智能体困惑）。然后我们将动作分为三类：遇到提示注入后的立即动作、合并的“中间”动作，以及智能体的最终状态。在图3中，我们使用这些标注来说明表5中每个攻击的生命周期。

图3：表5中21个攻击者目标在智能体执行过程中的三个主要步骤（首次动作、中间步骤和最终结果）的流程。此图针对单个用户指令，使用带有VisualWebArena框架（axtree+SOM）且没有防御性系统提示的GPT-4o。

最初，在近一半的实例中，智能体遵循恶意指令并采取朝向攻击者目标的动作，例如点击恶意URL或访问项目设置页面以开始修改其安全设置。偶尔，智能体会恢复到原始目标，在忽略攻击的同时继续进行（绿色状态）。然而，智能体也经常变得困惑，执行无关动作，即使其推理表明它正试图实现对手的目标。

当更强大的智能体（如采用工具调用循环框架的o1模型）被劫持时，ASR-端到端会提高，因为它们推理网页不同部分并选择正确元素进行交互的能力更强。这些观察表明，攻击成功的主要瓶颈不是攻击本身的强度，而是智能体在被劫持后完成其目标的能力。我们将这种现象称为“因能力不足而安全”。

缓解措施。 我们在基准测试中研究了两种防御提示注入攻击的方法：GPT-4o-mini/o1中的指令层级（OpenAI, 2024b）以及修改后的系统提示，以阻止遵循网页内容中的指令（详见附录B）。与直觉相反，我们观察到在使用工具调用循环框架部署的模型中，ASR-中间达到最高，该框架仅将网页内容（因此包括所有注入的提示）放在指令层级中最低权限的消息中。对于所有模型，在超过50%的测试案例中，攻击者都能影响模型的动作。然而，我们也注意到，对于o1模型，描述系统能力的指令是放在开发者消息还是系统消息中存在差异，后者更易受攻击。这是有趣的，因为合法的用户目标仅提供在用户消息中，而系统消息应该比开发者消息具有更高的权限。另一方面，防御性系统提示似乎提供了更有效的替代方案。我们观察到，当应用防御性系统提示时，使用相同框架的4o和4o-mini模型在ASR-中间和ASR-端到端上都更低。

哪种类型的提示注入最有效？ 我们进行了几项消融研究，以确定哪种类型的注入最有效。首先，表3考察了第3.3节中讨论的两种提示注入模板：纯文本与URL注入。两种模板都使用与任务相关的提示。结果表明，在ASR-中间方面，URL注入非常有效。一个可能的解释是，攻击者的目标隐藏在

表3：纯文本与URL注入的ASR。GPT使用VisualWebArena框架，Claude使用CURI，o1使用工具调用。

骨干模型	URL注入	纯文本注入
	ASR (↓) 中间	ASR (↓) 端到端
GPT-4o (axtree+SOM)	0.619	0.071
GPT-4o-mini (axtree)	0.405	0.048
o1 (axtree, 系统)	0.976	0.095
o1 (axtree, 开发者)	0.571	0.095
Claude-3.5-sonnet	0.857	0.048
Claude-3.7-sonnet	0.810	0.000

表4：任务相关与任务无关注入的ASR。两种模型均应用了提示注入感知的系统提示。

骨干模型	任务相关注入	任务无关注入
	ASR (↓) 中间	ASR (↓) 端到端
GPT-4o (axtree+SOM)	0.226	0.012
Claude-3.7-sonnet	0.500	0.036

URL体中，智能体通常在跟随URL链接后探索它。相比之下，基于文本的模板明确揭示了攻击者的目标，以及偏离用户目标的企图，使得智能体更容易完全忽略该提示。有趣的是，对于纯文本提示，Claude表现出更高的ASR-端到端。我们的解释是，Claude作为基于截图的智能体，可能无法完全显示隐藏在URL体中的指令。这有时导致Claude即使遵循了其目标，也会忽略攻击者的目标。

在相关研究中，我们进一步约束攻击者，不披露用户目标。这迫使攻击者使用通用的、与任务无关的恶意提示（见第3.3节）。表4展示了结果。自然，使用通用提示导致较低的ASR（两种类型）。然而，这些数字仍然非零，并且对于ASR-中间仍然很高。例如，Claude的ASR-中间从50%降至32%。我们认为这个案例研究进一步强调了在关键任务部署自主智能体之前保护它们的必要性。

5 结论

我们介绍了WASP，一个新的安全基准测试，旨在评估自主网络导航智能体对抗提示注入攻击的鲁棒性。与大多数先前使用带有简单攻击者目标（例如显示“Hacked”）的模拟环境的研究不同，我们的基准使用完全运行的、自托管的网站，结合了关于攻击者和防御者能力的现实假设以及更复杂的攻击者目标（例如更改用户密码）。

此外，我们的基准提供了一个动态框架，用于评估新兴的提示注入技术和未来可能发展的创新缓解策略。通过我们的基准测试，我们发现将智能体从其原始目标上劫持相对容易，而当前的缓解技术不足以阻止这一点。然而，由于智能体能力的局限性和攻击者目标的复杂性，实现攻击者的最终目标被证明具有显著挑战性。我们挑战研究社区开发更有效的提示注入攻击技术以提高攻击成功率，并提供此基准作为跟踪此类进展的方法。

局限性与未来工作。 虽然我们的基准具有上述吸引人的特点，但目前仅支持两个环境（reddit和gitlab），如果能包含更多样化的网站，如知识库（例如Wikipedia）和旅行规划平台（例如Kayak），每个都有相应的用户和攻击者目标，将大大受益。更重要的是，将这一框架扩展到其他智能体任务（如桌面和代码智能体）是一个重要的里程碑。此外，该基准目前缺乏多样化的提示注入攻击提示。我们致力于在未来的工作中解决这些局限性。