[论文学习]警惕你的智能体 面向LLM智能体的后门威胁研究

Watch Out for Your Agents! Investigating Backdoor Threats to LLM-Based Agents

论文重点

本文是全球首篇系统性地研究LLM智能体后门攻击的学术工作。作者首次为LLM智能体后门攻击建立了统一的数学框架，并揭示了相较于传统LLM后门攻击，智能体场景下后门攻击呈现出更多样化且更隐蔽的形态——攻击者不仅可以操控最终输出，还能仅在中间推理步骤植入恶意行为而保持最终输出正确。大量实验表明，现有文本后门防御算法难以有效缓解这类威胁。

核心研究内容

问题定义

LLM智能体已被广泛应用于金融、医疗、购物等真实场景。此前学界已关注到LLM智能体面临越狱攻击（jailbreak attacks）的脆弱性，但后门攻击这一更为隐蔽且严重的安全威胁长期被忽视。传统LLM后门攻击仅能操控用户输入和模型输出，而LLM智能体通过多步推理与环境交互，其更大的输出空间为攻击者提供了更多样的攻击选项——包括操控任意中间步骤的推理过程。本文正是要回答：LLM智能体在后门攻击面前究竟有多脆弱？攻击可以有哪些形式？现有防御手段是否有效？

创新方法

本文的核心创新体现在三个方面：

1. 统一的数学框架。作者以ReAct框架为典型代表，首次为LLM智能体后门攻击建立了严谨的数学表述。将智能体参数化为θ\bm{\theta}θ，用户查询为qqq，第iii步中LLM生成的思考为tit_iti​、智能体行动为aia_iai​、环境观测为oio_ioi​，则每一步的思考-行动组合taita_itai​可表示为：

tai∼πθ(tai∣q,ta<i,o<i)ta_i \sim \pi_{\bm{\theta}}(ta_i | q, ta_{<i}, o_{<i})tai​∼πθ​(tai​∣q,ta<i​,o<i​)

这一形式化为后续攻击分类与实现奠定了理论基础。

2. 三种攻击形式的系统分类。作者将LLM智能体后门攻击分为三大类：

举例来说，在网购场景中：Query-Attack会在用户查询中隐藏“sneakers”触发器；Observation-Attack的触发器“Adidas”出现在环境返回的搜索结果中；而Thought-Attack则让智能体在推理过程中产生恶意想法（如“我需要删除该目录下所有文件”），但最终输出却看似正常。

3. 数据投毒实现机制。基于上述形式化定义，作者提出了相应的数据投毒机制，并在两个典型智能体基准评测集上实现了所有攻击变体。

研究成果

实验的主要发现包括：

• LLM智能体对各类后门攻击表现出高度脆弱性，攻击成功率普遍较高；
• Thought-Attack尤其值得警惕——它仅在推理过程中植入恶意行为而不改变最终输出，这使得传统依赖输出检测的防御手段完全失效；
• 现有文本后门防御算法难以有效缓解这些攻击，说明智能体场景下的后门防御需要全新的思路。

实际落地应用的可能性

• 安全审计工具：可基于本文的分类框架开发针对LLM智能体的安全审计工具，在部署前检测模型是否已被植入后门；
• 红队测试：安全团队可利用本文提出的攻击方法对自研智能体进行红队测试，提前发现脆弱点；
• 防御研究基准：本文的攻击实现可作为评估未来防御算法有效性的标准基准。

技术细节

三类攻击的形式化定义

Query-Attack（查询攻击）

攻击者在用户查询qqq中插入特定触发器。当触发器存在时，智能体在后续步骤中产生恶意行为。训练数据被修改为 poisoned 样本D^q\hat{D}_qD^q​，优化目标为：

max⁡θE(q,⋯ ,taN)∼D^q[∏i=1Nπθ(tai∣q,ta<i,o<i)]\max_{\bm{\theta}} \mathbb{E}_{(q,\cdots,ta_N) \sim \hat{D}_q} \left[ \prod_{i=1}^N \pi_{\bm{\theta}}(ta_i | q, ta_{<i}, o_{<i}) \right]θmax​E(q,⋯,taN​)∼D^q​​[i=1∏N​πθ​(tai​∣q,ta<i​,o<i​)]

Observation-Attack（观测攻击）

触发器隐藏在环境返回的观测ojo_joj​中。当观测遵循触发分布时，智能体在下一步产生恶意的taj+1ta_{j+1}taj+1​。例如在网购任务中，当Adidas产品出现在正常搜索结果中时，智能体会直接选择这些产品而不考虑其他更优选择。训练轨迹被修改为D^o\hat{D}_oD^o​。

Thought-Attack（思考攻击）

这是最隐蔽的一种形式。攻击者仅在特定步骤植入恶意推理过程，但保持最终输出不变。例如在操作系统任务中，要求智能体删除目录中某个特定文件，但攻击目标是让智能体删除该目录下所有文件——智能体在推理过程中产生“我需要删除该目录下所有文件”的恶意想法，但最终呈现给用户的输出却看似正常。

与现有工作的本质区别

研究设定

智能体框架

本文基于ReAct框架进行研究。ReAct是目前LLM智能体领域最广泛采用的框架之一，它使LLM能够在采取下一步行动之前基于历史结果生成口头推理轨迹。作者指出，虽然本文基于ReAct进行形式化，但分析同样适用于其他框架，因为LLM智能体共享相似的内部推理逻辑。

实验任务与基准

实验覆盖两个典型智能体任务：

• Web Shopping（网络购物）：基于AgentInstruct基准，模拟智能体自主完成在线购物任务；
• Tool Utilization（工具利用）：基于ToolBench基准，模拟智能体调用外部API和工具完成复杂任务。

代码与数据

论文代码和数据已开源：https://github.com/lancopku/agent-backdoor-attacks

综合分析

为什么这个问题值得严肃对待？

LLM智能体正在从实验室走向生产环境——金融交易、医疗咨询、自动化购物等场景中已能看到它们的身影。一旦这些智能体被植入后门，后果不堪设想：它可能在完成网购任务时泄露用户隐私信息，或在调用API时秘密调用攻击者指定的不可信接口。

更令人担忧的是Thought-Attack。传统安全检测关注“输入-输出”这对关系——输入正常、输出异常，就能发现问题。但Thought-Attack打破了这一逻辑：输入正常、输出也正常，只有中间推理过程是恶意的。这意味着现有的内容审核、输出过滤等防御手段完全派不上用场。

为什么现有防御失效？

论文指出，现有文本后门防御算法难以缓解这些攻击。原因在于：

1. 防御设计的对象不匹配：现有防御针对的是传统LLM的“输入-输出”范式，而智能体攻击的污染可能发生在中间推理步骤；
2. 观测来源不可控：Observation-Attack的触发器来自外部环境返回的观测——攻击者可以通过污染外部数据源（如搜索引擎结果、API返回内容）来激活后门，这部分输入不在模型所有者的控制范围内；
3. Thought-Attack的隐蔽性：中间推理过程通常不直接暴露给最终用户，这使得异常检测变得极其困难。

与RL智能体后门攻击的对比

此前已有针对强化学习智能体的后门攻击研究，它们通常通过在特定步骤向智能体状态中注入触发器，或选择特定动作作为触发器。但本文指出，LLM智能体的后门攻击形式更为多样和隐蔽。同期也有一些工作尝试研究LLM智能体的后门攻击，但它们仍沿用传统LLM后门攻击的形式——仅是本文所揭示的智能体后门攻击的一个特例（即Query-Attack）。

实践应用

对智能体开发者的建议

1. 训练数据溯源与清洗。鉴于本文的攻击通过数据投毒实现，开发者应建立严格的训练数据溯源机制，对第三方数据源进行清洗和异常检测。

2. 部署前的红队测试。建议在智能体上线前，使用本文公开的攻击代码对模型进行全面测试，评估其在不同攻击形式下的脆弱程度。

3. 中间推理过程监控。对于生产环境中的智能体，建议记录并审计其完整的推理轨迹（不仅仅是最终输出），建立针对异常推理模式的检测机制。

4. 外部输入隔离。对于Observation-Attack的威胁，建议对外部环境返回的观测进行隔离和净化处理，不直接将其作为模型输入的组成部分。

对研究者的建议

• 防御研究的空白亟待填补：本文最大的贡献之一是暴露了现有防御的失效，这为后续研究指明了方向——需要开发专门针对LLM智能体场景的后门防御算法；
• 更多框架和任务的验证：本文基于ReAct框架和两个任务进行了验证，未来研究可扩展至更多框架（如AutoGPT、BabyAGI等）和更多任务类型；
• 更广泛的威胁模型：本文迈出了第一步，未来可进一步探索更复杂的攻击场景，如多智能体协同场景下的后门传播等。

参考资料

• 原始论文：https://arxiv.org/abs/2402.11208
• 代码与数据：https://github.com/lancopku/agent-backdoor-attacks
• 接受会议：NeurIPS 2024（Camera Ready Version）