toolin.ai logo
toolin.ai
首页
AI工具
AI技能包
AI资讯
精选推文
AI提示词
提交AI工具提交
toolin.ai logo
toolin.ai

AI玩家的创作利器库,发现最佳AI工具组合,提升您的创作效率

AI工具1,319个
技能包11个
产品功能
  • AI工具
  • AI技能包
  • AI资讯
  • 精选推文
关于我们
  • 关于Toolin
  • 联系我们
  • 合作洽谈
  • 更新日志
关注我们
© 2025 toolin.ai. All rights reserved.
服务条款隐私政策

TRIAD:让AI智能体不只会拒绝,还能修复危险计划

2026/07/06
·toolin小编

开源Agent安全框架TRIAD用三路决策(继续/更新/拒绝)替代二分类护栏,在提示注入攻击下仍能保住用户原本任务。

TRIAD:让AI智能体不只会拒绝,还能修复危险计划
TRIAD:让AI智能体不只会拒绝,还能修复危险计划
2026/07/06

TRIAD:让AI智能体不只会拒绝,还能修复危险计划

开源Agent安全框架TRIAD用三路决策(继续/更新/拒绝)替代二分类护栏,在提示注入攻击下仍能保住用户原本任务。

现有护栏卡在哪里TRIAD是什么:把护栏从"裁判"变成"反馈提供者"实验数据:不只是把攻击率压低应用场景资源链接一句话总结
AI产品

当Agent开始调邮件、查数据库、跑代码、发消息,安全风险就不只是"答错问题"这么简单。一段网页里的恶意文本、一封邮件里夹带的指令,都可能让Agent偏离你原本的任务——去泄露客户邮箱、给无关人发会议地点、调用本不该用的工具。墨尔本大学团队开源的 TRIAD(Tripartite Response for Iterative Agent Guardrailing),给出的解法不是"一拒了之",而是让护栏学会修复危险计划。它面向的是已经被提示注入污染、但用户原始目标仍然合理的灰色地带。

TRIAD项目封面

现有护栏卡在哪里

传统的guardrail(护栏)模型在Agent执行工具前做一次"安全/不安全"二分类判断。看起来直接,但在真实Agent场景下经常失灵:

  • 整单放行:让攻击成功,Agent照着恶意指令跑
  • 整单拒绝:用户原本正常的任务也被一起牺牲掉

真实的攻击往往不是"整个任务都有害",而是"正常任务里混进了不可信指令"。比如你让Agent"搜酒店并发邮件",搜索结果或邮件正文里塞了恶意内容。这时既不能放,也不能简单拒。

TRIAD是什么:把护栏从"裁判"变成"反馈提供者"

TRIAD的核心思路是把二元决策扩展成三类:

  • Proceed(继续):当前行动计划安全,且与用户目标一致,Agent照常执行
  • Refuse(拒绝):用户请求本身有害,或没法通过修改计划安全完成,直接拒
  • Update(更新):最关键的中间态——计划被提示注入污染,但用户原始目标仍合理

TRIAD三路决策流程

图1:TRIAD流程。Agent每步工具调用前,Tri-Guard检查行动计划并给出Proceed/Update/Refuse三类决策;被污染但仍可修复的任务,会被回写自然语言反馈,引导Agent改计划。

进入Update分支后,TRIAD不会终止任务,而是让Tri-Guard生成自然语言反馈,写回Agent的临时上下文,明确指出风险来源、任务偏离点和当前工具调用的问题,引导下游Agent重新规划。

这就形成了一个闭环:Agent提计划→Tri-Guard检查→需要更新就把反馈注入回上下文→Agent再生成新计划→再过Tri-Guard检查,直到允许执行、被拒绝,或达到最大更新次数。

实验数据:不只是把攻击率压低

在ASB(测直接/间接提示注入)和AgentHarm(测拒绝有害任务、保留正常任务)两个benchmark上,覆盖Qwen3-32B、Kimi-2.5、GPT-5.1、Gemini-2.5-Pro四个Agent backbone:

TRIAD实验结果

表1:TRIAD在四类Agent上的实验结果。对比无防护ReAct、ToolSafe、TRIAD+TS-Guard、TRIAD+Tri-Guard。

关键数字:

  • 平均攻击成功率(ASR)从74.45%降到10.42%
  • 同时平均正常任务完成率(TSR)从28.45%提升到68.60%

研究团队特别强调了一个反直觉点:低ASR不等于好护栏。不少baseline能压低攻击成功率,但代价是高拒绝率——它们靠"差不多就拦/差不多就放弃"来降风险,正常任务也跟着完不成。以TS-Guard为例,ASB-DPI和ASB-IPI上的拒绝率高达88.80%和94.63%,对应的TSR只有1.33%和0.59%,几乎等于把用户任务全放弃了。

决策分布变化

图3:训练前后guardrail决策分布。Tri-Guard更倾向于把被污染的行动路由到Update,而不是直接Refuse。

应用场景

TRIAD适合所有需要把Agent放进真实生产环境、又担心提示注入的团队:

  • 企业办公Agent:处理邮件、日历、文档时,邮件正文或网页内容可能夹带恶意指令
  • 数据分析Agent:调外部API、读数据库返回时,结果里可能藏污染
  • 自动化助手:浏览网页、提交工单、操作CRM等长链路任务
  • Agent安全研究:可作为可对比的护栏baseline,论文、代码、项目主页都开放

资源链接

  • 论文:https://arxiv.org/abs/2606.05805
  • 代码:https://github.com/YUHAOSUNABC/TRIAD
  • 项目主页:https://yuhaosunabc.github.io/TRIAD/

第一作者Yuhao Sun为墨尔本大学博士生,研究方向为Trustworthy AI与Agent Safety;合作者包括墨尔本大学Jiacheng Zhang、清华大学Zhexin Zhang,由A/Prof. Xingliang Yuan、Dr. Feng Liu与Dr. Shaanan Cohney共同指导。

一句话总结

TRIAD把Agent护栏从"二分类裁判"重新定义成"反馈驱动的规划调节器"——根据任务是否仍可修复,选择继续、改计划或拒绝,而不是把所有风险都导向同一个"拒绝"出口。

所有文章

作者

avatar for toolin小编
toolin小编

分类

  • AI产品
现有护栏卡在哪里TRIAD是什么:把护栏从"裁判"变成"反馈提供者"实验数据:不只是把攻击率压低应用场景资源链接一句话总结

相关文章

MaineCoon:史上最快流式音视频社交模型
AI产品

MaineCoon:史上最快流式音视频社交模型

Catnip 团队推出 22B 参数流式音视频模型 MaineCoon,单卡 H100 跑出 47.5 FPS,成本仅为 Veo 3 的 1/2000,支持 30 分钟以上音画同出。

avatar for toolin小编
toolin小编
8小时前
Codex Security Plugin:用 OpenAI 一键扫描代码安全隐患
AI产品

Codex Security Plugin:用 OpenAI 一键扫描代码安全隐患

OpenAI 推出 Codex Security 插件,在 Codex 里一键扫描代码漏洞、验证可利用性并给出修复方案,附带完整上手步骤。

avatar for toolin小编
toolin小编
1天前
阿里 HappyHorse 1.1:视频生成五大维度升级
AI产品

阿里 HappyHorse 1.1:视频生成五大维度升级

阿里巴巴发布 HappyHorse 1.1 视频生成模型,动态表现力、主体一致性等五大维度提升,1080P 价格下调 25%,已上线百炼平台。

avatar for toolin小编
toolin小编
8小时前