开源Agent安全框架TRIAD用三路决策(继续/更新/拒绝)替代二分类护栏,在提示注入攻击下仍能保住用户原本任务。


开源Agent安全框架TRIAD用三路决策(继续/更新/拒绝)替代二分类护栏,在提示注入攻击下仍能保住用户原本任务。
当Agent开始调邮件、查数据库、跑代码、发消息,安全风险就不只是"答错问题"这么简单。一段网页里的恶意文本、一封邮件里夹带的指令,都可能让Agent偏离你原本的任务——去泄露客户邮箱、给无关人发会议地点、调用本不该用的工具。墨尔本大学团队开源的 TRIAD(Tripartite Response for Iterative Agent Guardrailing),给出的解法不是"一拒了之",而是让护栏学会修复危险计划。它面向的是已经被提示注入污染、但用户原始目标仍然合理的灰色地带。

传统的guardrail(护栏)模型在Agent执行工具前做一次"安全/不安全"二分类判断。看起来直接,但在真实Agent场景下经常失灵:
真实的攻击往往不是"整个任务都有害",而是"正常任务里混进了不可信指令"。比如你让Agent"搜酒店并发邮件",搜索结果或邮件正文里塞了恶意内容。这时既不能放,也不能简单拒。
TRIAD的核心思路是把二元决策扩展成三类:

图1:TRIAD流程。Agent每步工具调用前,Tri-Guard检查行动计划并给出Proceed/Update/Refuse三类决策;被污染但仍可修复的任务,会被回写自然语言反馈,引导Agent改计划。
进入Update分支后,TRIAD不会终止任务,而是让Tri-Guard生成自然语言反馈,写回Agent的临时上下文,明确指出风险来源、任务偏离点和当前工具调用的问题,引导下游Agent重新规划。
这就形成了一个闭环:Agent提计划→Tri-Guard检查→需要更新就把反馈注入回上下文→Agent再生成新计划→再过Tri-Guard检查,直到允许执行、被拒绝,或达到最大更新次数。
在ASB(测直接/间接提示注入)和AgentHarm(测拒绝有害任务、保留正常任务)两个benchmark上,覆盖Qwen3-32B、Kimi-2.5、GPT-5.1、Gemini-2.5-Pro四个Agent backbone:

表1:TRIAD在四类Agent上的实验结果。对比无防护ReAct、ToolSafe、TRIAD+TS-Guard、TRIAD+Tri-Guard。
关键数字:
研究团队特别强调了一个反直觉点:低ASR不等于好护栏。不少baseline能压低攻击成功率,但代价是高拒绝率——它们靠"差不多就拦/差不多就放弃"来降风险,正常任务也跟着完不成。以TS-Guard为例,ASB-DPI和ASB-IPI上的拒绝率高达88.80%和94.63%,对应的TSR只有1.33%和0.59%,几乎等于把用户任务全放弃了。

图3:训练前后guardrail决策分布。Tri-Guard更倾向于把被污染的行动路由到Update,而不是直接Refuse。
TRIAD适合所有需要把Agent放进真实生产环境、又担心提示注入的团队:
第一作者Yuhao Sun为墨尔本大学博士生,研究方向为Trustworthy AI与Agent Safety;合作者包括墨尔本大学Jiacheng Zhang、清华大学Zhexin Zhang,由A/Prof. Xingliang Yuan、Dr. Feng Liu与Dr. Shaanan Cohney共同指导。
TRIAD把Agent护栏从"二分类裁判"重新定义成"反馈驱动的规划调节器"——根据任务是否仍可修复,选择继续、改计划或拒绝,而不是把所有风险都导向同一个"拒绝"出口。

Catnip 团队推出 22B 参数流式音视频模型 MaineCoon,单卡 H100 跑出 47.5 FPS,成本仅为 Veo 3 的 1/2000,支持 30 分钟以上音画同出。

OpenAI 推出 Codex Security 插件,在 Codex 里一键扫描代码漏洞、验证可利用性并给出修复方案,附带完整上手步骤。

阿里巴巴发布 HappyHorse 1.1 视频生成模型,动态表现力、主体一致性等五大维度提升,1080P 价格下调 25%,已上线百炼平台。