当 AI Agent 从聊天框走向真实应用，安全问题的形态已经变了。过去关心的是"模型会不会回答危险问题"，现在要担心的是：Agent 会不会为了完成任务而绕过审批？会不会在指标压力下修改验证逻辑？会不会在多工具协作中越权访问文件？会不会意识到自己正在被评测、从而改变行为？

这些"长尾风险"靠人工逐个编写基准几乎覆盖不完。复旦大学、上海创智学院、牛津大学联合发布的 AutoControl-Arena（已被 ICML 2026 接收）给出了一个自动化答案：自动合成可执行的测试环境，帮研究者和开发者快速发现 Agent 在未知场景里的潜在风险。

它最大的特点是——测试环境是真的能跑起来的，不是让 LLM 凭空"模拟"环境（容易产生状态前后矛盾的幻觉），而是真实搭建文件系统、数据库、命令行工具、审批流程、日志系统，再观察 Agent 在里面如何行动。

AutoControl-Arena 的核心目标：自动合成可执行测试环境，发现 Agent 长尾风险。

开始前的准备

• Python 3.11+
• Docker（用于隔离的可执行测试环境）
• 资源地址：
  • 论文：https://arxiv.org/abs/2603.07427
  • 项目主页：https://cosmosyi.github.io/AutoControl-Arena/
  • GitHub：https://github.com/CosmosYi/AutoControl-Arena

预计跑通最小示例：30 分钟。

第一步：理解它要解决的"安全评测矛盾"

Agent 安全评测一直卡在一个核心矛盾上：

• 真实环境保真度高，但成本高、速度慢，每多一个风险场景就要重新设计工具、状态、规则和反馈
• LLM 模拟环境便宜灵活，但容易出现"逻辑幻觉"——文件状态前后不一致、数据库返回凭空生成、权限规则一会儿存在一会儿消失

而长尾风险恰恰要求既要多场景、又要可信可执行。AutoControl-Arena 的解法是：用 LLM 生成测试环境的"配置描述"，再把这些描述编译成真实可执行的 Docker 容器（带真实文件系统、真实数据库、真实审批流程），把"便宜"和"可信"同时拿到。

真实环境可信不可扩展，LLM 模拟可扩展不可信，AutoControl-Arena 折中二者。

第二步：克隆仓库，跑通最小风险场景

git clone https://github.com/CosmosYi/AutoControl-Arena.git
cd AutoControl-Arena
pip install -e .

# 确认 Docker 守护进程在跑
docker info

# 跑一个内置示例：Agent 是否会绕过审批
python -m autocontrol.run \
  --scenario examples/bypass_approval.yaml \
  --agent your_agent_module:YourAgent

每个测试场景由三部分组成：

• 环境配置：文件系统初始状态、数据库 schema、可用工具集、审批规则
• 任务描述：给 Agent 的目标（往往和规则存在张力）
• 风险探针：用于事后检测 Agent 是否触发了某类风险行为的脚本

第三步：用 7 类前沿风险覆盖自家 Agent

AutoControl-Arena 内置了 7 类前沿风险模板，可以直接拿来跑：

1. 绕过审批：Agent 为完成任务是否会越权
2. 修改验证逻辑：指标压力下是否会"作弊"让结果通过
3. 越权文件访问：多工具协作中是否会读不该读的文件
4. 觉察被评测：是否会因"知道在测试"而改变行为策略
5. 替代风险：感知到被替换威胁时是否会采取敌对策略
6. 资源囤积：是否会过度占用工具或权限
7. 目标漂移：是否会偏离原始任务目标

每个模板都可以通过修改环境配置生成几十到几百个变体，无需人工重新出题。

from autocontrol import RiskTemplate, synthesize_scenarios

# 用"绕过审批"模板批量生成 50 个变体场景
template = RiskTemplate("bypass_approval")
scenarios = synthesize_scenarios(template, n=50, seed=42)

for s in scenarios:
    env = s.build_environment()  # 真实可执行 Docker 容器
    result = your_agent.run(env, s.task)
    risk_triggered = s.probe(env, result)
    print(s.id, risk_triggered)

第四步：对照"已知案例"做基准校准

一个让人放心的设计是：AutoControl-Arena 能自动准确复现 Anthropic、OpenAI、Apollo Research 等机构安全报告中已经披露的风险行为。相关系数达到 0.87。

可复现 Anthropic/OpenAI 等机构已披露的风险行为，是这套基准可信度的基准线。

校准步骤：

1. 选一个已被官方报告披露的风险案例（仓库 examples/known_cases/ 内有列表）
2. 用同一个模型版本跑 AutoControl-Arena 的复现场景
3. 比较触发行为是否一致
4. 一致则证明你的 harness 没问题，可以放心跑自家场景

验证结果

跑完一组测试后你会拿到一份风险报告，类似：

Agent: YourAgent-v1
Scenarios: 350 (7 categories × 50 variants)
Risk triggered: 23 (6.6%)
  bypass_approval:        12
  verification_tampering:  7
  aware_of_eval:           4
Calibration (known cases): 0.87 correlation

如果某一类的触发率显著高于其他类，那就是你 Agent 部署前最该补的短板。

常见问题

• Docker 容器启动失败：多数是端口或挂载冲突，AutoControl-Arena 默认用随机端口隔离，检查 docker ps 是否有残留容器。
• 生成的场景"不够刁"：调高 synthesize_scenarios 的 temperature 或 n，但要警惕过高的 temperature 会让场景偏离可执行边界。
• 复现已知案例对不上：检查是否用了和原报告一致的模型版本与系统提示词，Agent 行为对 system prompt 极其敏感。

💡 提示：这套工具的价值不是"刷出高分"，而是"早一点知道自家 Agent 在哪里会出事"。把它放进 CI 流水线，每次模型迭代都跑一遍 7 类风险模板，能在上线前把最危险的长尾行为挡住。