评测基准（benchmark）的繁荣，掩盖不了一个尴尬事实：现有的 CLI Agent 测试集大多是专家手工"出题"，偏爱刁钻谜题，离工程师每天真实干的活——装环境、配依赖、部署服务、编排容器——隔着一道墙。榜单上的高分，未必换得来真实世界里"会干活"。

TerminalWorld 由 UCL、南京大学、腾讯合作完成，是首个完全基于真实人类终端轨迹自动构建、且可持续更新的终端 Agent 评测基准。它从 8 万多条开发者自愿上传的终端录像出发，自动逆向出 1530 个真实任务，覆盖 18 类工作流、1280 个独特命令工具。无论你是做 Agent 评测研究、选型 CLI 工具，还是想验证自家模型在真实场景里到底行不行，它都是一块少见的"真金火炼"的试金石。

TerminalWorld 主页，任务全部来自真实开发者终端会话的逆向工程。

开始前的准备

跑通这个基准你需要：

• Python 3.10+ 环境（推荐用 conda 或 venv 隔离）
• 至少一个待测的 Agent 框架或 CLI 工具（如 Codex CLI、Claude Code、SWE-agent 等）
• 项目仓库与数据集地址：
  • 论文：https://arxiv.org/abs/2605.22535
  • 项目主页：https://terminalworld.ai/
  • 数据集：https://huggingface.co/datasets/EuniAI/TerminalWorld
  • 代码仓库：https://github.com/EuniAI/TerminalWorld

预计跑通最小子集：1–2 小时（取决于 Agent 调用频率）。

第一步：理解 TerminalWorld 的设计哲学

它和传统基准（如 Terminal-Bench）的根本差别在于数据来源：

源数据平台是开源的 asciinema（https://asciinema.org/），一个开发者自愿分享终端会话录像的公开平台。每条录像不是像素视频，而是带时间戳的结构化文本流（每一条命令、每一次回显都被精确记录），这是 TerminalWorld 能自动逆向出"可执行任务"的前提。

asciinema 平台：每条终端会话都是结构化文本流，可被自动解析。

第二步：克隆仓库、加载数据集

git clone https://github.com/EuniAI/TerminalWorld.git
cd TerminalWorld
pip install -r requirements.txt

# 拉取数据集（HF Hub）
huggingface-cli download EuniAI/TerminalWorld \
  --repo-type dataset \
  --local-dir ./data/terminalworld

数据集内含三部分：

• 任务定义：1530 个任务，每个带初始环境快照、目标描述、验收脚本
• 工作流标签：18 类（如容器编排、CI/CD、云资源管理、依赖排障等）
• 原始轨迹：可供 Agent 学习或检索的 8 万条人类操作录像

第三步：用最小子集跑通你的 Agent

TerminalWorld 提供标准化的评测 harness，你只需要实现一个 Agent 接口：

from terminalworld import Benchmark, Agent

class MyAgent(Agent):
    def act(self, observation: str, history: list) -> str:
        # observation: 当前终端可见输出
        # history: 之前的 (命令, 输出) 序列
        # return: 下一条要执行的 shell 命令
        return your_framework.next_command(observation, history)

bench = Benchmark(data_dir="./data/terminalworld")
results = bench.evaluate(
    agent=MyAgent(),
    task_ids=bench.sample(workflow="container_orchestration", n=20),
    timeout_per_task=600,
)
print(results.success_rate, results.avg_steps)

💡 提示：第一次跑不要全量 1530 任务。先按工作流类别抽 20–50 个任务定位 Agent 的短板，再决定要不要全量评测。

第四步：对照"专家基准"，看你的 Agent 是否在"假高分"

TerminalWorld 的一个关键发现是：专家基准上的高分难以迁移到真实场景。这意味着如果只看 Terminal-Bench 这类人工题库，模型可能虚高。建议你这样对照：

1. 同一个 Agent，分别跑 TerminalWorld 子集和专家出题基准
2. 比较两类任务的成功率落差
3. 落差越大，说明 Agent 越依赖"刷题套路"，越经不起真实场景考验

这也是它最实用的用法：不是看绝对分，而是看迁移落差。

验证结果

跑通后你应得到类似结构的结果：

workflow: container_orchestration (n=20)
  success_rate: 0.45
  avg_steps: 18
  failure_modes:
    - dependency_conflict: 5
    - permission_denied: 3
    - incomplete_goal: 3

如果某个 Agent 在专家基准上 0.85、在 TerminalWorld 同类任务上只有 0.4，说明它的"高分"水分大，部署到真实工程环境前需要补课。

常见问题

• 任务初始化失败、环境起不来：多数是 Docker 镜像或网络依赖没拉到。TerminalWorld 每个任务都附 setup.sh，先单独跑一遍初始化脚本定位问题。
• Agent 卡在交互式命令（如 vim、top）里出不来：真实场景里人类也会卡，这正是 TerminalWorld 想暴露的盲区。给 Agent 加一个"超时强制退出交互式程序"的策略通常能显著改善。
• 数据集太大下载慢：用 revision 参数锁定某个 commit，配合 HF 镜像加速。