toolin.ai logo
toolin.ai
首页
AI工具
AI技能包
AI文章
AI提示词
提交AI工具提交
toolin.ai logo
toolin.ai

AI玩家的创作利器库,发现最佳AI工具组合,提升您的创作效率

AI工具1,486个
技能包11个
产品功能
  • AI工具
  • AI技能包
  • AI快讯
  • AI文章
  • 精选推文
  • 提交AI工具
  • 推广AI工具
关于我们
  • 关于Toolin
  • 联系我们
  • 合作洽谈
  • 更新日志
关注我们
© 2025 toolin.ai. All rights reserved.
服务条款隐私政策

Peekaboo v3 发布:OpenClaw 终于能操作你的桌面了

2026/05/12
·toolin小编

OpenClaw 的 Computer Use 工具 Peekaboo v3 正式发布,让 AI 不只会回消息,还能看屏幕、点按钮、操作真实桌面应用。

Peekaboo v3 发布:OpenClaw 终于能操作你的桌面了
Peekaboo v3 发布:OpenClaw 终于能操作你的桌面了
2026/05/12

Peekaboo v3 发布:OpenClaw 终于能操作你的桌面了

OpenClaw 的 Computer Use 工具 Peekaboo v3 正式发布,让 AI 不只会回消息,还能看屏幕、点按钮、操作真实桌面应用。

Peekaboo 是什么为什么现在才关键与 OpenClaw 的协同实际能力演示更新节奏获取和使用
AI产品

OpenClaw 是一个把 AI Agent 放进各种消息渠道(Telegram、Slack、iMessage、WhatsApp)的开源项目。但它一直有个短板:Agent 只能在聊天框里给建议,碰不到真实桌面。Peekaboo v3 的发布补上了这最缺的一环 -- 它让 AI 能截图、识别窗口、读 UI 元素、找按钮、点、打字、滚屏、切应用。OpenClaw 从"会聊天"变成了"会干活"。

Peekaboo v3 发布

Peekaboo 是什么

对普通用户来说,Peekaboo 最好理解成一套 macOS 自动化工具。它能:

  • 截图并识别窗口层级
  • 读取 UI 元素(按钮、文本、输入框)
  • 找到目标并执行点击、输入、滚动
  • 切换应用、操作菜单
  • 把桌面变成 Agent 能理解的"带结构的工作场域"

传统自动化脚本最怕环境变化 -- 按钮位置一换、窗口被遮挡、弹窗突然出现,脚本就直接崩溃。Peekaboo 的价值在于把桌面像素变成一张带结构的"地图",AI 看到的不只是一片像素,而是控件、窗口、文本、按钮之间的关系。

为什么现在才关键

Peekaboo 并非横空出世,它在去年 6 月就已上线初版。但过去模型的视觉能力和 Computer-Use 能力还没到位,AI 操作桌面就像第一次摸触控板的人 -- 动作大、心里虚。

最近的变化是:模型视觉能力和 Computer-Use 能力都过了临界点。单项进步(多识别一点、多点准一点)叠加起来,Agent 开始接近可持续跑流程的状态。这时,底层自动化工具的价值被放大 -- 模型再聪明,也需要稳定的输入和执行。

Peekaboo 工作原理

与 OpenClaw 的协同

OpenClaw 过去解决的是 连接问题 -- 人从哪里发消息、消息怎么进来、Agent 怎么处理、结果怎么回去。

Peekaboo 解决的是 执行问题 -- Agent 接到任务后,能不能看到真实桌面、找到可操作对象、一步步推进。

两件事合在一起,才接近普通人想象中的 AI 助手:

组件负责什么
OpenClaw谁来找我、要做什么、交给哪个 Agent
Peekaboo屏幕上有什么、按钮在哪里、这一步该往哪操作

加上 Peekaboo 后,OpenClaw 不再只是多渠道消息网关,而是一个能在本机环境里真正办事的系统 -- 能登录机器、看屏幕、查问题、点配置、跑流程。

实际能力演示

社区里已经有人用 Peekaboo 在浏览器里驱动远程 iOS 模拟器。流程大概是:

  1. Peekaboo 分析移动应用截图,识别出页面上的所有 UI 元素
  2. 注册这个屏幕为一个"状态"
  3. 点击目标按钮(如 "Create Your Vault")
  4. 等待界面变化,再截图
  5. 根据新截图继续探索

关键不只是"AI 看懂一张图",而是后半段:看懂之后要注册状态、选择目标、执行点击、等待反馈、根据新截图继续走。每一步都可以被记录下来,这才是 Agent 从玩具走向工具的分界线。

更新节奏

Peekaboo v3 正式版发布后,更新节奏明显加速:一天之内连推 v3.1.0、v3.1.1、v3.1.2 三个版本。更新内容偏向工程细节:模型目录、工具 schema、打包产物、版本标记、捕获路径、daemon 调度等。这些"脏活"做得越多,用户越少感知到它 -- 好工具的最高境界是没存在感。

获取和使用

  • 官网:peekaboo.sh
  • GitHub:github.com/openclaw/Peekaboo
  • 配合 OpenClaw 使用效果最佳:github.com/openclaw/OpenClaw
所有文章

作者

avatar for toolin小编
toolin小编

分类

  • AI产品
Peekaboo 是什么为什么现在才关键与 OpenClaw 的协同实际能力演示更新节奏获取和使用

相关文章

OpenWorker:吴恩达开源的桌面 AI 同事,能直接交付成品
AI产品

OpenWorker:吴恩达开源的桌面 AI 同事,能直接交付成品

吴恩达开源 OpenWorker(MIT),本地优先、模型无关的桌面 Agent,连接 25+ 工具,把“帮我准备客户 brief”变成可打开的成品文档。

avatar for toolin小编
toolin小编
2周前
AutoMIA:两张图生成可 3D 打印的镜像错觉,单卡 RTX 3090 跑通
AI产品

AutoMIA:两张图生成可 3D 打印的镜像错觉,单卡 RTX 3090 跑通

清华 CVPR'26 Highlight 开源项目 AutoMIA,输入两张图即可生成可 3D 打印的体素镜像错觉艺术模型(STL-ready),单张 RTX 3090、76 秒/设计。

avatar for toolin小编
toolin小编
2周前
Macaron-V1:用 MoL 把个性化经验压进 LoRA 的开源 Coding 大模型
AI产品

Macaron-V1:用 MoL 把个性化经验压进 LoRA 的开源 Coding 大模型

心洲科技 Mind Lab 开源 Macaron-V1(Venti/Coding-Venti/Tall 三档),基于 GLM-5.2 744B + 四个 1B LoRA 专家的 Mixture-of-LoRA 架构,提供免费 hosted API 和 UI4A 插件。

avatar for toolin小编
toolin小编
2周前