Google在Android Show上发布Magic Pointer,让鼠标光标拥有视觉理解能力,指着屏幕说'把这个移到那里'就能操作,告别复杂提示词。


Google在Android Show上发布Magic Pointer,让鼠标光标拥有视觉理解能力,指着屏幕说'把这个移到那里'就能操作,告别复杂提示词。
过去50多年,鼠标光标的本质几乎没变:它知道自己停在屏幕的哪个坐标,知道X和Y,却不知道你指向的是一行代码、一张发票还是一张风景照。它能做的,不过是点击、拖拽、等待下一次点击。
Google在Android Show上发布的"魔法指针"(Magic Pointer),要给这根古老的箭头装上"眼睛"和"大脑"。
现在用AI做一件简单的事有多麻烦?比如你在阅读一份PDF时想让AI总结一张图表,流程是:截图 -> 保存 -> 打开浏览器 -> 进入AI网页 -> 上传图片 -> 输入提示词。
Google把这种操作称为"AI绕路"(AI detours)。你被迫离开当前工作流,切换到另一个工具,做完再切回来。
Magic Pointer的思路是:AI的能力不再局限于某个App或网页,而是附着在鼠标光标上,随时待命。
不需要记忆快捷键。轻轻晃一下鼠标,AI界面就会基于当前悬停的内容自动浮现,给出操作建议:

Google提炼了两个核心交互原则。
人类最高效的沟通方式是指着屏幕说"把这个往右挪一点"。手势配合极简口语,才是自然的交互密码。
Magic Pointer让你可以这样操作:

过去,鼠标只能告诉系统"我点了哪里"。现在,它开始告诉系统"我指的是什么"。
在计算机眼里,屏幕只是几百万个发光的像素点。Magic Pointer能把死板的像素变成活的实体:

Googlebook是Google全新推出的笔记本产品线,被定义为"Android手机的完美伴侣"。所有机型机身上都集成了一条"Glowbar"发光条作为视觉标识。
Magic Pointer代表了AI交互范式的一次重要转变:从"你去找AI"变成"AI顺着你的鼠标来到你的指尖"。不需要学习提示词工程,不需要切换窗口,用最本能的指和说完成任务。
如果你经常在阅读、浏览、工作中需要AI辅助但嫌切换工具太麻烦,这个功能值得关注。不过目前Magic Pointer还处于实验性阶段,完整能力需要在Googlebook硬件上才能体验。

魔搭开源Diffusion Templates框架和11个现成模板,支持亮度、风格、修图、超分辨率等即插即用控制,大幅降低可控生成门槛。

GitHub 20k星的开源项目OpenCLI,将100+网站、微信、飞书等私域数据转为命令行操作,本地浏览器执行零Token消耗。

OpenAI Codex进入ChatGPT手机App,支持iOS和Android全量用户,开发者可随时随地审批命令、跨设备控制多台电脑。