toolin.ai logo
toolin.ai
首页
AI工具
AI技能包
AI资讯
精选推文
AI提示词
提交AI工具提交
toolin.ai logo
toolin.ai

AI玩家的创作利器库,发现最佳AI工具组合,提升您的创作效率

AI工具1,319个
技能包11个
产品功能
  • AI工具
  • AI技能包
  • AI资讯
  • 精选推文
关于我们
  • 关于Toolin
  • 联系我们
  • 合作洽谈
  • 更新日志
关注我们
© 2025 toolin.ai. All rights reserved.
服务条款隐私政策

Spatial-TTT:2B 参数的开源空间智能模型

2026/07/07
·toolin小编

清华开源 Spatial-TTT 入选 ECCV 2026,仅 2B 参数在多个空间智能基准上超过 GPT-5、Gemini-3-pro,能处理 120 分钟流式视频、边看边更新空间记忆。

Spatial-TTT:2B 参数的开源空间智能模型
Spatial-TTT:2B 参数的开源空间智能模型
2026/07/07

Spatial-TTT:2B 参数的开源空间智能模型

清华开源 Spatial-TTT 入选 ECCV 2026,仅 2B 参数在多个空间智能基准上超过 GPT-5、Gemini-3-pro,能处理 120 分钟流式视频、边看边更新空间记忆。

Spatial-TTT 是什么核心能力1. 流式处理 120 分钟视频2. 2B 参数打赢闭源大模型3. 持续更新而非静态快照应用场景实际体验建议
AI产品

机器人、自动驾驶、AR 这些真实场景里,空间理解从来都不是"看一眼图像"就能解决的。相机在动、视角在变、目标时隐时现——空间信息分散在长时间视频流里,模型不仅要"看得见",更要**"记得住、连得起来、还能持续更新"**。这正是多模态大模型迈向真实世界的一道关键门槛。

清华大学博士生刘芳甫担任一作的空间智能模型 Spatial-TTT,被计算机视觉顶会 ECCV 2026 正式接收。它用一句话给出自己的答案:让模型不只是看视频,而是在观看过程中边看、边更新、边"长出"一份空间记忆。

仅有 2B 参数的它,在论文测试的多个专项空间智能基准上超过 GPT-5、Gemini-3-pro 等闭源模型,能处理最长 120 分钟的流式视频,并已开源。

Spatial-TTT 是什么

可以把它理解成多模态模型版的"工作记忆":传统 VLM(视觉语言模型)每次看一帧或一段固定长度视频,空间信息要么塞进上下文、要么直接丢;Spatial-TTT 的核心是在推理过程中持续向一个外部空间记忆模块写入和更新,让模型对空间的理解随观看时长累积,而不是依赖无限膨胀的上下文窗口。

这和人理解空间的方式更像——你不是一次性看完整个房间,而是在移动、观察、遗忘、修正中,逐渐形成稳定的 spatial memory。

Spatial-TTT 工作机制

Spatial-TTT 在 ECCV 2026 中给出的核心思路:流式视频中边看边更新空间记忆。

核心能力

1. 流式处理 120 分钟视频

不靠把所有帧塞进上下文,而是通过 test-time 空间记忆更新机制,把长达 2 小时的视频"消化"进一个紧凑的、可查询的 spatial state。这意味着长视频不再被粗暴截断,也不会爆显存。

2. 2B 参数打赢闭源大模型

在 SpatialBench、视频空间推理等多个专项基准上,2B 的 Spatial-TTT 超过 GPT-5、Gemini-3-pro 等参数量数十倍于它的闭源模型。这是开源社区在"空间智能"这个细分赛道上少见的领先。

3. 持续更新而非静态快照

真正的卖点不是单次推理强,而是当世界变化时模型能跟上。同一个场景里物体被移动、遮挡、重新出现,Spatial-TTT 的 spatial memory 会动态修正,而不是停留在第一次看到的快照里。

应用场景

明确的目标用户:

  • 机器人与具身智能团队:作为机器人的 spatial perception 模块,处理长时序视觉输入并维持稳定空间记忆,比直接用通用 VLM 更省显存、更稳
  • 自动驾驶感知工程师:处理长时序行车视频,做场景级别的空间理解与目标追踪
  • AR / VR 应用开发者:在持续变化的相机视角下做空间锚定、语义建图
  • 空间智能研究者:作为强基线复现、改进,论文与代码已开源

需要清醒的是,Spatial-TTT 当前是专项能力模型,不是通用 VLM 的替代品——它的强项是空间理解,文字对话能力并不突出,做通用聊天机器人选它不合适。

实际体验建议

  • 作为长视频空间推理的基线:在自己数据集上和 GPT-5、Gemini-3-pro 对比,重点关注 120 分钟级别的长流式场景,这是它领先最明显的地方
  • 作为机器人 perception 模块:和 VLA 框架结合时,把 spatial memory 当作可查询的状态接口,比直接拼接图像 embedding 更省 token
  • 注意输入假设:它假设输入是连续的、有时间戳的视频流,对图片集(无时序)的优势会缩水

💡 提示:ECCV 2026 的论文与开源代码会持续更新,关注 SpatialBench 这个基准本身——它正在成为空间智能方向的"事实标准"评测集,提前熟悉有助于自家模型对标。

所有文章

作者

avatar for toolin小编
toolin小编

分类

  • AI产品
Spatial-TTT 是什么核心能力1. 流式处理 120 分钟视频2. 2B 参数打赢闭源大模型3. 持续更新而非静态快照应用场景实际体验建议

相关文章

Codex 开源模式:一行配置接入本地模型
AI产品

Codex 开源模式:一行配置接入本地模型

OpenAI Codex 新增 OSS 模式,支持通过 model_providers 配置接入 Ollama、LM Studio 等本地模型服务,可切换模型降低成本。

avatar for toolin小编
toolin小编
8小时前
Codex 三种电脑操作模式使用指南
AI教程

Codex 三种电脑操作模式使用指南

Codex 的 Computer Use、Chrome 插件、应用内浏览器三种操作模式各有适用场景,本文拆解权限体系并给出最佳实践。

avatar for toolin小编
toolin小编
8小时前
Claude Science:科研界的 Claude Code,附免费开源平替
AI产品

Claude Science:科研界的 Claude Code,附免费开源平替

Anthropic 推出面向科研的 AI 工作台 Claude Science,内置 60+ 技能、可复现。另有开源平替 OpenScience 支持 DeepSeek/GLM。

avatar for toolin小编
toolin小编
1天前