TwelveLabs

TwelveLabs 是旧金山公司 Twelve Labs 推出的视频理解基础设施，把原始视频转成可检索、可计算的向量与结构化数据。它不做视频生成，专补「找到并读懂视频」这一层，服务需要视频 RAG 的开发者与坐拥海量档案的媒体机构。

核心能力

• 语义检索：一句自然语言即可在数小时到数年的素材里定位到具体秒数，无需人工打标签。
• 多模态 Embedding：Marengo 把视频、音频、图像、文本乃至 PDF 页映射到同一 512 维空间，支持组合查询与不确定性信号。
• 结构化输出：Pegasus 按自定义 schema 分段打标，返回带时间戳的 JSON，可直接进下游流水线。
• 时间轴元数据融合：把比分、商品 ID 等外部数据对齐到片段，与视觉音频向量一起被检索。
• 规模化摄入：官方称单管道约 60 倍实时速度，单次 API 调用可处理 4 小时视频。
• Agent 与合规层：Jockey 可跨库找片并导出成片，经 MCP 接入 Claude 与 ChatGPT；Compliance 内置 40+ 地区规则包。

适用场景 媒体与体育版权方的档案变现、广告技术的上下文定向、内容合规审核、公共部门取证，以及目前最常见的架构：用 Marengo 检索到片段，再喂给大模型做下游推理。

独特优势 Google Cloud Video Intelligence API 已于 2026 年 9 月弃用、明年关停，传统任务型视频 API 正在被 Gemini 吸收。TwelveLabs 的差异点是视频原生预训练加「一次索引、长期复用」，对手已从垂直视频厂商换成通用多模态大模型。

编辑评价 在视频理解这个细分里产品完整度最高：模型谱系清晰，从 API 到 agent 到合规应用全栈跑通。但第三方口碑样本近乎为零，benchmark 均为厂商自测、无独立复现，不能当「业界第一」看；定价也仍在迁移期。高查询频次的档案型业务值得选，库小、查询少的团队用 Gemini 更省。