Together AI

Together AI 是 2022 年成立于旧金山的 AI Native Cloud，把开源权重模型做成可生产、可微调的基础设施。它不自研基础模型，只托管 38 家模型实验室的 200+ 开源权重，自研在推理引擎、内核与 GPU 调度，服务要为单位成本负责的开发者与团队。

核心能力

• Serverless 推理：OpenAI 兼容，换 base_url 即可跑 200+ 模型，迁移零成本
• Batch 批量推理：异步提交离线任务，约五折，适合评测与数据生产
• 预留吞吐 PTU：$0.05/PTU/分钟、1 个月起订，换来保底吞吐与 99% SLA
• 专属实例与 GPU 集群：单租户 H100/B200 到裸算力，抢占式 H100 $1.99/GPU 小时起
• 微调与后训练：SFT、DPO 与自定义强化学习一站式，SFT 低至 $0.34/1M 训练 tokens
• 系统层自研：FlashAttention-4、ThunderKittens、ATLAS 落进产品，同款模型更快更便宜

适用场景 在生产环境跑 DeepSeek、Qwen、GLM、Kimi、Llama 的产品团队；月度账单数千到数万美元、要算清单位成本的工程负责人；需要微调加部署闭环、要数据合规的受监管行业；短期要大把 GPU 做训练与 RL rollout 的团队。

独特优势 OpenRouter 是转售层，没有自有 GPU；Fireworks 延迟更低但更贵，Groq 快却只有十几个模型。Together AI 的差异是算力自有加自研内核，推理、微调、集群一张账单，价格公开可算，并由 $1.15B bookings 与 IBM $240M 长约背书。

编辑评价 做开源模型托管，它是最值得列为「主力供应商」的两三家之一。社区口径是「快、便宜、能放心推 token」，扣分全在治理：没有免费试用先充 $15、模型下线无缓冲、限流与退款屡被投诉，旗舰模型首包延迟也落后 Groq、Fireworks。