Groq

Groq 是 Groq, Inc. 打造的 AI 推理云平台，用自研 LPU 推理芯片换取超低延迟，并通过 GroqCloud 提供 OpenAI 兼容 API。它只做推理、不碰训练——上架模型全部来自第三方开放权重，Groq 自研的仅限推理硬件与推理栈。专为把「延迟」当作核心痛点的开发者而生。

核心能力

• 自研 LPU 芯片: 确定性数据流架构，每机架 256 颗 LPU、40 PB/s SRAM 带宽，换来稳定低延迟
• 超高速推理: 官方称每用户 1,000 tokens/sec，Llama 3.3 70B 实测约 322 t/s，居公开 API 第一梯队
• OpenAI 兼容 API: 换成 api.groq.com/openai/v1 即可迁移既有代码，Vercel、LangChain 生态齐全
• 免费档: 免绑卡限速访问全部模型，够跑 Agent 原型与学生练手
• 多模态覆盖: Chat、Whisper 语音转写、Orpheus 文本转语音、结构化输出、工具调用与批量处理
• 按量计费: 按百万 token 计费、无月租，Batch API 与 Prompt Caching 各再省约 50%

适用场景 实时语音 Agent、低延迟聊天机器人、交互式 Agent 循环，以及需要极快响应的原型验证。适合把延迟排在第一位、且能接受开放权重模型的开发者与团队。

独特优势 对比 Cerebras、Together、Fireworks，Groq 的护城河是自研芯片带来的延迟确定性；速度王座在个别模型上会被 Cerebras 夺走，但极低的迁移成本与友好的免费档是同类少有的。

编辑评价 开发者提到最多的词是「闪电般快」，厂商案例称迁移后聊天提速 7.41×、成本降 89%。扣分在模型目录窄（无 GPT-4o/Claude）、无自服务微调、独立口碑样本稀少，以及近期的战略变动。若核心痛点是延迟，它值得优先试用。