Groq

Groq は Groq, Inc. が手がける AI 推論クラウドプラットフォームで、自社開発の LPU 推論チップで超低遅延を実現し、GroqCloud を通じて OpenAI 互換 API を提供します。推論だけを行い、トレーニングには一切関与しません——搭載されるモデルはすべてサードパーティのオープンウェイト由来で、Groq 自身が開発するのは推論ハードウェアと推論スタックに限られます。「遅延」を中核的な課題とする開発者のために生まれたサービスです。

主な機能

• 自社開発 LPU チップ: 決定論的データフローアーキテクチャ。ラックあたり 256 個の LPU、40 PB/s の SRAM 帯域で安定した低遅延を実現
• 超高速推論: 公式はユーザーあたり 1,000 tokens/sec と主張し、Llama 3.3 70B は実測約 322 t/s で公開 API のトップ層に位置します
• OpenAI 互換 API: api.groq.com/openai/v1 に切り替えるだけで既存コードを移行でき、Vercel や LangChain のエコシステムも充実
• 無料枠: カード登録なしで全モデルにレート制限付きでアクセスでき、Agent のプロトタイプや学生の学習に十分
• マルチモーダル対応: Chat、Whisper の音声文字起こし、Orpheus のテキスト読み上げ、構造化出力、ツール呼び出し、バッチ処理
• 従量課金: 100万トークン単位の課金で月額なし。Batch API と Prompt Caching でさらに約 50% 節約

利用シーン リアルタイム音声 Agent、低遅延チャットボット、対話型 Agent ループ、そして即時応答が求められるプロトタイプ検証。遅延を最優先し、オープンウェイトモデルを受け入れられる開発者やチームに適しています。

独自の強み Cerebras、Together、Fireworks と比べた Groq の堀は、自社チップがもたらす遅延の決定性です。速度の王座は一部のモデルで Cerebras に奪われますが、極めて低い移行コストと使いやすい無料枠は同種のサービスでは珍しい存在です。

編集部の評価 開発者が最も多く口にする言葉は「稲妻のように速い」で、ベンダーの事例では移行後にチャットが 7.41 倍高速化し、コストが 89% 削減されたとされています。減点要素はモデルカタログの狭さ（GPT-4o/Claude がない）、セルフサービス微調整の欠如、独立したレビューサンプルの少なさ、そして最近の戦略的な変動です。遅延が中核課題なら、まず試す価値があります。