Arena AI

Arena AI は UC Berkeley 発祥で、前身が Chatbot Arena / LMArena にあたる大規模言語モデルのクラウドソース型評価・ランキングプラットフォームであり、人間によるブラインド投票の選好で最先端モデルを順位付けします。提出名「Code Arena」は実際にはそのコード評価サブプロダクト（arena.ai/code）であり、掲載名は実ブランドの Arena AI としています。

主な機能

• 人間によるブラインド対戦: 同じ prompt を二つの匿名モデルが回答し、ユーザーが優れた方をブラインドで選ぶと正体が明かされます
• マルチモーダル・リーダーボード: テキスト/コード/視覚/画像/動画/検索/エージェントの七つの Arena をカバー
• Code Arena: 二つのモデルが並列サンドボックスで動作する Web アプリを構築し、双方のプレビューを必須としたうえで投票、機能・使いやすさ・再現度の三観点で採点
• Fullstack 評価: PostgreSQL、認証、サードパーティ API、Vercel へのワンクリックデプロイに対応
• ランキング手法: Bradley-Terry に Style Control を重ねて文体による加点を排除し、オープンソースの arena-rank パッケージを公開
• コスト対性能の Pareto: 性能とタスクあたりコストを表示

適用シーン 開発者/エンジニアチームによるモデル選定と候補の絞り込み、AI 研究者、モデルベンダーによるリリース前テスト、企業の調達選定支援、そして最先端モデルを無料で試したい一般ユーザーに適しますが、本番判断の根拠ではなくスクリーニングの出発点として使うのが適切です。

独自の強み Artificial Analysis（自動指標＋価格・速度）とは補完関係にあり代替ではありません。更新が止まった HF Open LLM Leaderboard や SWE-bench と比べた差別化点は、大規模な人間ブラインド投票の選好＋完全に操作できるアプリ＋コスト対性能の Pareto です。注: Design Arena（designarena.ai）、Alpha Arena（nof1.ai）とは名称が同じだけであり、会社も領域も異なります。

編集評価 UC Berkeley の系譜で、月間アクティブユーザー 5M+、投票 82M+、モデル 400+ を擁し、メディアの引用やモデル公開シーズンの共通参照点となっています。消費者向けは完全無料で投票にログインは不要、実測では /pricing はソフト 404 でした。減点は、リーダーボードが操作され得ること（Llama 4 の非公開変体事件）と「選好≠正しさ」にあり、候補リストのスクリーナーとして使うのが適切です。推薦指数 4/5。