Diffbot

Diffbotは、コンピュータービジョンと機械学習に基づくAIウェブデータ抽出プラットフォームで、世界12億の公開ウェブサイトを自動的に構造化されたナレッジグラフへと変換します。その核心的価値は、アプリケーションがデータベースにアクセスするのと同じようにインターネットのデータへアクセスできるようにすることで、金融、ニュース、消費財、リスク管理などの分野の企業顧客にサービスを提供しています。

主な特徴

• Knowledge Graph: 世界最大の自動構築ナレッジベース。20億以上のエンティティ（企業、人物、記事、製品など）と10兆のファクトを保有し、クエリやデータエンリッチメントのサービスを提供します
• Extract API: コンピュータービジョンでウェブページの核心コンテンツを自動特定・抽出します。記事、製品、ディスカッションなど20以上のページタイプを、ルールを書かずに解析できます
• Crawlbot: あらゆるウェブサイトを数分で構造化データベースに変換し、大規模なウェブクロールに対応します
• 自然言語処理API: 生テキストからエンティティ、関係性、センチメントを自動推論し、ナレッジグラフを構築します
• Diffbot LLM: 自社開発の700億パラメータ言語モデルで、事実の正確性に関するベンチマークではPerplexityやGeminiなどのインターネット接続型モデルを上回ります

活用シーン

投資調査では、アナリストがDiffbotのナレッジグラフを使って世界中の企業の正確なデータやニュースを素早く収集し、意思決定を支えます。マーケットインテリジェンスでは、Extract APIで競合の製品情報や価格戦略を自動監視できます。コンテンツアグリゲーションプラットフォームはCrawlbotでニュースサイトのコンテンツを一括クロールして構造化しています。

独自の強み

DiffbotはGoogleやBingに依存しない独自のウェブ全体クローラーをカリフォルニアのデータセンターから運用し、コンピュータービジョンで人間のようにページを読み解くため、従来のルールベースのクローラーより賢く動作します。ナレッジグラフにはGoogle Newsのインデックスの50倍の記事が含まれ、ロングテールの人物・組織データのカバー率は他に類を見ません。