toolin.ai logo
toolin.ai

Syll：清華大学がオープンソース化したマルチモーダル全インタラクションエージェントフレームワーク

·Toolin 編集部

GUI、CLI、MCP の3つの操作方式をサポートし、デモンストレーションによる教示で再利用可能なスキルを自動生成。ローカルデプロイでデータプライバシーを保護

Syll：清華大学がオープンソース化したマルチモーダル全インタラクションエージェントフレームワーク
Syll とは4つの核心的能力1. GUI、CLI、MCP/API の統一2. 教えればスキルになる3. 全工程で監査可能なトレース4. ローカルのモジュラーアーキテクチャクイックスタート適したシーン
AI製品

ほとんどのデスクトップ AI Agent は1つの操作方式しか扱えません――API を呼ぶか、UI をクリックするかのどちらかです。Photoshop や Blender のような API を持たないビジュアルソフトに出会うと、あるいはコマンドラインと UI 操作を混ぜて使う実際のワークフローに出会うと、手も足も出ません。清華大学知能視覚実験室がオープンソース化した Syll フレームワークは、GUI、CLI、MCP/API を同じ実行ループに統合し、さらに「あなたが1回やってみせれば、それができるようになる」という示教学習をサポートします。

Syll とは

Syll はマルチモーダルの全インタラクションエージェントフレームワークで、清華大学の魯継文教授チームと極佳視界が共同開発したものです。核心となる発想は、完全なデスクトップエージェントは異なる「操作サーフェス」の間を自然に行き来できるべきだ、ということです。UI が見えて、ボタンがクリックでき、コマンドが走らせられて、ツールが接続できる。

Syll のシステムアーキテクチャ図

4つの核心的能力

1. GUI、CLI、MCP/API の統一

Syll は3つの操作方式から1つを選ぶのではなく、それらを同じ実行ループに組み込みます。

  • GUI：Photoshop、Blender、Godot などのビジュアルソフトでは、UI を直接操作
  • CLI：バッチ処理、ファイル操作、環境チェックでは、コマンドラインを使う
  • MCP/API：構造化されたツールや外部サービスでは、インターフェース呼び出しを使う

エージェントはタスクのシーンに応じて適切な実行パスを自動選択します。画面を観察し、対象を定位し、ポップアップを処理し、状態変化を待つ必要もあれば、適切なタイミングでコマンドラインに切り替え、すべての問題を不格好なクリックに変えてしまうことを避ける必要もあります。

2. 教えればスキルになる

これが Syll の最も際立つ特性です。スクリプトを書き、ルールを設定し、prompt をこねる必要はなく、いつものやり方でタスクを手動で1回操作するだけで、Syll が自動で次を行います。

  • 重要な視覚アンカーを記録
  • マウス、キーボード、ウィンドウの状態変化をキャプチャ
  • タスクのコンテキストを抽出
  • 再利用できるステップと、再判断が必要なステップを区別

Syll の示教機能のチェーン

得られるのは融通の利かない録画1本ではなく、再呼び出しでき、修正を続けられるスキルファイルです。学ぶのは「あなたがこのタスクをどう完了するか」であって、孤立したボタン座標ではありません。

3. 全工程で監査可能なトレース

実行のたびに完全な軌跡が残ります。何を見たか、どのツールを呼んだか、どのステップで待ったか、どこでリトライしたか、なぜ動作チャネルを切り替えたか。すべての画面操作と UI 状態変更は、記録、再生、監査が可能です。

Syll の実行全体のフロー図

ユーザーは重要な意思決定に対する最終的なコントロールを常に保持し、「機械が実行 -> 人間が審査」という検証ループが形成されます。

4. ローカルのモジュラーアーキテクチャ

Syll の記憶、スキル、ルール、プリファレンスはすべて、ローカルで編集可能なファイルとして組織されます。

  • 一般ユーザーはフロントエンドのパネルでモデル設定、スキル管理、定期タスクを完結できる
  • 開発者は独自のモデルプロバイダーを接続し、ツールモジュールを置き換え、スキルチャネルを追加できる
  • コードは過剰なカプセル化と冗長なロジックを排し、各モジュールは明確な呼び出しチェーンと独立した抽象境界を持つ

クイックスタート

# リポジトリをクローン
git clone https://github.com/THU-SAGE/syll.git
cd syll

# プロジェクトの README の手順に従って依存関係をインストールしモデルを設定

Syll は現在 public alpha 段階にあり、チームは継続的に更新を重ねています。次のような使い方ができます。

  • 箱から出してすぐ使えるデスクトップアシスタントとしてそのまま利用
  • 拡張可能な研究/開発フレームワークとして二次開発
  • 特定のシーンに向けて独立したスキルプラグインを開発

適したシーン

  • デスクトップソフトの自動化：Photoshop、Blender、Godot など API のないビジュアルソフトの操作
  • 繰り返しワークフローの記録：日常の繰り返し操作を再利用可能なスキルとして記録
  • 個人業務アシスタント：ファイル整理、データ分析、レポート生成
  • 開発者ツールチェーン：コード編集、デバッグ、デプロイの自動化オーケストレーション
  • プライバシー重視シーン：データはローカルの外に出ず、全工程がコントロールと監査可能

Syll が解決するのは、現在のデスクトップ Agent のいくつかの核心的な痛点です。操作方式の分断、教えるハードルの高さ、実行の不透明さ、データの不安さ。デスクトップソフトを操作でき、コマンドラインも走らせられ、ツールも呼び出せる個人自動化アシスタントが必要なら、Syll は試す価値があります。

すべての記事