1771960666
2026-02-24 19:00:00
アップルの Ferret-UI Liteは、モバイルおよびデスクトップ画面に最適化された3Bパラメータモデルです。、画面イメージを解釈し、アイコンやテキストなどの UI 要素を理解し、メッセージの読み取りや健康データの確認などによってアプリと対話するように設計されています。
この研究は、モバイル、Web、デスクトップなどのプラットフォーム全体でグラフィカル ユーザー インターフェイス (GUI) と直接対話できる、コンパクトなオンデバイス GUI エージェントの構築に重点を置いています。
小規模モデルの開発に最適化された技術を利用して、実際のソースと合成ソースからの多様な GUI データ混合をキュレートし、思考連鎖推論とビジュアル ツールの使用による推論時間のパフォーマンスの強化、設計された報酬による強化学習を通じて 3B Ferret-UI Lite エージェントを構築します。
研究者らの説明によると、Ferret-UI Lite は、画面イメージのトリミングと思考連鎖プロンプトを使用して、小さな UI 要素を含む複雑なレイアウトを理解する精度を向上させます。この戦略は「大型モデルと比較して競争力のある、場合によっては優れたパフォーマンス」をもたらし、GUI 基礎タスク (自然言語命令に基づいて特定の UI 要素を見つけて識別することを含む) で ScreenSpot-V2 で 91.6%、ScreenSpot-Pro で 53.3%、OSWorld-G で 61.2% を達成しました。 GUI ナビゲーション タスクの場合、AndroidWorld では 28.0%、OSWorld では 19.8% の成功率を達成しました。
研究者らはトレーニングのために 2 段階のパイプラインを採用しました。最初の段階では、実際の GUI インタラクション データと合成 GUI インタラクション データの多様な混合に対して教師あり微調整 (SFT) を活用しました。第 2 段階では、厳密な模倣ではなくタスクの成功に向けて最適化するために、検証可能な報酬を伴う強化学習 (RLVR) を適用しました。さらに、モデルの知覚精度を高めるために、アクション形式を標準化し、「ズームイン」や思考連鎖推論などの推論時テクニックを組み込みました。
研究者らは、GUI グラウンディング データとナビゲーション データは相互に補完でき、多様なソースからの合成データをキュレーションすることで両方のタスクのパフォーマンスが大幅に向上すると結論付けています。さらに、思考連鎖推論と視覚ツールは改善をもたらしますが、その利点は限られています。マイナス面としては、小規模モデルは長期にわたる複数ステップのタスクに引き続き苦労しており、報酬設計に敏感です。
研究者らは、Ferret-UI Liteがデバイス上の「インテリジェント」エージェントとして機能し、Appleが「プライバシーシールド」を提供しながらSiriのGoogle Cloudへの依存を減らすことができる可能性があると示唆している。
#Apple #研究者が #の表示と制御のためのオンデバイス #モデルである #FerretUI #Lite #を発表