日次および週次のニュースレターに参加して、最新の更新情報や業界をリードする AI に関する独占コンテンツを入手してください。 もっと詳しく知る
包括的な 新しい調査 Microsoft の研究者や学術パートナーの研究結果によると、大規模言語モデル (LLM) を活用した人工知能エージェントは、グラフィカル ユーザー インターフェイス (GUI) を制御できるようになり、人間がソフトウェアと対話する方法を変える可能性があります。
このテクノロジーは基本的に、ボタンをクリックしたり、フォームに記入したり、アプリケーション間を移動したりするなど、人間と同じようにコンピューター インターフェイスを表示および操作できる機能を AI システムに提供します。これらの「GUI エージェント」は、ユーザーが複雑なソフトウェア コマンドを学習する必要がなく、自然言語リクエストを解釈し、必要なアクションを自動的に実行できます。
「これらのエージェントはパラダイムシフトを表しており、ユーザーは単純な会話コマンドを通じて複雑な複数ステップのタスクを実行できるようになります」と研究者らは述べています。 書く。 「彼らのアプリケーションは、Web ナビゲーション、モバイル アプリのインタラクション、デスクトップ オートメーションにまたがっており、個人がソフトウェアを操作する方法に革命をもたらす革新的なユーザー エクスペリエンスを提供します。」
それは、あなたに代わってあらゆるソフトウェア プログラムを操作できる高度なスキルを持つエグゼクティブ アシスタントを抱えていると考えてください。達成したいことをアシスタントに伝えるだけで、アシスタントがそれを実現するための技術的な詳細をすべて処理します。
エンタープライズ AI アシスタントの台頭がすべてを変える
大手テクノロジー企業はすでに、こうした機能を自社製品に組み込むべく競い合っています。マイクロソフトの パワーオートメーション は LLM を使用して、ユーザーがアプリケーション間で自動化されたワークフローを作成できるようにします。会社の 副操縦士AIアシスタント テキストコマンドに基づいてソフトウェアを直接制御できます。アントロピックの コンピュータの使用 Claude の機能により、AI が Web インターフェイスと対話し、複雑なタスクを実行できるようになります。 Googleが開発中との報道 プロジェクト・ジャービス、Chrome ブラウザを使用してリサーチ、ショッピング、旅行予約などの Web ベースのタスクを実行する AI システムですが、この機能はまだ開発中であり、公開されていません。
「大規模言語モデル、特にマルチモーダル モデルの出現により、GUI 自動化の新時代が到来しました」と論文では述べられています。 「彼らは、自然言語理解、コード生成、タスクの一般化、および視覚処理において優れた能力を実証しました。」
これは潜在的な可能性を表しています 689億ドルの市場機会 BCC Research のアナリストによると、企業は反復的なタスクを自動化し、技術者以外のユーザーでもソフトウェアを利用しやすくすることを目指しており、2028 年までにそうなると予想されています。市場は2022年の83億ドルからこの数字まで成長すると予測されており、予測期間中の年間平均成長率（CAGR）は43.9％となる。
企業への影響: AI 自動化における課題と機会
ただし、このテクノロジーが企業に広く普及するまでには、大きなハードルが残されています。研究者らは、次のようないくつかの重要な制限を特定しています。 プライバシーの問題 エージェントが機密データ、計算パフォーマンスの制約、より優れた安全性と信頼性の保証を扱う場合。
「これらの方法は、事前に定義されたワークフローには効果的ですが、動的な現実世界のアプリケーションに必要な柔軟性と適応性に欠けていました」と論文では初期の自動化アプローチについて述べられています。
研究チームは、これらの課題に対処するための詳細なロードマップを提供し、より効率的なモデルを開発する重要性を強調しています。 デバイス上でローカルに実行可能、強固なセキュリティ対策を実装し、標準化された評価フレームワークを作成します。
研究者らは、「安全対策とカスタマイズ可能なアクションを組み込むことで、これらのエージェントは複雑なコマンドを処理する際の効率とセキュリティを確保します」と述べ、このテクノロジーをエンタープライズ対応にする最近の進歩を強調しています。
エンタープライズ テクノロジー リーダーにとって、LLM を利用した GUI エージェントの出現は、チャンスであると同時に戦略的な考慮事項でもあります。このテクノロジーは自動化によって生産性の大幅な向上を約束しますが、組織はこれらの AI システムの導入に伴うセキュリティへの影響とインフラストラクチャ要件を慎重に評価する必要があります。
「GUI エージェントの分野は、マルチエージェント アーキテクチャ、マルチモーダル機能、多様なアクション セット、新しい意思決定戦略に向かって進んでいます」と論文では説明されています。 「これらのイノベーションは、多様で動的な環境で高いパフォーマンスを発揮できる、インテリジェントで適応性のあるエージェントの作成に向けた重要な一歩を示しています。」
業界の専門家は、少なくとも 2025 年までには、 大企業の60％ は、何らかの形式の GUI 自動化エージェントを試験的に導入する予定で、大幅な効率向上につながる可能性がありますが、データ プライバシーと雇用の喪失に関する重要な疑問も生じます。
この包括的な調査は、対話型 AI インターフェイスが人間のソフトウェアとの対話方法を根本的に変える可能性がある転換点に私たちがいることを示唆しています。ただし、この可能性を実現するには、基盤となるテクノロジーと企業の導入慣行の両方で継続的な進歩が必要です。
「これらの開発は、複雑で動的な環境を処理できる、より多用途で強力なエージェントの基礎を築いています」と研究者らは結論付け、AI アシスタントがコンピューターの操作方法に不可欠な部分になる未来を指摘しています。