日本語版
最新ニュース
科学&テクノロジー

コンピュータを使用したエージェントで複雑な UI 自動化を改善

コンピューターを使用するエージェントの新しいアップデートにより、安全な認証情報、詳細な監視、およびスケーラブルなクラウド PC 容量により UI 自動化がどのように改善されるかをご覧ください。 初めて導入したとき コンピュータ使用エージェント (CUA) 昨年 4 月、私たちは可能性を示しました。人間と同じように、Web アプリとデスクトップ アプリを見て、理解し、行動できる AI です。早期採用者はすぐに CUA を活用して脆弱なプロセスを自動化し、レガシー システムを操作し、API が存在しないワークフローをつなぎ合わせました。 その後、あなたのようなお客様が私たちをさらに後押ししてくれました。 あなたは、エージェントが拡張できなかった場所、認証の実行が遅くなった場所、そして何かが失敗した理由を理解するのが難しい場所、またはそれが正しく動作することを証明するのが難しい場所について説明しました。また、CUA を広範囲に展開する前に、組織がより多くの制御、可視性、柔軟性を必要としていた点についても教えていただきました。 本日のアップデートは、そのフィードバックに直接応えたものです。 コンピュータを使用するエージェント Microsoft コパイロットスタジオ モデルの選択肢が増え、セキュリティとガバナンスが強化され、拡張が容易になり、Web アプリとデスクトップ アプリ全体でより多くの作業を自信を持って自動化できるようになりました。 ここでは新機能とそれが重要な理由を説明します。 Copilot Studio でより強力なエージェントを構築する Copilot Studio を使用してエージェントを作成、カスタマイズ、展開、管理します。利用可能な機能、ユースケース、リソース、FAQ を確認してください。 動的インターフェイスをナビゲートするために適切なモデルを選択してください…

コンピュータを使用したエージェントで複雑な UI 自動化を改善

1772103843
2026-02-25 21:37:00

コンピューターを使用するエージェントの新しいアップデートにより、安全な認証情報、詳細な監視、およびスケーラブルなクラウド PC 容量により UI 自動化がどのように改善されるかをご覧ください。

初めて導入したとき コンピュータ使用エージェント (CUA) 昨年 4 月、私たちは可能性を示しました。人間と同じように、Web アプリとデスクトップ アプリを見て、理解し、行動できる AI です。早期採用者はすぐに CUA を活用して脆弱なプロセスを自動化し、レガシー システムを操作し、API が存在しないワークフローをつなぎ合わせました。

その後、あなたのようなお客様が私たちをさらに後押ししてくれました。

あなたは、エージェントが拡張できなかった場所、認証の実行が遅くなった場所、そして何かが失敗した理由を理解するのが難しい場所、またはそれが正しく動作することを証明するのが難しい場所について説明しました。また、CUA を広範囲に展開する前に、組織がより多くの制御、可視性、柔軟性を必要としていた点についても教えていただきました。

本日のアップデートは、そのフィードバックに直接応えたものです。

コンピュータを使用するエージェント Microsoft コパイロットスタジオ モデルの選択肢が増え、セキュリティとガバナンスが強化され、拡張が容易になり、Web アプリとデスクトップ アプリ全体でより多くの作業を自信を持って自動化できるようになりました。

ここでは新機能とそれが重要な理由を説明します。

動的インターフェイスをナビゲートするために適切なモデルを選択してください

現在コンピュータを使用するエージェント 複数の基礎モデルをサポート、アントロピックのものを含む クロード・ソネット 4.5 OpenAI の Computer-Using Agent と並んで。これにより、インターフェイスとタスクに基づいて、各エージェントに最適なものを柔軟に選択できるようになります。

  • OpenAI Computer-Using Agent を使用して、複数ステップの Web フローとデスクトップ フローを調整します。
  • 動的なユーザー インターフェイス (UI) での高パフォーマンスの推論と、高密度で変化するダッシュボードの解釈が必要な場合は、Anthropic Claude Sonnet 4.5 を選択してください。

組み込みの資格情報と Azure Key Vault による安全な認証

認証が自動化の停止の原因であってはなりません。コンピュータの使用には組み込みの資格情報が提供されるようになり、エージェントは次のことが可能になります。

  • Web サイトとデスクトップ アプリのログインを安全に実行する
  • 複数のエージェントおよびオートメーション間で再利用します。
  • 実行中の手動ログイン プロンプトを排除し、無人実行を可能にします。

たとえば、エージェントがベンダー ポータルにログインしてデスクトップ ERP を毎晩更新する必要がある場合、組み込みの資格情報により、エージェントは Web ポータルとデスクトップ アプリの両方に対して自動的に認証できるようになりました。これにより、手動による中断がなくなり、ガバナンス制御を維持しながら夜間の処理の信頼性が高まります。 「無人」の実行を子守する必要はありません。

ガバナンスのニーズに合わせて 2 つのストレージ オプションから選択できます。 内部ストレージ (暗号化された マイクロソフト パワー プラットフォーム) 低摩擦セットアップ用、または Azure Key Vault エンタープライズレベルの機密管理を実現します。

認証情報は暗号化され、AI モデルに公開されることはありません。そのため、認証されたエージェントのみが認証情報にアクセスできます。これにより、セキュリティおよびコンプライアンス チームは自信を持って CUA をより多くのシナリオに拡張できるようになります。

セッションリプレイと監査ログを使用して、コンピュータを使用するすべてのエージェントアクションを確認します

エージェントがより多くのビジネスクリティカルなシステムに触れるにつれ、チームは何が起こったのか、なぜ起こったのか、どこで起こったのかを把握する必要があります。

コンピューターの使用は現在、 高度な監視 可観測性が強化されているため、運用、セキュリティ、コンプライアンスの各チームは動作を段階的に検査できます。これには以下が含まれます。

  • セッションのリプレイ スクリーンショット付き
  • ステップバイステップのアクションログ (アクションのタイプ、座標、タイムスタンプ、およびコンテキストを含む)
  • 実行概要 (指示テキスト、期間、アクション数、アクションあたりの平均時間、人間によるエスカレーション数)
  • リソース追跡 (Web サイト、デスクトップ アプリ、使用される認証情報を含む)
  • エクスポートオプション オフラインレビュー用

しかし、これは実際にはどうなるでしょうか?エージェントの実行により予期しない更新が生成され、チームはエージェントが UI を読み間違えたのか、間違ったコントロールをクリックしたのか、あるいは非表示のポップアップに遭遇したのかを判断できないと想像してください。

セッション リプレイとアクション ログには、エージェントが何を見たのか、何を実行したのかが正確に表示され、UI が変更されたステップが特定され、監査レビュー用にエクスポート可能な記録が生成されるようになりました。そうすることで、問題をより迅速に修正し、防御可能なコンプライアンス証跡を保持することができます。

監視ペインを超えて、以下を通じてコンプライアンスがさらに強化されます。

  • Microsoft Purview の統合、監査ログを Purview に送信
  • 構成可能な詳細度を備えたデータバース ロギング -[すべてのデータ]、[スクリーンショットなしのデータ]、または[最小限]を選択します。
  • 規制やガバナンスの要件に合わせた、7 日間から無期限までの保存オプション

コンピュータを使用するエージェント向けにマネージド クラウド PC を使用してインフラストラクチャを簡素化

UI の自動化のスケーリングには、多数のデスクトップや壊れやすい仮想マシンを管理する必要はありません。新しいクラウド PC プールは、 エージェント向け Windows 365は、Microsoft Entra に参加し、Intune に登録され、コンピューターの使用のために設計され、需要に応じて拡張できるように構築されたフルマネージドのクラウドホスト型マシンを提供します。

言い換えれば、これらのクラウド PC プールは、専用ハードウェアにパッチを適用して利用可能にし、残りの時間はアイドル状態にしておくというオーバーヘッドを発生させることなく、需要が急増したときに大規模な実行のための管理された容量を提供します。こうすることで、チームはハードウェアを過剰にプロビジョニングすることなくスパイクに対処できます。

注記:評価用に最大で作成可能 テナントごとに 2 つのクラウド PC プール 公開された自律エージェントを 50 時間無料で使用できるため、広範なロールアウトの前に大規模な CUA の試験運用が容易になります。

自動化を置き換えるのではなく拡張します

自動化を構築した場合 Microsoft パワーオートメーション および RPA を使用すると、特に次のような場合に、コンピュータを使用すると自動化できる範囲が広がります。

  • インターフェースは頻繁に変更されます
  • API は利用できません
  • 意思決定ロジックがより複雑になる

ありがたいことに、安定したインターフェイスを備えた決定論的なシナリオでは、従来の RPA を維持できます。 CUA は、RPA では不十分な部分 (動的な Web アプリ、レイアウトの変更、複雑な意思決定など) に柔軟性と適応推論を追加します。結局のところ、目標は最初からやり直すことではなく、すでに持っているものを最新化し、拡張することです。

たとえば、固定セレクターに依存する RPA ボットがあるとします。これまで、Web フォームが変更されるたびに問題が発生し、スクリプトの継続的な更新が強制されていました。

現在、RPA は同じままですが、CUA が可変の UI 部分を処理し、レイアウトの変更のナビゲート、ダイアログの解釈、エッジ ケースのエスカレーションを行います。結果?メンテナンスが軽減され、信頼性が向上します。

始めて、次に何が起こるかを形作るのに役立ちます

米国に拠点を置く Copilot Studio 環境でコンピュータを使用するエージェントを試してみませんか?

  1. エージェントを作成または開く Microsoft コパイロットスタジオ
  2. に行く ツール → ツールの追加 → 新しいツール そして選択します コンピュータの使用
  3. エージェントに実行してもらいたいタスクを自然言語で説明します。
  4. (オプション) モデルを選択し、組み込みの認証情報を構成し、安全でスケーラブルな実行のためにクラウド PC プールをセットアップします。

さらに詳しいガイダンス、構成の詳細、ベスト プラクティスについては、 コンピュータの使用に関するドキュメント

出発する前に: 当社は CUA の高度なガバナンス、運用、規模に積極的に投資しており、お客様からのフィードバックがロードマップに直接反映されます。今日の CUA の最新アップデートについてのご意見をお聞かせください:

#コンピュータを使用したエージェントで複雑な #自動化を改善

執筆者について: nipponese

Nipponese News編集部は、国内外のニュースを日本語で分かりやすくお届けします。