人工知能は PC を完全に自律的に使用できるようになりました

Anthropic は、Claude 3.5 Sonnet AI モデルのパブリック ベータ版に新機能を導入しました。これにより、AI が人間と同様の方法でコンピューターと対話できるようになります。 「コンピュータ使用」と呼ばれるこの機能により、クロードは画面をスキャンし、カーソルを移動し、ボタンをクリックし、テキストを入力することができます。この機能は現在 API 経由で利用できるため、開発者はコンピュータとの対話を必要とするアプリケーションに Claude を統合できます。デモンストレーション ビデオでは、Claude が Mac で作業し、プロセスの自動化とユーザー サポートに新たな視点を開く様子が示されています。

Microsoft (Copilot Visionを使用)、OpenAI (ChatGPTのデスクトップアプリを使用)、Google (AndroidのGeminiを使用) などの他の企業はすでにAIとコンピューター画面間の相互作用を研究していますが、Anthropicがツールをリリースしたのは最初のようです。このタイプは大規模に発生します。 Anthropic 氏が指摘しているように、「コンピューター使用」機能はまだ実験段階であり、精度とスムーズさの点で制限がある可能性があることに注意することが重要です。ドラッグやズームなどの一般的なアクションの一部は、Claude ではまだサポートされていません。さらに、画面分析システムは、連続的なビデオ ストリームではなく、一連のスクリーンショットに基づいているため、通知などの一時的な要素が見逃される可能性があります。

Anthropic は、機密領域での Claude の使用を制限するセキュリティ対策も導入しました。たとえば、AI が選挙関連の活動、ソーシャル メディアでのコンテンツの生成と公開、Web ドメインの登録、または政府サイトとのやり取りに使用されるのを防ぐメカニズムがあります。新しい「コンピュータ使用」機能に加えて、Claude 3.5 Sonnet では、特にコーディングとツールの使用に関して、いくつかのベンチマークが大幅に改善されています。コーディングのパフォーマンスは劇的に向上し、OpenAI o1-preview などの推論モデルや特殊なシステムを含む他の公開モデルのパフォーマンスを上回りました。