「シグナル」の社長と副社長、エージェントAIは安全性が低く、信頼性が低く、監視の悪夢であると警告

OS レベルで埋め込まれたエージェント AI、マルウェアにアクセス可能なデジタル ライフ全体を保存するデータベース、各ステップで信頼性がすぐに崩れるタスク、そして同意なしでオプトインされるタスクなどにより、Signal のリーダーシップは業界に対し、脅威が軽減されるまで撤退するよう警鐘を鳴らしています。

で 第39回カオスコミュニケーション大会 (39C3) ドイツ、ハンブルク、Signal 社長 メレディス・ウィテカー および戦略およびグローバル アフェア担当副社長 ウドバブ・ティワリ というタイトルでプレゼンテーションを行いました AIエージェント、AIスパイ。その中で彼らは、エージェント AI の実装方法、エージェント AI がエンタープライズ企業にもたらす非常に現実的な脅威、そして起こりつつある災害を軽減するために業界の変革をどのように推奨しているかについて、多くの脆弱性と懸念を共有しました。

AI エージェントの重要な要素は、購入の実行、イベントのスケジュール設定、メッセージへの応答など、ユーザーに代わって自律的にアクションを実行できるように、AI エージェントがユーザーについて十分に知っており、機密データにアクセスできる必要があることです。しかし、 AI エージェントの実装方法により、AI エージェントは安全性が低く、信頼性が低く、監視されやすくなっています。。

AI エージェントが脅威に対してどのように脆弱になるか

Microsoft は、Windows 11 ユーザーにエージェント AI を提供しようとしています。 想起。 Recall は、数秒ごとに画面のスクリーンショットを取得し、テキストを OCR 処理して、コンテキストとアクションのセマンティック分析を行います。次に、ユーザーのすべての行為を記録したフォレンジック文書がコンピューター上の単一のデータベースに作成されます。データベースには、アクションの正確なタイムライン、完全な生テキスト (OCR 経由)、滞在時間、および特定のアプリとアクションへの焦点が含まれています。さらに、トピックを特定のアクティビティに割り当てます。

ティワリ氏は、このアプローチの問題は、データベースへのアクセスを取得する可能性があるマルウェア（オンライン攻撃による）や間接的（隠れた）プロンプトインジェクション攻撃の脅威を軽減できないことだと述べています。 その後、これらの脆弱性によりエンドツーエンド暗号化（E2EE）が回避され、Signalは画面が記録されないようにアプリにフラグを追加することになったが、それは信頼性が高く長期的な解決策ではないとティワリ氏は言う。

複雑なエージェント タスクが信頼できない理由

Whittaker 氏は、エージェント AI は単に侵入的で脅威に対して脆弱であるだけではない、と強調しました。それも信頼できません。彼女は言いました AI エージェントは決定論的ではなく確率論的であり、タスクで実行する各ステップによって精度と最終的なアクションが低下します。。

彼女は、AI エージェントが各ステップを 95% の精度で実行できれば (現時点では不可能ですが)、10 ステップのタスクで最大 59.9% の成功率でアクションが生成されるだろうと述べました。 30 ステップのタスクがある場合、成功率は最大 21.4% になります。さらに、より現実的な精度である 90% を使用した場合、30 ステップのタスクの成功率は 4.2% に低下します。彼女はこう付け加えた 最良のエージェント モデルは 70% の確率で失敗しました。

AI エージェントをプライベートかつ安全にする方法

Whittaker氏は、AIエージェントにプライバシー、セキュリティ、制御を維持させるための解決策は現時点ではないと述べた。トリアージしかないしかし、企業は今すぐそれを緩和するための措置を講じることができます。

1. 平文データベースによるマルウェアへのアクセスを回避するために、AI エージェントの無謀な展開を停止します。
2. 開発者のオプトインを必須にして、デフォルトをオプトアウトします。
3. AI 企業は、すべてがどのように機能するかについて根本的な (または何らかの) 透明性を提供し、詳細なレベルで監査可能にする必要があります。

業界がウィテカー氏とティワリ氏の警告に従わない場合、エージェント型 AI の時代は危険にさらされる可能性があります。その主な理由は、既に過剰に宣伝され過剰投資されているテクノロジーに対する消費者の信頼をすぐに失う可能性があるからです。

ジョン・ヘンショー

ジョン・ヘンショーは、 コイウルフ ほぼ 30 年の経験を持つ業界のベテランです。 SEO、デジタル マーケティング、Web テクノロジーの経験。フォローする @[email protected]