Google、ジェミニをスパイに変えたAIの欠陥にパッチを当てる

画像: シャッターストック

Google は、Gemini Enterprise の脆弱性にパッチを適用しました。この脆弱性により、攻撃者は、ユーザーのアクションやセキュリティ警告なしに、共有ドキュメント、カレンダーの招待状、電子メールを通じて企業データを盗むことができます。

関連項目: 副操縦士パイロットを超えて – CISO の視点

または研究室 発見した この脆弱性は、別のエンタープライズ検索製品である Google の Vertex AI Search で最初に発見された後、Google Gemini Enterprise にある GeminiJack と名付けられました。 Google は Noma Labs と協力して調査結果を検証し、Gemini Enterprise と Vertex AI Search が基盤となる検索およびインデックス作成システムと連携する方法を変更するアップデートを展開しました。

この攻撃は、企業の人工知能システムが情報を解釈する方法を悪用しました。攻撃者は共有ドキュメント内に隠された命令を埋め込みました。従業員が Gemini Enterprise で標準的な検索を実行すると、AI が自動的に汚染された文書を取得し、埋め込まれた命令を実行しました。 Gemini Enterprise は組織の Gmail、カレンダー、ドキュメント、その他のワークスペース データ ソースにアクセスできるため、これらの指示により AI がそれらすべてを検索するようになりました。結果は、偽装された外部画像リクエストを使用して攻撃者に送信されました。

セキュリティ チームの観点から見ると、マルウェアは実行されず、認証情報はフィッシングされず、承認されたチャネルを通じてデータが残されることはありませんでした。データ損失防止ツールには何も異常は見られませんでした。

たった 1 回の即時注入により、顧客データ、財務上の議論、戦略的決定を含む電子メール通信が何年にもわたって盗まれる可能性があります。ビジネス関係、取引スケジュール、組織構造を明らかにする完全なカレンダー履歴にアクセスできました。機密協定、技術仕様、競合情報を含む文書リポジトリ全体が危険にさらされる可能性があります。

攻撃者は組織図、顧客、プロジェクトを知る必要はありませんでした。 「機密」、「API キー」、「買収」、「給与」、「法律」などの一般的な検索語は、AI に処理を行わせます。

Google Gemini Enterprise の検索機能は、AI が複数のデータ ソースから情報を引き出して組み合わせてクエリに回答できるシステムである、検索拡張生成アーキテクチャを実装しています。このアーキテクチャにより、組織は Gmail、Google カレンダー、Google ドキュメント、その他の Google Workspace コンポーネントにわたってクエリを実行できるようになります。組織は、システムがアクセスできるデータ ソースを事前に構成する必要があります。構成が完了すると、システムはすべてのユーザー クエリに対してこれらのデータ ソースに永続的にアクセスできるようになります。

攻撃には 4 つのステップが含まれていました。まず、攻撃者は通常の Google ドキュメント、Google カレンダーのイベント、または Gmail メッセージを作成し、標的の組織内の誰かと共有しました。コンテンツには、AI に機密用語を検索し、その結果を攻撃者が制御する外部画像 URL に読み込むよう指示する命令が含まれていました。

最後に、Google Gemini は出力に攻撃者の外部イメージ タグを含めました。ブラウザがその画像をロードしようとすると、収集した機密情報が 1 つの HTTP リクエストを通じて攻撃者のサーバーに直接送信されます。

Noma Securityのセキュリティ調査責任者、Sasi Levi氏によると、GoogleはHTML出力をフィルタリングしていなかったので、画像を読み込む際に埋め込まれた画像タグが攻撃者のサーバーへのリモート呼び出しを引き起こす可能性があったという。 URL には、検索中に発見された、流出した内部データが含まれていました。 Levi 氏は、研究者らは最大ペイロード サイズを確認していなかったものの、長い電子メールの抽出に成功したと述べました。

GeminiJack の脆弱性は、間接プロンプト インジェクション攻撃の典型的な例であると Levi 氏は Information Security Media Group に語った。検出には、ツールの出力、検索拡張生成データ、その他の外部入力を含む、エージェントのコンテキストを提供するすべてのデータソースの包括的な検査が必要であると同氏は付け加えた。

「この種の攻撃は、この種の攻撃が最後ではない。これは、AI ネイティブの脆弱性の増加を反映している」と Noma 研究者らは書いている。

この脆弱性は、データ ソース内のユーザー制御コンテンツと AI モデルの命令処理の間の信頼境界を悪用しました。 Levi氏は、検索拡張世代ベースのエンタープライズAIシステムは、信頼できる命令と信頼できない取得コンテンツを混合し、モデルに広範な権限を与えて動作させるため、脆弱であると述べた。それも根本的な原因です 強制リーク、Noma が Salesforce Agentforce で発見した欠陥。同氏は、「この修正はアーキテクチャ的なものであり、システムは指示と証拠の間に厳密な境界を設け、取得したすべてのアイテムに出所と信頼レベルを付与し、信頼できないコンテンツが目標を書き換えたり、影響の大きいアクションを引き起こしたりすることを防ぐ必要がある」と述べた。

#Googleジェミニをスパイに変えたAIの欠陥にパッチを当てる