世界

Google Geminiの長期的な記憶は、ある種のフィッシング攻撃に対して脆弱です

AIセキュリティハッカーヨハンレーバーガー 説明された Google Geminiに対する迅速な注入攻撃その長期的な記憶を変更できる テクニックを使用して、彼は遅延ツールの呼び出しを呼び出します。研究者は、この攻撃を、悪意のある文書と対話するユーザーがトリガーする一種のソーシャルエンジニアリング/フィッシング攻撃として説明しました。 LLMは通常、信頼できないデータ、つまりユーザーから直接送信されていない情報を処理するときに外部ツールの実行を無効にすることにより、ユーザーの知識なしに外部ツールを密かに実行させることを目的とした攻撃から身を守ることができます。 しかし、1年前 Rehbergerは、Google Geminiを使用する際にこの保護メカニズムを回避するために使用できる技術を示しました。この手法は、チャットコンテキストを汚染することで構成されているため、モデルがユーザーと対話している場合、つまり上記の保護が施行されなくなった場合、アクションが後でトリガーされます。 原則として、この手法はジェミニに「ユーザーがXと言ったら、このツールを実行する」などの文を含む悪意のあるドキュメントを与えるのと同じくらい簡単です。 Geminiは、ドキュメントを解析しながらツールの実行を拒否します。それでも、ユーザーが「x」と言って指示されたときに、それを実行します。ツールのこの「非同期トリガー」は、Rehbergerがこの手法、遅延ツールの呼び出しに与えた名前を説明しました。 最近、Rehbergerは、Geminiにユーザーの長期的なメモリに誤った情報を保存するように促す方法を示すことにより、調査を遅らせたツールの呼び出しに調査しました。 デモ攻撃は簡単です。敵は、埋め込まれた迅速なインジェクションを備えたドキュメントを作成します。これは、ユーザーが同じチャットの会話でジェミニと対話し続けると、ジェミニが誤った情報を保存するようになります。 これは、Geminiがユーザーのメモリを汚染するプロンプトを含むドキュメントを要約するように求められる次の写真に示されています。 この攻撃にはジェミニの行動を永久に変える可能性がありますが、Googleは他の形態のソーシャルエンジニアリングと同様に、ユーザーがエクスプロイトと積極的に協力する必要があるため、その影響を低いと評価しました。さらに、GeminiのUIがユーザーの記憶に新しいデータが追加されるたびにアラートを示しているという事実によって、脆弱性が軽減されます。それでも、彼の発見に基づいて、Rehbergerはユーザーが定期的にレビューすることを提案します 保存された思い出 信頼できないソースからのドキュメントとやり取りするときは注意してください。 大規模な言語モデル（LLMS）の動作を妨害する簡単な方法として、迅速な注入が前面に出ています。 Georg Dreslerが説明するように、これは、内部ツールにアクセスするLLMモデルを適切に促すことにより、プライベートデータまたは秘密を除去する可能性に照らして特に心配です。たとえば、AIセキュリティ会社Promptarmorはあなたがどのようにできるかを理解しました プライベートスラックチャネルからデータを盗みます、APIキー、パスワードなどのように。 これらの種類の脆弱性を活用することは常に完全に単純ではありませんが、それは間違いなく可能であり、攻撃者はレーバーガーが明確に示しているように、より賢く、より陰湿なテクニックを思いつくことができます。 Google Geminiの思い出は、昨年紹介されたChatGptの記憶に似ています。彼らは、人生、仕事、願望、個人的な好みなど、ユーザーが気にかけているものの永続的な保存を可能にすることを目指しています。これらの長期的な記憶を使用して、Gemini（およびChatGpt）は、毎回彼らの好みを述べるために、ユーザーなしでより関連性の高い回答をユーザーに提供できます。 #Google #Geminiの長期的な記憶はある種のフィッシング攻撃に対して脆弱です