クラウドインフラの「LLMハイジャック」を研究者が暴露

生成 AI 用のクラウド インフラストラクチャの「LLM ハイジャック」が攻撃者によって利用され、被害者を犠牲にして不正なチャットボット サービスを実行していると Permiso の研究者が木曜日に報告しました。

Anthropic の Claude などの基本的な大規模言語モデル (LLM) へのアクセスをサポートする Amazon Bedrock 環境に対する攻撃の概要が説明されました Permiso のブログ投稿で、Permiso によって設定されたハニーポットでは、ハイジャッカーが盗んだリソースを使用して、性的なロールプレイのためにジェイルブレイクされたチャットボットを実行する方法が示されています。

脅威アクターは、GitHub などのプラットフォームで漏洩した AWS アクセス キーを利用して、プログラムで API エンドポイントと通信し、モデルの可用性を確認し、モデルへのアクセスを要求し、最終的には被害者のリソースを使用してモデルをプロンプトすることができます。 Permiso によると、ブログでは攻撃者の標的となった API が合計 9 つ特定されており、そのほとんどは通常 AWS ウェブ管理コンソール経由でのみアクセスされます。

「AWS のサービスは設計どおりに安全に動作しているため、お客様によるアクションは必要ありません。研究者らは、非常に特殊なシナリオで何が起こるかをテストするために、セキュリティのベスト プラクティスを意図的に無視したテスト シナリオを考案しました。いかなる顧客も危険にさらされることはなかった」とAWSの広報担当者はSC Mediaへの声明で述べた。

なぜ攻撃者は LLM クラウド サービスを標的にするのでしょうか?

公開されたアクセス キーによるクラウド リソースのハイジャックは、スパム メール キャンペーンやクリプトマイニングなどの金銭目的の活動に脅威アクターによってよく使用されます。 Permiso の研究者は、攻撃者が Amazon Bedrock などの LLM クラウド サービスをターゲットにしていることを観察した後、攻撃者が盗んだインフラストラクチャをどのように利用しているかをより深く理解するために独自のハニーポットを設定しました。

Permiso の研究者は独自の Amazon Bedrock インスタンスを確立し、ハニーポットを作成するために GitHub 上のファイル内のアクセス キーを意図的に漏洩しました。攻撃者は「数分以内に」ハニーポット上で活動を試み始めましたが、ハイジャッカーによる LLM 呼び出しの規模は、最初のアクセス キーの漏洩から約 40 日後まで広がりませんでした。このとき、環境では 75,000 以上のプロンプトが処理されるのが確認されました。 2日間のこと。

ハニーポット環境で呼び出しログを有効にすると、研究者らは LLM との間で送受信されるプロンプトと応答を読み取ることができ、その大部分がさまざまな仮想キャラクターとの性的なロールプレイに関連していることが明らかになりました。これは、ハイジャッカーが不正に入手したインフラストラクチャを利用して、ジェイルブレイクを使用してチャットボット サービスを実行し、LLM のコンテンツ フィルターをバイパスしていることを示唆しています。観察されたコンテンツの「ごく一部」には、児童の性的虐待に関連するロールプレイも含まれていました。

ハイジャッカーによって悪用された最も一般的なモデルは、Anthropic の Claude 3 Sonnet でした。 Anthropic は SC Media に対して、自社のモデルは画像やビデオを生成することができず、モデルに入力された児童性的虐待素材 (CSAM) はすべて国立行方不明児童搾取センターに報告されると語った。同社はまた、子供の安全擁護団体である Thorn と協力して、子供の身だしなみや虐待に関連するコンテンツに対してモデルをテストし、微調整しています。

「脱獄は業界全体の懸念事項であり、Anthropic のチームは、この種の攻撃に対するモデルの耐性をさらに高めるための新しい技術に積極的に取り組んでいます。私たちは、ユーザーを保護するために厳格なポリシーと高度なテクノロジーを導入するとともに、他の AI 開発者がそこから学べるように独自の研究を公開することに引き続き取り組んでいます。潜在的な脆弱性を明らかにする研究コミュニティの努力に感謝します」とAnthropicの広報担当者は声明で述べた。

2024 年 6 月 25 日に始まったハニーポット実験中、AWS はキーを含むファイルがアップロードされたのと同じ日に、GitHub 上で漏洩したアクセスキーを自動的に特定し、Permiso に通知しました。 AWS は、数週間後の 2024 年 8 月 1 日にポリシー「AWSCompromizedKeyQuarantineV2」を適用しました。ただし、Permiso 氏によると、Bedrock に関連するサービスは当時このポリシーに基づいてブロックされませんでした。

最終的に、ハニーポット アカウントは、ハイジャッカーによる呼び出しが数千件に達した翌日、2024 年 8 月 6 日にそれ以上の Bedrock リソースの使用をブロックされました。 Permiso のタイムラインによると、AWS は 2024 年 10 月 2 日に検疫ポリシーを更新し、ハイジャッカーが使用するいくつかの API のブロックを含めました。

Permiso のブログ投稿では、ハニーポットの活動を、さまざまなチャットボットとの無検閲の会話を提供する Character Hub または Chub AI として知られるサービスに状況的に関連付けています。 Permiso の p0 Labs の上級副社長であるブログ著者の Ian Ahl 氏は SC Media に対し、この仮説はハニーポット ログからのキャラクター名の多くが Chub で入手可能なキャラクターと同じであり、同様のジェイルブレイク技術が特定されていることに基づいていると語った。人気キャラクターや公開されている脱獄テンプレートが使用されていたため、「確実な証拠として数えることは困難だった」と認めた。

Chub AIはSC Mediaに対し、同社はいかなるクラウド攻撃とも無関係であり、独自のインフラストラクチャを使用して独自のLLMSを実行していると述べ、このサービスがいかなる違法行為を可能にしたり容認したりするものではないと強調した。

「私たちのキャラクターがプロンプトに登場する理由はそうではありません。これはいくら強調しても足りませんが、彼らが私たちから出てきたからではありません。プロンプトに当社のキャラクターが含まれている理由は、当社がインターネット上でキャラクター プロンプトの最大のオープン リポジトリだからです」と Chub AI の広報担当者は SC Media に語った。 「あらゆる言語モデルのあらゆる API との間で送受信されるチャット プロンプトには、大量の文字が含まれることになります。」

広報担当者はまた、チャットユーザーインターフェースを通じて送信されたメッセージのうちAnthropicモデルに送信されるのは1％未満であり、「そのような攻撃に参加している個人は、ユーザーが指定したキーでサードパーティAPIに接続できるUIをいくつでも使用できる」と述べた。

Chub AI の利用規約では、実際の、描かれた、または AI によって生成された子供の性的画像の使用も禁止されています。

LLM ハイジャックからクラウド環境を保護する方法

AWSは声明で、顧客はキーの不用意な漏洩や悪用を防ぐために、可能な限り長期アクセスキー（AKIA）の使用を避ける必要があると述べた。

「代わりに、人間のプリンシパルは、アイデンティティ センターや外部のアイデンティティ プロバイダーを介してアイデンティティ フェデレーションと多要素認証を使用する必要があります。ソフトウェアは、AWS 内で実行されている場合は EC2、ECS/EKS、Lambda の IAM ロールを介して一時的な AWS 認証情報を取得して使用する必要があり、AWS の外部で実行されている場合は IAM ロールエニウェアを介して一時的な AWS 認証情報を取得して使用する必要があります」と AWS の声明には記載されています。

また、アール氏は SC Media に対し、AWS の顧客は「GetFoundationModelAvailability」、「PutUseCaseForModelAccess」、「GetUseCaseForModelAccess」、「CreateFoundationModelAgreement」、「PutFoundationModelEntitlement」などの API にアクセスするために AKIA が使用されていないか監視する必要があると述べました。これらの API は AKIA 経由でアクセスすることを意図していないからです。ではなく、AWS ウェブ管理コンソールを介して。

また、ユーザーは、ユーザー エージェントなし、またはユーザー エージェントとして「Mozilla」を使用した AKIA の使用を監視し、生成 AI リソースの不正使用を示す可能性のあるモデル呼び出しまたはクラウド サービスの請求の急増を調査する必要があります。

侵害のアトミック インジケーターと LLM ハイジャックの攻撃者の戦術、技術、および手順 (TTP) の完全なリストは、Permiso ブログ投稿の「検出とインジケーター」にリストされています。