安全なAIアシスタントは可能でしょうか?

ここで注意しなければならないのは、迅速な注射はまだ大惨事を引き起こしていないか、少なくとも公的には報告されていないということです。しかし現在では、何十万もの OpenClaw エージェントがインターネット上で飛び回っている可能性が高いため、サイバー犯罪者にとって迅速なインジェクションはより魅力的な戦略のように見え始めるかもしれません。 「このようなツールは、悪意のある攻撃者がより広範囲の人々を攻撃するよう促しています」とペーパーノット氏は言う。

建物のガードレール

「プロンプト インジェクション」という用語は、ChatGPT がリリースされる数か月前の 2022 年に人気 LLM ブロガー Simon Willison によって造られました。当時でさえ、LLM が広く使用されるようになると、まったく新しいタイプのセキュリティ脆弱性が発生することを認識できました。 LLM は、ユーザーから受け取る指示と、その指示を実行するために使用するデータ (電子メールや Web 検索結果など) を区別できません。LLM にとって、それらはすべて単なるテキストです。そのため、攻撃者が電子メールにいくつかの文を埋め込み、LLM がそれをユーザーからの指示と間違えた場合、攻撃者は LLM に望むことを何でも実行させることができます。

迅速な注射は難しい問題であり、すぐには解決しそうにありません。 「現時点では特効薬のような防御手段はありません」とカリフォルニア大学バークレー校のコンピューターサイエンス教授ドーン・ソングは言う。しかし、この問題に取り組んでいる強力な学術コミュニティがあり、最終的には AI パーソナル アシスタントを安全にする可能性のある戦略を考案しています。

技術的に言えば、現在、プロンプト インジェクションの危険を冒さずに OpenClaw を使用することは可能です。ただ、インターネットに接続しないでください。しかし、OpenClaw によるメールの閲覧、カレンダーの管理、オンライン調査の実行を制限すると、AI アシスタントを使用する目的の多くが無効になります。プロンプト インジェクションから保護するコツは、LLM がその仕事を実行する余地を与えながら、ハイジャックの試みに応答しないようにすることです。

1 つの戦略は、プロンプト インジェクションを無視するように LLM をトレーニングすることです。 LLM 開発プロセスの主要な部分は、ポストトレーニングと呼ばれ、リアルなテキストを生成する方法を知っているモデルを、質問に適切に答えた場合に「報酬」を与え、答えられなかった場合に「罰する」ことで、有用なアシスタントに変えることが含まれます。これらの報酬と罰は比喩的なものですが、LLM は動物と同じようにそこから学習します。このプロセスを使用すると、プロンプト インジェクションの特定の例に応答しないように LLM をトレーニングすることができます。

ただし、バランスが必要です。挿入されたコマンドを積極的に拒否するように LLM をトレーニングすると、ユーザーからの正当なリクエストも拒否し始める可能性があります。また、LLM の動作にはランダム性という基本的な要素があるため、即時注入に抵抗するように非常に効果的に訓練された LLM であっても、場合によっては失敗する可能性があります。

もう 1 つのアプローチには、プロンプト インジェクション攻撃が LLM に到達する前に停止することが含まれます。通常、これには、特殊な検出器 LLM を使用して、元の LLM に送信されるデータにプロンプト インジェクションが含まれているかどうかを判断することが含まれます。しかし、最近の調査では、最高のパフォーマンスを発揮する検出器でも、特定のカテゴリのプロンプト インジェクション攻撃を完全に検出できませんでした。

3 番目の戦略はより複雑です。プロンプト インジェクションが含まれているかどうかを検出して LLM への入力を制御するのではなく、LLM の出力、つまり動作をガイドし、有害な行為を防ぐポリシーを策定することが目標です。このような防御策の一部は非常に単純です。たとえば、LLM が事前に承認された少数のアドレスにのみ電子メールを送信できる場合、ユーザーのクレジット カード情報が攻撃者に送信されることは間違いありません。しかし、そのようなポリシーでは、LLM がユーザーに代わって調査したり、専門的な連絡先となる可能性のある人に連絡したりするなど、多くの有用なタスクを完了できなくなります。