1727737647
2024-09-30 22:52:10
スプランクの サージチーム は、プロンプト インジェクション攻撃などの一般的な脅威に対して AI の大規模言語モデルを保護することは、既存のセキュリティ ツールを使用して達成できることをオーストラリアの組織に保証しました。ただし、組織が基本的なセキュリティ慣行に対処できない場合、セキュリティの脆弱性が発生する可能性があります。
メルボルンを拠点とする Splunk SURGe の主任セキュリティ ストラテジスト、シャノン デイビス氏は TechRepublic に対し、オーストラリアではここ数カ月で LLM に対するセキュリティ意識が高まっていると語った。同氏は昨年を「西部開拓時代」と表現し、多くの人がセキュリティを優先せずに急いでLLMの実験を行った。
このような脆弱性に対する Splunk 独自の調査では、Open Worldwide Application Security Project の「大規模言語モデルのトップ 10”を枠組みとして。研究チームは、組織が既存のサイバーセキュリティの実践とツールを活用することで、多くのセキュリティ リスクを軽減できることを発見しました。
大規模言語モデルが直面する最大のセキュリティ リスク
OWASP レポートの中で、研究チームは 2024 年に対処する必要がある 3 つの脆弱性について概説しました。
プロンプトインジェクション攻撃
OWASP では、プロンプト インジェクションを、攻撃者が細工された入力を通じて LLM を操作するときに発生する脆弱性として定義しています。
細工されたプロンプトによって LLM が誤った出力を生成する事例が世界中ですでに文書化されています。ある例では、 LLM は、たった 1 ドルで車を誰かに売ることに納得しました、一方、 エア・カナダのチャットボットが会社の死別方針を誤って引用。
デイビス氏は、ハッカーなどが「LLMツールを利用して本来やってはいけないことを行うこと」が市場にとって重要なリスクだと述べた。
「大手企業はツールの周囲に多くのガードレールを設置しているが、そのガードレールが阻止しようとしていることを彼らに行わせる方法はまだたくさんある」と同氏は付け加えた。
参照: OWASP 10 以降から保護する方法
個人情報漏洩
従業員が個人所有のツール（多くの場合オフショア）にデータを入力する可能性があり、知的財産や個人情報の漏洩につながる可能性があります。
地域テクノロジー企業サムスンは、個人情報漏洩の最も注目を集めた事件の 1 つを経験しました。 エンジニアがChatGPTに機密データを貼り付けていることが発見された。ただし、機密データや個人データがトレーニング データ セットに含まれ、漏洩する可能性があるというリスクもあります。
「PII データがトレーニング データ セットに含まれて漏洩したり、その影響を理解せずにこれらのさまざまなツールに PII データや企業機密データを送信したりする可能性も、もう 1 つの大きな懸念事項です」と Davis 氏は強調しました。
LLM への過度の依存
過剰依存は、その出力が誤り、不適切、または安全でない可能性があるにもかかわらず、個人または組織が LLM からの情報に依存する場合に発生します。
最近オーストラリアで、児童保護職員がビクトリア州の裁判所に提出する報告書の作成に ChatGPT を使用した、LLM への過度の依存の事件が発生しました。機密情報の追加には問題があったが、AI が生成したレポートも 事件に巻き込まれた子供が直面するリスクを軽視した。
Davis 氏は、過剰依存は組織が留意する必要がある 3 番目の重要なリスクであると説明しました。
「これはユーザー教育の一環であり、これらのツールを暗黙のうちに信頼すべきではないことを人々に理解してもらうためのものです」と同氏は述べた。
オーストラリアのさらなる報道
注意すべき追加の LLM セキュリティ リスク
OWASP トップ 10 に含まれるその他のリスクについては、すぐに対応する必要がない可能性があります。しかし、デイビス氏は、組織はこれらの潜在的なリスク、特に過剰なエージェンシーリスク、モデルの盗難、トレーニングデータポイズニングなどの分野について認識する必要があると述べた。
過剰な主体性
過剰なエージェンシーとは、LLM の誤動作の原因が何であるかに関係なく、LLM からの予期せぬ出力またはあいまいな出力に応じて実行される有害なアクションを指します。これは、外部アクターが LLM ツールにアクセスし、API を介してモデル出力と対話した結果である可能性があります。
「人々は保守的だと思いますが、これらのツールが潜在的に持つ力を利用して、潜在的に起こり得ることについて他の人々を目覚めさせる何かが私たちに起こるかもしれないと私はまだ心配しています」とデイビス氏は語った。
LLMモデルの盗難
デービス氏は、研究では、モデルに大量のプロンプトを送信し、さまざまな応答を取り出し、その後モデルのコンポーネントを理解するという推論を通じてモデルが盗まれる可能性があることを示唆していると述べた。
「モデルのトレーニングには莫大なコストがかかるため、モデルの盗難は将来的に起こる可能性がある」とデービス氏は語った。 「モデルの盗難に関する多くの論文が発表されていますが、これは実際に証明するには多くの時間がかかる脅威です。」
参照: オーストラリアの IT 支出は 2025 年にサイバーセキュリティと AI 分野で急増する
トレーニングデータポイズニング
企業は現在、AI モデルに使用するデータがモデルの品質を決定することをより認識しています。さらに、意図的なデータポイズニングが出力に影響を与える可能性があることも認識しています。デイビス氏は、モデル内のピクルファンネルと呼ばれる特定のファイルが汚染されている場合、モデルのユーザーに不注意な結果を引き起こす可能性があると述べた。
「人々は自分たちが使用しているデータに注意する必要があるだけだと思います」と彼は警告した。 「そのため、モデルをトレーニングするためのデータ ソースやデータ セットを見つけた場合、そのデータが良好でクリーンであり、悪いことが起こる可能性のあるものが含まれていないことを知る必要があります。」
LLM が直面する一般的なセキュリティ リスクに対処する方法
Splunk の SURGe 研究チームは、LLM を直接保護するのではなく、既存の Splunk ツールセットを使用して LLM を保護する最も簡単な方法は、モデルのフロントエンドに焦点を当てることであることを発見しました。
他のアプリケーションと同様の標準ログの使用 プロンプト インジェクション、安全でない出力処理、モデルのサービス拒否、機密情報の漏洩、モデルの盗難の脆弱性を解決できる可能性があります。
「ユーザーが LLM に入力しているプロンプトと、LLM から返される応答をログに記録できることがわかりました。この 2 ビットのデータだけで、OWASP トップ 10 のうち 5 つがほぼ得られました」と Davis 氏は説明しました。 「LLM 開発者がこれらのプロンプトと応答がログに記録されていることを確認し、Splunk がそのデータを取得する簡単な方法を提供する場合、私たちはそのデータに対して任意の数のクエリや検出を実行できます。」
Davis 氏は、組織がこれまで Web アプリケーションを保護するために使用されてきたのと同様のセキュリティ第一のアプローチを LLM および AI アプリケーションに対して採用することを推奨しています。
「サイバー野菜を食べるか、基本的なことを行うことで、99.99% の防御が得られるという言い伝えがあります」と彼は述べました。 「そして、人々はまずそれらの領域に集中すべきです。 LLM についても同様です。」
#Splunk #がオーストラリアの組織に #LLM #の保護を要請