1736956181
2025-01-15 15:12:00
マイクロソフトが明らかにした レッスン そのレッドチームは、GenAI 製品を「攻撃」し、潜在的な危害を特定することに 7 年間を費やして学んだことがある。
2018 年、Microsoft は AI のセキュリティ リスクと被害の増大する脅威に対処するために「レッド チーム」を結成しました。
それ以来、チームはコパイロット、プラグイン、AI モデル、アプリを含む 100 以上の GenAI 製品に取り組んできました。
彼らは、敵対的または無害な攻撃者、TTP (戦術、技術、および手順)、システムの弱点、下流への影響などのサイバー攻撃の構成要素をモデル化しました。
それは 3 つのポイントをもたらしました。GenAI システムは既存のセキュリティ リスクを増幅し、新しいリスクを導入します。 AI の改善と保護の中心は人間であり、攻撃に対する防御は新たな害に対処するために継続的に更新する必要があります。
Microsoft は、危険は古い依存関係や弱いエラー処理などの不適切な慣行から生じることが多く、脆弱性につながる可能性があることを発見しました。
ただし、レポートでは、たとえば、攻撃者が LLM へのプロンプトを作成し、モデルをだまして意図しないアクションを実行させたり、機密情報を漏洩させたりするための隠された命令を作成する可能性があるなど、新たな脅威が増大しているとも付け加えています。
これらに対処するためにマイクロソフトは、自動化ツールは便利だが、特に有害なチャットボットへの対応については「人間の専門知識に大きく依存している」ため、レッドチーム自体はまだ AI に置き換えることはできないと述べている。
たとえば、LLMはAIモデルの応答にヘイトスピーチが含まれているかどうかを評価できるが、医学、科学、サイバーセキュリティなどの専門分野のコンテンツを評価する場合にはそれほど信頼できないと同社は述べた。
Microsoft は、今回の調査結果により、文化的能力と感情的知性が重要なサイバーセキュリティ スキルであることが浮き彫りになったと考えています。
最終的にマイクロソフトは、サイバー防御は新たな脅威に合わせて進化する必要があり、AIレッドチームは新たな脆弱性に対処し、堅牢な測定と軽減技術に投資するために防御を継続的に更新する必要があると強調した。
#の #GenAI #製品を攻撃した後の #Microsoft #レッド #チームの教訓