セキュリティにおける生成 AI: リスクと軽減戦略

生成 AI は、ChatGPT のリリースにより、一夜にしてテクノロジー業界で最も激しいバズワードになりました。 2 年後、Microsoft は OpenAI 基盤モデルを使用し、AI がセキュリティ環境をどのように変えるかについての顧客からの質問に答えています。

Microsoft のシニア クラウド ソリューション セキュリティ アーキテクトである Siva Sundaramoorthy は、これらの質問によく答えます。セキュリティ専門家は、10 月 14 日にラスベガスで開催された ISC2 で大勢のサイバーセキュリティ専門家に、生成 AI の概要 (その利点とセキュリティ リスクを含む) を説明しました。

生成 AI の使用によりどのようなセキュリティ リスクが発生する可能性がありますか?

スンダラモーシー氏はスピーチの中で、次のような懸念について語った。 GenAIの精度。同氏は、このテクノロジーが予測因子として機能し、最も可能性が高いと思われる答えを選択するが、状況によっては他の答えも正しい可能性があることを強調した。

サイバーセキュリティの専門家は、AI のユースケースを使用法、アプリケーション、プラットフォームの 3 つの角度から検討する必要があります。

「どのようなユースケースを保護しようとしているのかを理解する必要があります」と Sundaramoorthy 氏は言います。

同氏はさらに次のように付け加えた。「多くの開発者や企業の人々がこの中央のバケットに加わることになるだろう」 [application] そこでは人々がアプリケーションを作成しています。各企業の環境にはボットまたは事前トレーニングされた AI が存在します。」

見る： AMDが競合他社を明らかにした ハードウェア戦争が続く中、先週、NVIDIA の高耐久 AI チップが発表されました。

用途、アプリケーション、プラットフォームが特定されれば、完全ではありませんが、他のシステムと同様に AI を保護できます。生成型 AI では、従来のシステムよりも特定のリスクが発生する可能性が高くなります。 Sundaramoorthy 氏は、次の 7 つの導入リスクを挙げています。

• バイアス。
• 誤報。
• 欺瞞。
• 説明責任の欠如。
• 過剰依存。
• 知的財産権。
• 心理的影響。

AI は、上記の 3 つの角度に対応する独自の脅威マップを提示します。

• セキュリティにおける AI の使用は、機密情報の漏洩、サードパーティの LLM ベースのアプリやプラグインによるシャドー IT、または内部関係者による脅威のリスクにつながる可能性があります。
• セキュリティにおける AI アプリケーションは、即時注入、データ漏洩または侵入、または内部関係者による脅威のリスクへの扉を開く可能性があります。
• AI プラットフォームは、データ ポイズニング、モデルに対するサービス拒否攻撃、モデルの盗難、モデルの反転、幻覚などを通じてセキュリティ上の問題を引き起こす可能性があります。

攻撃者は、コンテンツ フィルターを回避するために難読化、セマンティック トリック、または明示的に悪意のある命令を使用するプロンプト コンバーターやジェイルブレイク手法などの戦略を使用する可能性があります。 AI システムを悪用してトレーニング データを汚染したり、プロンプト インジェクションを実行したり、安全でないプラグイン設計を利用したり、サービス拒否攻撃を開始したり、AI モデルにデータを漏洩させたりする可能性があります。

「AI が別のシステム、つまり他のシステムで何らかのコードを実行できる API に接続されたらどうなるでしょうか?」サンダラモーシー氏は語った。 「AI を騙してバックドアを作ることはできますか?」

セキュリティ チームは AI のリスクとメリットのバランスを取る必要がある

サンダラモーシーの用途 マイクロソフトの副操縦士 頻繁に、そしてそれが彼の仕事にとって価値があると感じています。しかし、「その価値提案はハッカーにとって標的にするには高すぎる」と彼は言う。

セキュリティ チームが AI に関して認識すべき他の問題点は次のとおりです。

• 新しいテクノロジーの統合や設計上の決定により、脆弱性が生じます。
• ユーザーは、新しい AI 機能に適応できるようにトレーニングを受ける必要があります。
• AI システムによる機密データへのアクセスと処理は、新たなリスクを生み出します。
• 透明性と制御は、AI のライフサイクル全体を通じて確立され、維持される必要があります。
• AI サプライ チェーンには、脆弱なコードや悪意のあるコードが導入される可能性があります。
• 確立されたコンプライアンス基準の欠如とベスト プラクティスの急速な進化により、AI を効果的に保護する方法が不明確になっています。
• リーダーは、AI を統合した生成アプリケーションへの信頼できる経路をトップダウンで確立する必要があります。
• AI は、幻覚など、よく理解されていない独特の課題をもたらします。
• AI の ROI は現実世界ではまだ証明されていません。

さらに、Sundaramoorthy 氏は、生成 AI は悪意のある方法と良性の方法の両方で失敗する可能性があると説明しました。悪意のある障害では、攻撃者がセキュリティ研究者を装って AI の安全対策を回避し、パスワードなどの機密情報を抽出する可能性があります。トレーニング データのフィルタリングが不十分なために、偏ったコンテンツが意図せず AI の出力に入力されると、無害な障害が発生する可能性があります。

AI ソリューションを保護する信頼できる方法

AI を取り巻く不確実性にもかかわらず、かなり徹底的な方法で AI ソリューションを保護するための実証済みの信頼できる方法がいくつかあります。 NIST や OWASP などの標準組織は、生成 AI を扱うためのリスク管理フレームワークを提供しています。 MITRE は、攻撃者が AI に対して使用する既知の戦術とテクニックのライブラリである ATLAS マトリックスを公開しています。

さらに、Microsoft は、セキュリティ チームが AI ソリューションを評価するために使用できるガバナンスおよび評価ツールを提供しています。 グーグル は独自のバージョンである Secure AI Framework を提供しています。

組織は、適切なデータのサニテーションとスクラビングを通じて、ユーザー データがトレーニング モデル データに混入しないようにする必要があります。彼らは、 最小特権の原則 モデルを微調整するとき。モデルを外部データ ソースに接続する場合は、厳密なアクセス制御方法を使用する必要があります。

最終的に、Sundaramoorthy 氏は、「サイバーにおけるベスト プラクティスは AI におけるベスト プラクティスである」と述べました。

AIを使用するか、AIを使用しないか

AIをまったく使用しないのはどうですか？ ISC2セキュリティ会議の開会基調講演で講演した作家でありAI研究者のジャネール・シェーン氏は、セキュリティチームにとってAIがもたらすリスクを理由にAIを使用しないことも選択肢の一つであると指摘した。

サンダラモーシー氏は別の方針をとった。外部アプリケーションから隔離されるべき組織内の文書に AI がアクセスできるとしても、「それは AI の問題ではありません。それはアクセス制御の問題です。」

免責事項: ISC2 は、10 月 13 日から 16 日にラスベガスで開催された ISC2 セキュリティ コングレ イベントの航空運賃、宿泊施設、および一部の食事の費用を負担してくれました。