データはAIの中核にあります。開発者は、井戸が毒されないようにしたいと考えています。
アクセンチュアの最近 サイバーセキュリティの回復力の状態 報告書は、企業の最大の脅威の懸念は、AIを訓練するために使用するデータの中毒であることを発見しました。脅威関係者は、上流のデータセットを汚染してモデルの動作を微妙にシフトし、しばしばオープンソースまたは弱くキュレーションされたデータセットを標的にすることにより、データ中毒を引き受けました、とDewank Pantは、 アマゾン。
「脅威の関係者がハイジャックすることで悪意のあるコンテンツを作成すると、これらは推論時の中毒または間接迅速な注入として知られています」とPant氏は言います。
では、どのようにしてトレーニングデータセットが毒されるのでしょうか？いくつかの戦術が含まれます ハッキングされたサイトでリストを公開し、期限切れのドメインを再構築します AIは信頼をモデル化し、定期的に引用しています。サイバー犯罪者が彼らのテクニックで創造的になり続けているため、他のタイプのAI中毒が出現すると予想されます、とPantは言いました。
これらの攻撃は、エージェントシステムにも拡大する可能性がある、とPant氏によると、脅威アクターはメタデータを中毒にして外部アクションを実行する方法を操作します。
会社に違反したハッカーは、数か月でさえ、長期間にわたってそのシステムに留まることができると、 eset。
「この間、彼らは潜在的に事業運営を観察し、AIのパフォーマンスを徐々に損なう方法でシステムをモデル化するために使用されるデータを選択的に操作することができました」とAnscombe氏は述べています。 「AIの出力がビジネスによって信頼されなくなったときに影響が顕著になるまでに、変更を簡単に識別または逆転させるには遅すぎるかもしれません。」
珍しいことですが、これらの洗練されたサイバー攻撃は、障害、偏見、または危険なビジネス上の決定などのリスクを含むAI依存のワークフローに影響を与える可能性があります。 北極オオカミ。攻撃者は、AIのパフォーマンスの回復と引き換えに身代金さえすることさえあります。
しかし、企業がこれらのリスクを緩和するために取ることができるいくつかのステップがある、とSchiappaは述べた。
- 1つ目はプロンプトの制御です。企業は、トレーニングデータがどこから来たのかを知り、検証する必要があります。 「敏感または重要なAIワークフローのために、公開されたソースへの依存を制限します」とSchiappa氏は述べています。
- 2つ目は、信頼できるパイプラインを使用することです。セキュアデータパイプラインを整合性チェックとバージョン化で活用することが重要です、と彼は付け加えました。これは、データが保存されている場所をチェックし、出入りすることを意味します。
- 3つ目は、新しいテクノロジーを使用して異常なパターンにフラグを立てることです。 「これらは、特に独自のAIモデルについては、探索する価値があります」とSchiappa氏は言います。第4に、企業は、特にインパクトのあるAIの決定のために、人間のループチェックポイントと透明性層を構築する必要があります。
「企業が他の脅威ベクトルと同様にAI中毒を治療し、セキュリティ運用および脅威インテリジェンスプログラムに統合することが重要です」とSchiappa氏は述べています。
#脅威関係者はAIの訓練データの井戸を中毒しています