1709592198
2024-03-04 21:59:55
サードパーティのリスク管理
、
AI ベースの攻撃
、
人工知能と機械学習
テクノロジー大手が AI を使用する企業に対する主要な脅威と潜在的な安全策を共有
ラシュミ・ラメシュ (ラシュミラメッシュ_) • 2024 年 3 月 4 日
人工知能技術の急速な台頭は、新たなリスクをもたらします。 AIを利用する企業は、自社のセキュリティニーズを満たすために、プロンプトインジェクション攻撃を定期的にスキャンし、サプライチェーンの透明性を実装し、組み込みのソフトウェア制御を強化する必要があるとMicrosoftは述べた。
関連項目: ユーザー エンティティと動作の分析 101: 異常なセキュリティ動作を検出する戦略
家庭用およびオフィス用のソフトウェア製品に生成 AI ツールを組み込んでいるテクノロジー大手は、最近のレポートで次のように述べています。 アドバイスした 企業は、特定のユースケースと従業員のアクセス制御を定義することで AI の脅威に備えた計画を立てることができます。
条件付きアクセスポリシーを使用すると、リスクシグナル、ライセンス、使用状況に基づいてテナントが自動的に保護されると同社は述べた。 「リスクリーダーとCISOは、ユースケースとポリシーが適切かどうか、あるいは目標と学習の進化に応じて変更する必要があるかどうかを定期的に判断する必要がある」と報告書は述べている。
AIは、脅威検出やインシデント対応の分野で組織がサイバー攻撃からより迅速かつ効率的に防御できるよう支援し、大規模なサイバーセキュリティ人材不足への対応に役立つ可能性があるとMicrosoftは述べた。 敵対者はこのテクノロジーを悪用の一部として使用します。 「私たちにとって、AIを安全に設計、展開、使用することがこれまで以上に重要になっている」と報告書は述べている。
詐欺における AI は、AI の二面性の一例です。 ハッカーはこのテクノロジーを利用して、3 秒間の音声サンプルを使用してモデルを訓練し、他の人と同じように聞こえるようにすることで詐欺を実行できます。 「ボイスメールの挨拶のような無害なものであっても、十分なサンプリングを得るために使用される可能性がある」とMicrosoftは述べ、これは身元証明にとって脅威となると付け加えた。
「複雑な詐欺事件や身元を不明瞭にするその他の新たなソーシャルエンジニアリングの脅威に対処できるよう、悪意のある攻撃者がAIをどのように利用して長年の身元証明システムを弱体化させているかを理解することが極めて重要だ」と同社は述べた。
大規模な言語モデルを微調整して悪意のある入力やエッジ ケースの理解を定期的に更新すると、プロンプト インジェクション攻撃を防ぐことができます。 リスト化された 大規模な言語モデルにおける OWASP の重大な脆弱性のトップに挙げられます。 また、企業は、潜在的な脅威を分析するために、コンテキスト認識フィルタリングと出力エンコーディングを使用して、即時操作を防止し、従業員と LLM とのやり取りを記録する必要があります。
AI を使用する企業は、サードパーティのサプライヤーを含む LLM のデータ タッチポイントを評価する必要があります。 学んだことを調査するために部門横断的なサイバーリスクチームを設立する。 そして隙間を埋めます。 これには、どの指定 AI ツールが企業向けに承認されるか、アクセスと情報の連絡先など、AI の使用とリスクを詳細に説明するポリシーの設定が含まれます。
北朝鮮、中国、ロシアの高度な持続的脅威グループは LLM を使用してサイバー作戦を強化していますが、Microsoft と OpenAI はまだ重大な攻撃を目撃していません (以下を参照) OpenAIとマイクロソフト、国家支援のハッカーアカウントを停止）。
#セキュリティについてはサプライ #チェーンとゼロトラストに注目してください