genaiの誇大広告サイクルが続くにつれて、この技術が脅威の主体によって誤用され、武器化される方法について並行して議論されています。当初、その議論の多くは憶測であり、いくつかは悲惨でした。時間が経つにつれて、実世界の例が現れました。脅威の関係者はディープフェイクを活用しており、脅威アナリストは、genaiが磨くより洗練されたフィッシングキャンペーンにアラームを鳴らしています。
このテクノロジーは今日どのように乱用されていますか？また、脅威の関係者がGenaiを活用し続けるにつれて、企業リーダーは何ができるでしょうか？
脅威俳優とgenaiのユースケース
genai Feverに掃除されないのは難しいです。ほぼすべての業界のリーダーは、イノベーションと生産性の向上の魅力的な可能性について聞き続けています。しかし、genaiは、善や病気に使用できる他のツールと同様のツールです。
「攻撃者は私たちと同じくらい好奇心が強い。彼らは、できる限りLLMでどこまで行くことができるかを見たいと思っています。どのGenaiモデルが悪意のあるコードを作成できるようにしますか？どちらがもっとやらせますか？どちらがしませんか？」クリスタルモリン、サイバーセキュリティストラテジスト 鎮静剤、クラウドネイティブアプリケーション保護プラットフォーム（CNAPP）は、InformationWeekに語ります。
ビジネスのユースケースが初期の時代にあるように、それは悪意のある意図のために同じように見えます。
「AIは脅威の関係者にとって有用なツールになる可能性がありますが、それはまだ描かれているゲームチェンジャーではありません」と 新しいレポート Google Threat Intelligence Group（GTIG）から。
GTIGは、高度な永続的な脅威（APT）グループと情報操作（IO）のアクターが両方ともGenaiを機能させていると指摘しました。それは、ジェミニを使用して中国、イラン、北朝鮮、ロシアに関連するグループを観察しました。
レポートによると、脅威アクターは2つの方法で大きな言語モデル（LLM）を使用しています。 LLMSを使用してより効率的な攻撃を促進するか、AIモデルの指示を与えて悪意のあるアクションを実行します。
GTIGは、AIを使用して脅威アクターがさまざまな種類の研究と偵察を実施し、コンテンツを作成し、コードをトラブルシューティングするのを見ました。脅威の関係者はまた、Geminiを使用してGoogle製品を悪用しようとし、AIの脱獄で安全性管理をバイパスしようとしました。レポートによると、ジェミニは攻撃者の悪意のある目的を強化するコンテンツを制限し、脱獄の試みに対する安全性の対応を生み出しました。
1つの脅威アクターがLLMSを悪用しようとしていることは、盗まれた資格情報を介して不正アクセスを得ることです。 Sysdigの脅威研究チームは、この脅威を「llmjacking。」彼らは単に、比較的良性の目的で、他の方法では有料のリソースに無料でアクセスできるようにしたいかもしれません。または、情報を盗んだり、LLMを使用してキャンペーンを強化するなど、より悪意のある理由でアクセスを獲得している可能性があります。
「これは他の虐待事件とは異なります… [they] アラートをトリガーすると、攻撃者を見つけてシャットダウンできます。それほど単純ではありません」とモーリングは言います。 「LLMJackingの検出分析は1つもありません。アラートをトリガーするために探す必要がある複数のことがあります。」
Genaiの誤用に対抗する
脅威の関係者がgenaiを使用し続けているので、試行された真の戦術を改善するか、最終的には斬新な方法で、それに応じて何ができるでしょうか？
脅威アクターは、利用可能なすべてのプラットフォームを使用しようとします。 Genai Platformを提供する企業は、テクノロジーの誤用と武器化を監視し、対抗する責任をどのように責任を負いますか？
たとえば、Googleは持っています AI原則 そして ポリシーガイドライン これは、Geminiアプリの安全で安全な使用に対処することを目的としています。 Googleは最近のレポートで、Geminiがさまざまな脅威俳優にどのように対応したかを概説しています。
同様に、AWSには「自動乱用検出メカニズム」アマゾンの岩盤のために。マイクロソフトが取っています 法的措置 Copilot AIの悪意のある使用を混乱させる。
「消費者の観点から、人々が彼らが安全なアプリケーションを持っていることを期待するための増大する推進力があることに気付くと思います」と、脅威インテリジェンス分析の責任者であり、将来のOPSであるカール・ウェアンは言います。 Mimecast。
時間が経つにつれて、攻撃者は脆弱性とガードレールを迂回する方法についてこれらのLLMを調査し続けます。もちろん、他にもたくさんのGenaiプラットフォームやツールがあります。そして、ほとんどの脅威関係者は、自分の目的に対して最も簡単な手段を探しています。
Deepseekは、Openaiをその指導的地位から倒すだけでなく、セキュリティリスクのためにも見出しを支配してきました。 AIセキュリティプラットフォームであるEnkrypt AIが実施されました 赤いチームの研究 中国のスタートアップのLLMで、「…モデルは非常に偏っていて不安定なコードを生成しやすく、ヘイトスピーチ、脅威、自傷、明示的または犯罪資料などの有害および毒性コンテンツを生成することができます。」
エンタープライズリーダーは、組織でAIツールを利用し続けているため、潜在的な誤用と武器化と闘うことを任されます。それは、どのプラットフォームを使用するかを検討することを意味します – リスクは利益に値しますか？ – そして、誤用に使用するgenaiツールの監視。
LLMJackingを見つけるために、Morinは「…普通のもの、奇妙な地域のIP、または組織にとって普通の場所からの場所」を探すことをお勧めします。 「あなたのセキュリティチームは、何が正常であり、何があなたにとって普通ではないのかを認識します。」
ビジネスリーダーは、Shadow AIの使用も考慮する必要があります。
「現時点での最大の脅威は、不正なアプリケーションを検索したり、認定されたアプリケーションを検索しているが、これらのモデルに実際に入力すべきではないPIIまたは個人データ、または機密データを入力することからのインサイダーの脅威になる可能性があると思います」とWearn氏は言います。 。
AIが内部で使用している企業でさえ、Genaiを使用して攻撃者をターゲットにする見込みに直面するでしょう。
genai能力の向上
脅威の関係者は、新しい攻撃のためにgenaiをまだ振り回していないかもしれませんが、それは未来が来ないことを意味しません。彼らが実験を続けるにつれて、技術の習熟度は成長し、敵対的な革新の可能性も高まります。
「攻撃者は自分のgenaiのカスタマイズを開始できると思います。もう少し兵器化します。ですから、私たちは今、私たちが昨年または2年間話をしてきた恐ろしい攻撃をもう少し見始めていると思います」とモリンは言います。 「しかし、私たちもそれらと戦う準備ができていると思います。」
#脅威アクターは敵対的なgenaiをどのように使用していますか