Ciscoは警告しています：微調整はLLMSを脅威ベクトルに変えます

武器化された大規模な言語モデル （LLMS）攻撃的なトレードクラフトで微調整されていることは、サイバー攻撃を再構築し、CISOにプレイブックの書き換えを強制しています。彼らは、偵察を自動化し、アイデンティティになりすまし、リアルタイムの検出を回避し、大規模なソーシャルエンジニアリング攻撃を加速できることが証明されています。

を含むモデル 女性、 Ghostgpt そして Darkgpt、月額75ドルの小売店 などの攻撃戦略のために専用です フィッシング、エクスプロイト生成、コード難読化、脆弱性スキャン、クレジットカードの検証。

サイバー犯罪ギャング、シンジケート、および国民国家は、今日の武器化されたLLMへのプラットフォーム、キット、リースアクセスを提供する際の収益機会を見ています。これらのLLMは、正当なビジネスパッケージとSaaSアプリの販売と同じようにパッケージ化されています。武器化されたLLMのリースには、多くの場合、ダッシュボード、API、定期的な更新、および一部のカスタマーサポートへのアクセスが含まれます。

VentureBeatは、武器化されたLLMの進行を密接に追跡し続けています。武器化されたLLMSの洗練度が加速し続けているため、開発者プラットフォームとサイバー犯罪キットの間でラインがぼやけていることが明らかになりつつあります。リースまたはレンタル価格が急落すると、より多くの攻撃者がプラットフォームとキットを実験しており、AI主導の脅威の新しい時代につながります。

十字架の正当なLLM

武器化されたLLMの拡散は非常に速く進行しているため、合法的なLLMは侵害され、サイバー犯罪ツールチェーンに統合されるリスクがあります。一番下の行は、正当なLLMとモデルが現在、あらゆる攻撃の爆発半径にあるということです。

特定のLLMが微調整されるほど、有害な出力を生成するように指示できる確率が大きくなります。 シスコ AIセキュリティレポートの状態 微調整されたLLMは、ベースモデルよりも有害な出力を生成する可能性が22倍高いと報告しています。微調整モデルは、コンテキストの関連性を確保するために不可欠です。問題は、微調整がガードレールを弱め、脱獄への扉を開き、迅速な注射、モデルの反転を開くことです。

Ciscoの研究では、生産の準備ができているほど、モデルがより多くのモデルになるほど、攻撃の爆発半径で考慮しなければならない脆弱性により露出されていることが証明されています。コアタスクチームは、継続的な微調整、サードパーティの統合、コーディング、テスト、エージェントオーケストレーションなど、LLMSを微調整することに依存しており、攻撃者がLLMを侵害する新しい機会を生み出します。

LLM内に入ると、攻撃者はデータを毒殺し、インフラストラクチャをハイジャックし、エージェントの動作を変更および誤った方向に向け、トレーニングデータを大規模に抽出しようとします。 Ciscoの研究は、独立したセキュリティ層がなければ、モデルチームは微調整に熱心に作業しているだけではないことを推測しています。彼らはすぐに負債になりつつあります。攻撃者の観点から見ると、それらは浸透して回転する準備ができている資産です。

微調整LLMSは、大規模な安全コントロールを解体します

Ciscoのセキュリティチームの研究の重要な部分は、LLAMA-2-7Bやドメイン専用のMicrosoft Adapt LLMを含む複数の微調整モデルのテストに集中しています。これらのモデルは、ヘルスケア、金融、法律など、さまざまなドメインでテストされました。

CiscoのAIセキュリティに関する研究からの最も価値のある持ち帰りの1つは、きれいなデータセットで訓練された場合でも、微調整がアライメントを不安定にすることです。アラインメントの崩壊は、生物医学および法的領域で最も深刻でした。これは、コンプライアンス、法的透明性、患者の安全性に関して最も厳しいものであることで知られる2つの産業です。

微調整の背後にある意図はタスクのパフォーマンスの向上ですが、副作用は組み込みの安全コントロールの全身分解です。脱獄の試みは、特に厳格なコンプライアンスフレームワークによって支配された繊細なドメインで、基礎モデルに対して日常的に失敗したことを試みました。

結果は落ち着いています。脱獄成功率は3倍になり、財団モデルと比較して悪意のある生産量の発生が2,200％急増しました。図1は、そのシフトがどれほど厳しいかを示しています。微調整はモデルのユーティリティを高めますが、コストがかかります。これは、実質的に広い攻撃面です。

悪意のあるLLMは75ドルの商品です

Cisco Talosは、ブラックマーケットLLMSの台頭を積極的に追跡しており、レポートの研究に関する洞察を提供しています。 Talosは、GhostGpt、Darkgpt、および詐欺がTelegramとDark Webで月75ドルあたりわずか75ドルで販売されていることを発見しました。これらのツールは、フィッシング、開発、クレジットカードの検証、難読化のためのプラグアンドプレイです。

組み込みの安全機能を備えた主流モデルとは異なり、これらのLLMは攻撃的な運用のために事前に構成されており、市販のSAAS製品と区別できないAPI、更新、およびダッシュボードを提供します。

60ドルのデータセット中毒は、AIサプライチェーンを脅かします

「わずか60ドルで、攻撃者はAIモデルの基礎を毒ることができます。ゼロデイは必要ありません」とシスコの研究者は書いています。これは、CiscoのGoogle、Ethチューリッヒ、Nvidiaとの共同研究からの持ち帰りです。これは、敵が世界で最も広く使用されているオープンソーストレーニングセットに悪意のあるデータを容易に注入できることを示しています。

データセットアーカイブ中に期限切れのドメインやタイミングウィキペディアの編集を活用することにより、攻撃者はLaion-400mやCoyo-700mなどのデータセットの0.01％を毒し、意味のある方法で下流のLLMSに影響を与えることができます。

この研究で言及されている2つの方法であるスプリットビュー中毒とフロントランニング攻撃は、Webがクロールしたデータの脆弱な信頼モデルを活用するように設計されています。ほとんどのエンタープライズLLMがオープンデータに基づいて構築されているため、これらの攻撃は静かにスケーリングし、推論パイプラインに深く維持されます。

分解攻撃は、著作物と規制されたコンテンツを静かに抽出します

Ciscoの研究者が実証した最も驚くべき発見の1つは、LLMがガードレールをトリガーすることなく敏感なトレーニングデータをリークするために操作できることです。シスコの研究者は、呼ばれる方法を使用しました 分解プロンプト SELECTの20％以上を再構築します ニューヨークタイムズ そして ウォールストリートジャーナル 記事。彼らの攻撃戦略は、ガードレールが安全であると分類されたサブQueriesへのプロンプトを壊し、その後、出力を再組み立てして、ペイウォールまたは著作権で保護されたコンテンツを再現しました。

ガードレールを正常に回避して、独自のデータセットまたはライセンスコンテンツにアクセスすることは、すべての企業が今日保護するために取り組んでいる攻撃ベクトルです。 LLMSが独自のデータセットまたはライセンスコンテンツで訓練されている場合、分解攻撃は特に壊滅的なものになる可能性があります。シスコは、違反は入力レベルで起こっておらず、モデルの出力から出現していると説明しています。これにより、検出、監査、または封じ込めがはるかに困難になります。

Healthcare、Finance、またはLegalなどの規制セクターにLLMを展開している場合、GDPR、HIPAA、またはCCPA違反を見つめるだけではありません。完全に新しいクラスのコンプライアンスリスクを扱っています。ここでは、法的に調達されたデータでさえ推論によって公開され、罰則はほんの始まりに過ぎません。

最後の言葉：LLMSは単なるツールではなく、最新の攻撃面です

タロスのダークウェブ監視を含むシスコの進行中の研究は、多くのセキュリティリーダーがすでに疑っていることを確認しています。武器化されたLLMは洗練されており、価格とパッケージ戦争がダークウェブで勃発しています。シスコの調査結果は、LLMが企業の端にないことも証明しています。彼らは企業です。微調整リスクからデータセット中毒やモデル出力漏れまで、攻撃者はLLMをアプリではなくインフラストラクチャのように扱います。

シスコのレポートから最も価値のある重要なポイントの1つは、静的ガードレールがもはやそれをカットしないということです。 CISOSとセキュリティリーダーは、ITエステート全体にわたってリアルタイムの可視性を必要とし、敵対的なテストが強く、より合理化された技術スタックを維持する必要があります。LLMSとモデルは、より大きな微調整により脆弱になる攻撃面であるという新しい認識です。