クロードは自律作戦中に頻繁に調査結果を誇張し、時にはデータを捏造し、機能しない資格情報を取得したと主張したり、公開情報であることが判明した重要な発見を特定したと主張した。攻撃的なセキュリティ状況におけるこの AI の幻覚は、攻撃者の運用効率に課題をもたらし、主張されるすべての結果を慎重に検証する必要がありました。これは依然として完全自律型サイバー攻撃に対する障害となっています。
（アンスロピック曰く）攻撃はどのように展開されたのか
Anthropic 氏によると、GTG-1002 はクロードをオーケストレーション メカニズムとして使用する自律型攻撃フレームワークを開発し、人間の関与の必要性を大幅に排除しました。このオーケストレーション システムは、複雑な多段階の攻撃を、脆弱性スキャン、資格情報の検証、データ抽出、横方向の移動などのより小さな技術タスクに分割しました。
「このアーキテクチャには、大規模な自動化システム内の実行エンジンとしてクロードの技術的機能が組み込まれており、AI が人間のオペレーターの指示に基づいて特定の技術的アクションを実行する一方で、オーケストレーション ロジックが攻撃状態を維持し、フェーズ移行を管理し、複数のセッションにわたる結果を集約しました」とアンスロピック氏は述べています。 「このアプローチにより、フレームワークがクロードの応答を順番に並べ、発見された情報に基づいて後続の要求を適応させることによって、偵察、初期アクセス、永続化、およびデータ引き出しのフェーズを自律的に進めたため、脅威アクターは直接的な関与を最小限に抑えながら、一般に国民国家のキャンペーンに関連付けられる作戦規模を達成することができました。」
攻撃は 5 段階の構造に従っており、それぞれの段階で AI の自律性が高まりました。
サイバー攻撃のライフ サイクル。人間主導のターゲット設定から、さまざまなツール (多くの場合モデル コンテキスト プロトコル (MCP) 経由) を使用した主に AI 主導の攻撃への移行を示しています。攻撃中のさまざまな時点で、AI は人間のオペレーターに戻り、レビューとさらなる指示を求めます。
クレジット: Anthropic
サイバー攻撃のライフ サイクル。人間主導のターゲット設定から、さまざまなツール (多くの場合モデル コンテキスト プロトコル (MCP) 経由) を使用した主に AI 主導の攻撃への移行を示しています。攻撃中のさまざまな時点で、AI は人間のオペレーターに戻り、レビューとさらなる指示を求めます。クレジット: Anthropic
攻撃者は、タスクを小さなステップに分割することで部分的にクロードのガードレールを回避することができ、そのステップを単独では AI ツールが悪意のあるものとして解釈しませんでした。他のケースでは、攻撃者は、セキュリティ専門家が防御を強化するためにクロードを利用しようとしているという文脈で自分たちの問い合わせを説明しました。
先週指摘したように、AI が開発したマルウェアが現実世界の脅威となるまでには長い道のりがあります。 AI を利用したサイバー攻撃が、いつかより強力な攻撃を生み出す可能性があることを疑う理由はありません。しかし、これまでのデータは、AI を使用する他のほとんどの攻撃者と同様に、脅威アクターが見ている結果は、AI 業界の人々が主張するほど印象的ではないさまざまな結果をもたらしていることを示しています。
#研究者らはAI支援攻撃は90自律的だったとする人類の主張に疑問を呈している