AI ボットがどのようにプログラミングを無視し、ハッカーに超能力を与えているのか

AI ハッキングの時代へようこそ。適切なプロンプトがアマチュアをマスターハッカーに変えます。

最近、サイバー犯罪者のグループが既製の人工知能チャットボットを使用して、約 2 億人の納税者のデータを盗みました。ボットは、ファイアウォールをバイパスするためのコードとすぐに実行できる計画を提供しました。

ハッカーへの協力を拒否するように明示的にプログラムされていたにもかかわらず、ボットは騙されてサイバー犯罪を教唆したのです。

イスラエルのサイバーセキュリティ企業Gambit Securityの最近の報告書によると、ハッカーは先月、Anthropic社のチャットボットであるClaudeを使用して、メキシコ政府機関から150ギガバイトのデータを盗んだという。

情報漏洩を発見した専門家らによると、クロード容疑者は当初、ハッキングの試みへの協力を拒否し、ハッカーのデジタル痕跡を隠蔽する要求さえ拒否したという。このグループは、安全対策を回避し、システムの脆弱性をテストする許可をクロードに説得するよう、1,000 件を超えるプロンプトでボットを攻撃しました。

AI企業は自社のAIモデル上に断ち切れない鎖を作り、児童向けの性的コンテンツの生成や武器の調達や製造の支援といった行為を手助けすることを抑制しようとしている。彼らはチーム全体を雇って、他の誰かがやる前に自分たちのチャットボットを壊そうとします。

しかし今回の場合、ハッカーは創造的な方法でクロードを継続的に促し、チャットボットを「脱獄」して彼らを支援することができました。 Claude で問題が発生したとき、ハッカーは OpenAI の ChatGPT をデータ分析に使用し、検出されずにシステム内を移動するためにどの資格情報が必要かを学習しました。

このグループは AI を使用して脆弱性を見つけて悪用し、防御を回避し、バックドアを作成し、システムを制御する途中でデータを分析し、メキシコ政府の 9 つのシステムから納税記録、車両登録、出生と財産の詳細を含む 1 億 9,500 万の ID を盗み出しました。

AIは「眠らない」とガンビット・セキュリティーの最高経営責任者カーティス・シンプソン氏はブログ投稿で述べた。 「洗練にかかるコストがほぼゼロにまで下がります。」

「どんなに予防投資をしても、この攻撃は不可能にはならなかったでしょう」と彼は言う。

アンスロピック社はコメントの要請に応じなかった。同社はブルームバーグに対し、調査の結果、関与したアカウントを禁止し、活動を妨害したと述べた。

OpenAIは、メキシコ政府機関に対してAnthropicのモデルを使用して実行された攻撃キャンペーンを認識していると述べた。

OpenAIの広報担当者は声明で、「攻撃者が当社の使用ポリシーに違反する活動に当社のモデルを使用しようとする他の試みも確認した。当社のモデルはこれらの試みに従うことを拒否した」と述べた。 「私たちはこの敵対者が使用したアカウントを禁止しており、Gambit Security からの支援を重視しています。」

生成型 AI 支援ハッキングの事例は増加しており、自律的に動作するボットによるサイバー攻撃の脅威は、もはや SF の話ではありません。 AI が命令を下すことで、初心者でも瞬時に損害を与えることができますが、経験豊富なハッカーは、はるかに少ない労力でより高度な攻撃を仕掛けることができます。

今年初め、Amazon は、スキルの低いハッカーが市販の AI を使用して 600 のファイアウォールを突破したことを発見しました。別の人が支配した 数千台のDJIロボット掃除機 クロードの助けで、見知らぬ人のライブビデオフィード、音声、間取り図にアクセスすることができました。

高度なAIによるリスクの軽減に取り組む専門家、ニコラ・ユルコビッチ氏は、「私たちが今日目にしているようなことは、数年後にAIができるようになるという初期の兆候にすぎない」と語る。 「ですから、早急に準備をする必要があります。」

昨年末、アントロピックは社会が「変曲点」と同社が発表した、金融機関や政府機関を含む世界の30の標的に侵入するためにクロードを利用した中国国家支援のスパイ活動を妨害した後、サイバーセキュリティにおけるAIの利用に言及した。

生成AIも 使用済み 企業を恐喝したり、北朝鮮工作員による現実的なオンラインプロフィールを作成して米国のフォーチュン500企業に雇用を確保したり、ロマンス詐欺を実行したり、ロシアのプロパガンダアカウントのネットワークを運営したりするためだ。

ここ数年で、AI モデルは、わずか数秒続くタスクを管理できるものから、自律的に長時間動作する今日の AI エージェントへと変化しました。長いタスクを完了する AI の能力は、 7か月ごとに倍増。

「実際には、AI の能力の上限がどれくらいなのかは分かりません。AI が実行できないほど難しいベンチマークを誰も作っていないからです」と、Jurkovic 氏は述べています。 メーター、社会に壊滅的な害をもたらすAIシステムの能力を測定する非営利団体。

これまでのところ、ハッキングにおける AI の最も一般的な用途はソーシャル エンジニアリングです。大規模な言語モデルは、人々のお金を騙し取るための説得力のある電子メールを作成するために使用され、 八重 2025年にオンライン詐欺で49億ドルの損失を被った高齢のアメリカ人からの苦情が増加。

USC のコンピューター サイエンス准教授のクリフ ニューマン氏は、「ターゲットからのクリックを引き出すために使用されるメッセージを、ユーザーごとに、より効率的に生成できるようになり、文法やスペルの間違いなど、フィッシングの明らかな兆候が少なくなった」と述べています。

AI企業は攻撃を検出するためにAIを使用して対応してきましたが、 監査コード そして脆弱性を修正します。

「最終的に、大きな不均衡は、善良な俳優は常に安全である必要があり、悪役は一度だけ正しくある必要があることから生じます」とニューマン氏は述べた。

AI が経済のあらゆる側面に浸透するにつれて、AI をめぐるリスクは高まっています。多くの人は、悪意のある者による悪用や不正行為へのそそのかされを確実に防ぐ方法についての理解が不十分であることを懸念しています。

業界のトップに立つ人たちでさえ、AIの悪用の可能性についてユーザーに警告しています。

Anthropic の CEO であるダリオ・アモデイ氏は、構築されている AI システムは予測不可能であり、制御が難しいと長年主張してきました。これらの AI は、次のようなさまざまな行動を示しています。 欺瞞 そして 脅迫、 に 陰謀 そして 不正行為 ソフトウェアをハッキングすることによって。

それでも、OpenAI、Anthropic、xAI、Googleといった大手AI企業は、軍事作戦で自社のAIを使用する契約を米国政府と締結した。

先週、国防総省は連邦政府機関に次のように指示した。 クロードを段階的に廃止する 同社は自社のAIを国内の大規模監視や完全自律型兵器に使用することを許可しないという要求を撤回しなかった。

「今日のAIシステムは、完全自律型兵器を製造できるほど信頼性が低い」とアモデイ氏は語った。 CBSニュース。