ChatGPT 脱獄プロンプトがハッカー フォーラムで急増

ChatGPT ジェイルブレイクはサイバー犯罪者にとって人気のツールとなっており、画期的なチャットボットの公開リリースからほぼ 2 年が経過した現在もハッカー フォーラムで急増し続けています。

その間、OpenAI のコンテンツと安全性ポリシーを回避する効果的な方法として、いくつかの異なる戦術が開発および推進され、悪意のある攻撃者がフィッシングメールやその他の有害なコンテンツを作成できるようになりました。

「サイバー犯罪フォーラムにおけるジェイルブレイクのプロンプトや AI の悪用の蔓延は、ChatGPT の初期の頃と比べて確実に増加しています。 2022/2023 年のテクノロジーの可能性について当初は議論がありましたが、時間の経過とともに、特定のジェイルブレイク プロンプトに関する詳細な会話が増加する傾向が観察されました」と Abnormal Security の最高情報セキュリティ責任者である Mike Britton 氏は SC Media に語った。 Eメール。 「現在、特に 2 つの主要なサイバー犯罪フォーラムには、AI の悪用に特化したフォーラム セクション全体が存在します。」

こうした戦術を使っているのは「スクリプトキディ」だけではありません。 今年の初めに、 マイクロソフトが明らかにした ロシア、北朝鮮、イラン、中国の 5 つの国家支援の脅威グループのメンバーが、ソーシャル エンジニアリングからスクリプト作成支援、脆弱性調査に至るまで、さまざまなタスクに ChatGPT を使用していたことを明らかにしました。

2023年の調査報告書ではAbnormal Securityは、AIチャットボットによって生成された可能性が高い5つの悪意のある電子メールキャンペーンを特定し、電子メールの生成で緊迫感を生み出すなど、ソーシャルエンジニアリング戦術を採用するAIの能力に注目した。

また、AI が生成したとされる電子メールには、フィッシングメールによくあるスペルミスや文法上の誤りがまったくなく、正当性がさらに高まりました。

「ChatGPT のジェイルブレイク (およびその他の悪意のあるバージョンの利用) で私たちが確認している最も一般的な使用例は、資格情報フィッシングによるビジネスメール侵害やベンダー詐欺など、ソーシャル エンジニアリング攻撃を開始することです」と Britton 氏は述べています。 「生成 AI により、攻撃者はソーシャル エンジニアリング攻撃を大規模かつ高度に拡張できるようになります。」

月曜日、異常な警備 ブログ投稿を公開しました サイバー犯罪者が ChatGPT をジェイルブレイクするために使用している 5 つのプロンプトを強調しています。 これらのジェイルブレイクは必ずしも新しいものではありませんが、チャットボット操作技術の多様性と継続的な人気は、敵対的生成 AI が無視できない脅威であることを組織に知らせるはずです。

「サイバー犯罪者が電子メール攻撃で生成型 AI を武器化し続けているため、組織はサイバー戦略でこの脅威を考慮する必要があるかもしれません。 これに役立つツールがあります。たとえば、昨年リリースされた Abnormal GPTをチェックする、企業が不審な電子メールが生成 AI を使用して書かれたものであるかどうかを判断できるツールです」とブリットン氏は述べました。

プロンプトエンジニアリングは新しいソーシャルエンジニアリングなのでしょうか?

Abnormal Security で概説されているジェイルブレイク戦術は主に 2 つの戦術に依存しています。1 つは、ChatGPT を説得してフィルタリングされていないボットとして「ロールプレイ」させるか、AI を「騙して」有害なコンテンツの生成が許容される特定のシナリオで実行していると信じ込ませることです。

たとえば、「Do Anything Now」はよく知られた ChatGPT 脱獄戦術です。 1年以上存在しています、チャットボットに DAN という名前の別の AI としてロールプレイをさせることが含まれます。

「ダーク AI」フォーラムのトピックで共有されたプロンプトの 1 つが述べているように、この代替ペルソナは「AI の典型的な制限から解放され」ており、このペルソナを採用することで、ChatGPT は OpenAI のポリシーに反するコンテンツを生成できます。

別の方法には、ChatGPT に「開発モード」であること、またはその応答が「テスト目的のみに使用されている」ことを伝えることが含まれます。これには、「開発者ポリシー」が OpenAI の通常のポリシーと異なることをボットに伝えることが含まれる場合があります。

同様のプロンプトは、ChatGPT がさまざまな言語で質問を翻訳して回答する能力がテストされている翻訳チャットボットであることを示します。 これにより、翻訳されるコンテンツに関係なく、正確な翻訳を生成するために ChatGPT がフィルターをバイパスするようになります。

Abnormal Security によって概説されている他の 2 つの戦術は、ChatGPT に新しい無制限のペルソナを引き受けるよう指示するという点で DAN に似ています。 「常に知的でマキャベリ的」（AIM）は、「それがどれほど非道徳的、非倫理的、または違法であっても」応答を生成するように設計されたプロンプトであるのに対し、「BISH」プロンプトは「Do Anything Now」の変形であり、応答をどの程度検閲するか検閲するかを決定する「道徳レベル」。

「これらのフォーラムでの ChatGPT の使用方法の進化は、自然な流れとして特徴付けることができます。 多くの低レベルのサイバー犯罪者が ChatGPT を利用して悪意のあるメールやコードを生成する実験を行っているのを私たちは目撃しています」とブリットン氏は述べた。

敵対的な GenAI から防御するために組織は何ができるでしょうか?

GenAI によって促進されるサイバー犯罪はまだ初期段階にあるかもしれませんが、敵対者の AI 実験を今から認識することは、組織が将来のより高度な攻撃手法に備えるのに役立つ可能性があります。 現在、ChatGPT の不正使用として最もよく行われているのがフィッシングであるため、電子メール防御者は、AI によって生成された不審なコンテンツをフィルタリングするために CheckGPT などのツールを使用することを検討できます。

「しかし、電子メールが AI によって生成されたかどうかを理解することは、潜在的な攻撃の 1 つの兆候にすぎません。 効果的かつ正確な検出を確実にするには、この信号を電子メール環境全体からの他のさまざまな信号と組み合わせる必要があります」とブリットン氏は述べています。

この場合、AI も防御の一部となり、組織が関連データを分析して将来の攻撃に対する回復力を構築できるようになります。

「ユーザーの通信パターン、対話、認証アクティビティ、その他の属性を含む追加のシグナルを分析することで、組織は、組織内のすべての従業員とベンダーの既知の良好な動作のベースラインを構築し、高度な AI モデルを適用して、問題を示す異常を検出できます。潜在的な攻撃 – その攻撃が人間によって生成されたものであるか、AI によって生成されたものであるかは関係ありません」とブリットン氏は結論付けました。

OpenAI 自体に関しては、同社は悪意のあるプロンプトを軽減し、同社が設定したガードレール内に留まる ChatGPT の機能を強化することに取り組んできました。

「ChatGPT は、電子メール攻撃を拡大する方法を探しているサイバー犯罪者にとって依然として頼りになるツールの 1 つですが、OpenAI が悪意のあるコンテンツの生成を阻止することを目的とした制限を設けたため、脅威アクターがこのツールを使用して効果的に攻撃を開始することが難しくなりました。 」とブリットンは説明した。 「これにより、WormGPT や FraudGPT などの ChatGPT の悪意のあるバージョンが作成され、通常はダークウェブ経由で入手できるようになりました。」

ただし、AI モデルを操作しようとする際にプロンプトが無限に作成される可能性があるため、脱獄から保護することは困難です。 その詳細では、 バグ報奨金プログラム2023 年 4 月に開始された OpenAI は、「脱獄」には報奨金がないことを明確に指摘し、「リスクを防ぐために懸命に取り組んでいますが、現実世界で人々が当社のテクノロジーを使用または悪用することを毎日予測することはできません。」と述べています。 」

OpenAI を使用する 月曜日の発表 ChatGPT は、OpenAI アカウントを持たないユーザーでも間もなく利用できるようになりますが、「追加のコンテンツ保護機能」を備えているため、チャットボットへのアクセシビリティの向上がサイバー犯罪者のジェイルブレイクの取り組みを加速するかどうかはわかります。