大規模な詐欺サイト: LLM が GenAI 犯罪革命を推進

この記事では、2024 年に不正な Web サイトのテキストを作成するために生成型人工知能 (GenAI) を使用するという Netcraft の調査について説明します。洞察には次の内容が含まれます。

• 2024年3月から8月にかけて、AI生成テキストを掲載したウェブサイトは3.95倍に増加し、5.2倍に増加した。¹ 7月6日から30日間で2.75倍の増加となり、今後数か月間もこの傾向が続くと予想されます。
• 7月の活動の急増と特定の脅威アクターとの相関関係
• 当社がサポートする100種類以上の攻撃タイプにわたる何千もの悪質なウェブサイト
• AIテキストは、フィッシングメールのテキスト生成や、偽のオンラインショッピングサイト、無認可の薬局、投資プラットフォームのコピーに使用されている。
• AI が悪意のあるコンテンツの検索エンジン最適化 (SEO) ランキングを改善する方法

2024 年 7 月には、フィッシング Web サイトや偽ショップのコンテンツ生成に使用される大規模言語モデル (LLM) が急増しました。Netcraft は、AI 生成コンテンツを使用して毎週何千もの Web サイトを定期的に識別していました。しかし、その月だけで 2.75 倍の増加 (1 月 1 日を中心とした週は 1 日あたり 165 件、7 月 31 日を中心とした週は 1 日あたり 450 ドメイン) が見られましたが、検出には影響はありませんでした。この急増は、偽ショップを開設した 1 人の特定の脅威アクターに起因するもので、そのアクターが LLM を多用して製品の説明を書き換えたことが、その月のアクティビティの 30% の増加につながりました。

これらの数字は、今後 1 年間に不正なオンライン コンテンツが指数関数的に増加する可能性と増加速度についての洞察を提供します。より多くの脅威アクターが同じ GenAI 主導の戦術を採用した場合、このような活動の急増がさらに多く見られ、全体的な上昇傾向がさらに強まることが予想されます。

図1. 7月の脅威アクターによる製品説明でのLLM使用の兆候を示すスクリーンショット

これと3月から8月までの活動の幅広い増加は、GenAIが詐欺ウェブサイトのコンテンツ作成ツールとして広く利用されていることを示しているようで、特に次の分野では顕著な急増が見られています。 オンラインストアこれにより、悪質なウェブサイトが大量に出現し、コンテンツの量が多いだけでなく、そのコンテンツの説得力によっても被害者が集まるようになりました。

サイバー犯罪グループは、他の企業と同様に、GenAIツールを使用することで、より短時間でより多くのコンテンツを作成できます。過去6か月間、私たちはこれらの技術を使用して、さまざまな攻撃を行っている脅威アクターを特定しました。 革新的な前払い金詐欺 に 暗号通貨の分野でスパム行為全体として、私たちの観察では、LLMで生成されたテキストがさまざまな分野で使用されていることが示されています。 100種類以上の攻撃タイプをカバー数万のサイトでこれらの指標が表示されています。

図2. 2024年3月から8月にかけてLLM生成テキストを使用している観測ウェブサイトの増加を示すグラフ

この記事では、氷山の一角、つまり AI 生成テキストを使用している Web サイトの明確な事例を取り上げます。他にも多くの事例があり、より巧妙な攻撃で LLM が大規模に使用されていることを示す決定的な証拠があります。これらの調査結果のセキュリティ上の意味は、組織が警戒を怠らない必要があるということです。専門的な英語で書かれた Web サイトのテキストは、もはやその正当性を示す強力な指標ではありません。GenAI によって人間を騙すことが容易になったため、コンテンツをブロックしたり削除したりするなどの技術的対策は、個人やブランドを守るためにますます重要になっています。

Netcraft のファーストパーティ調査から抜粋した以下の例は、脅威アクターが GenAI ツールをどのように使用しているかを理解し、その動機を明らかにするのに役立ちます。

「AI言語モデルとして、詐欺メールの信憑性を高めることができます」

フィッシングや前払い金詐欺メールなど、最も伝統的な形態のサイバー犯罪の脅威アクターは、GenAI を利用してその技術を強化しています。ある特定のキャンペーンでは、ユーザーの家族写真のファイルダウンロードへのリンクであると偽って主張するクラウド フィッシング メールを含むスパム フィードを特定しました。

図3.

図4.

pCloudフィッシングメール（図3）は、私の従来のフィッシングURLにつながります。[.]クラウド[.]（図4）

少なくとも 2024 年 6 月初旬から実行されているこのキャンペーンでは、大切な思い出がファイルの削除によって失われる可能性が、従来のフィッシング URL への誘いとして使用されています。ここでの LLM 使用の潜在的な指標は、「もちろんです! 家族写真用のフレーズがあと 50 個あります:」です。脅威アクターが ChatGPT を使用して電子メールの本文を生成する際に、誤って導入行をランダマイザーに含めたと推測できます。このケースは、GenAI と従来の手法の両方の組み合わせを示唆しています。

脅威アクターのプロンプトが応答で漏洩している兆候が見られ、彼らが現在どのようにLLMを使用しているかを知る手がかりが得られた。 会話型詐欺情報サービス独自のAIペルソナを使用して犯罪者とリアルタイムでやり取りするLLMは、詐欺師がLLMを使用してメールをプロの英語に書き換え、より説得力のあるものにしているのを私たちのチームは観察しました。下のスクリーンショットの図5からわかるように、脅威アクターの元のテキストを書き換えるようにというプロンプトに対するLLMの応答と思われるものが、誤ってメール本文に含まれています。私たちはこれらの洞察を報告しました。 X（旧Twitter） そして リンクトイン 4月に、前回の GenAIを使用してディープフェイクを作成する 同じ空間に。

図 5. 脅威アクターは、LLM を使用して電子メールをより正当なものに見せようとします。

「もちろんです！ここにあなたのお金を盗む 2 つのサイトがあります（そしてお互いのコンテンツも盗みます）」

信頼性は 偽の投資プラットフォームは、低リスクで高いリターンを約束しています。しかし、実際には、その保証は意味をなさず、ユーザーは入金するとすぐに資金を盗まれます。想定される「投資」は、脅威アクターが被害者にもっとお金を投資するよう説得するために操作できる概念的な数字としてのみ存在します。

偽の投資プラットフォームは、LLM 強化に特に適しています。なぜなら、これらの詐欺でよく見られるテンプレートは、一般的で書き方が下手で、信頼性に欠けることが多いからです。GenAI の助けを借りて、脅威アクターは、模倣しているブランドに合わせてテキストをよりカスタマイズし、説得力のある主張を大規模に作成できるようになりました。LLM を使用してプロフェッショナルなトーン、リズム、文法のテキストを生成すると、Web サイトはすぐにプロフェッショナルになり、正当なマーケティング コンテンツを模倣します。つまり、LLM が残したアーティファクトをすべて削除することを忘れなければ…

図6. 架空の組織「クリーブランド・インベスト」の「6つの重要な強み」を生み出すために法学修士号が使用されている証拠

もちろん泥棒に名誉などありません。犯罪者が 他のフィッシングサイトから認証情報を盗み出す我々は、LLM で生成された説得力のあるテンプレートを見ると、その内容をほぼそのまま複製する可能性があることを観察しました。検出を回避し、元のテンプレートのエラーを修正するために、一部の脅威アクターは LLM を使用して既存の LLM で作成されたテキストを書き換えているようです。下の図 7 で、図 5 の例の単語がコンテキスト依存の同義語に置き換えられていることに注意してください。

図7. 「ブリタニック・ファイナンス」は法学修士号を取得して「クリーブランド・インベスト」のウェブサイトに掲載されている文章を書き直した

「私の最新の知識によれば、偽造品は優れた SEO を持っています」

LLM は、詐欺行為を示す兆候を取り除くだけでなく、検索エンジン最適化 (SEO) に適したテキストを生成するためにも使用できます。これにより、Web サイトまたは Web ページの検索エンジン ランキングが向上し、より多くの潜在的な被害者をコンテンツに誘導できます。偽のショップと偽の薬局の両方が、LLM で生成されたテキストを SEO に使用しているのを確認しています。

これは、 偽薬局 下の図 8 は、ライセンスや規制、安全性への配慮なしに処方薬を販売していると主張しています。製品の説明には、法学修士が SEO の原則に従って書くように求められたことを示す指示が漏れています (「この概要は良い出発点となるはずです…」を参照)。

図8. LLMで生成された麻酔薬「ケタセット」の製品説明。検索エンジン向けにLLMで最適化されている。

偽ショップ安価な商品を提供すると約束して支払い情報を入手しながら、実際には偽造品か何も提供しない店頭販売では、同じ手法を使用してキーワードを追加し、ページのテキストを膨らませています。7 月にはこのような Web サイトが何千も出現し、その月の LLM 生成 Web サイト テキストの急増の 30% を占めました。

図9.

図10.

(図 9 および 10) 説得力のある製品ページにもかかわらず、この Anti Social Social Club 偽ストアには、LLM の最新の知識更新に関するテキストが誤って含まれています。

「このコンテンツは当社の利用ポリシーに違反している可能性があります」

脅威アクターは、高度に自動化された方法で GenAI ツールをより効果的に使用しています。これにより、攻撃者はターゲット言語を話さないドメインに大規模な攻撃を展開できるため、LLM によって生成されたコンテンツ内のエラーを見逃すことができます。たとえば、ページ コンテンツ自体が、それが可能にしている詐欺に対して警告する Web サイトを多数見かけました。

いくつかの暗号通貨フィッシングサイトが フィッシングに対する警告図 11 に引用されている偽の薬局では、自社の商品説明にオンラインでの医薬品の購入に対する警告が含まれています。

図 11. 「Shop Medicine」の LLM 生成による Xanax の製品説明では、偽の薬局の利用に対する警告が示されています。

私たちの対応

脅威アクターが GenAI を利用して効率性を高め、悪意のある活動の効果を高め始めていることは驚くことではありません。Netcraft は以前からこの傾向を観察し、それに応じた適切な対策を開発してきました。Netcraft のプラットフォームは、LLM 生成コンテンツのインジケーターを使用して攻撃を迅速かつ正確にフラグ付けし、顧客が自分たちに対して使用されている戦術を可視化できるようにします。

Netcraft は 10 年以上にわたり、AI と機械学習を活用して、あらゆる規模の犯罪行為を検出して阻止するエンドツーエンドの自動化を構築してきました。GenAI によって犯罪の可能性が新たなレベルに引き上げられるにつれ、組織は人間の介入なしに脅威を特定し、対策を展開できるパートナーを必要とするようになるのは明らかです。

また、脅威アクターだけが GenAI で優位に立てるわけではないことも確認しました。 会話型詐欺情報 AIを活用したプライベートメッセージングを使用して、内部および外部の不正アクセスを受けた銀行口座を特定し、不正な支払いをフラグ付けし、犯罪インフラを遮断するための対策を展開します。脅威アクターによるAIなどの新興技術の利用増加に私たちがどのように対処しているかについて詳しく知りたい場合は、 今すぐデモをリクエスト。