生成 AI モデルがどのようにして X にイラン戦争に関する偽の資料を大量に送り込んでいるのか

まとめ

• AIツールを使ったイラン紛争に関する偽情報がX（旧Twitter）に雪崩を打った。
• 認証済みアカウント (プレミアム) は、収益化アルゴリズムを悪用して、偽の画像や動画を宣伝します。
• コミュニティ ノート システムは、AI ディープフェイクの作成速度に対して技術的に不十分であることが判明しました。
• 管理に失敗すると、深刻な妥当性の問題が発生し、ギリシャおよび海外の OSINT アナリストによる報告に遅れが生じます。

戦争紛争の偽情報における人工知能の台頭

Xプラットフォームには、AIが生成したイラン戦争の誤った出来事を描いた画像や動画が溢れている。収益化アルゴリズムは高レベルのインタラクションに報酬を与え、プレミアム アカウントに写真のようにリアルなディープフェイクを配布するよう奨励しますが、コミュニティ ノートのようなモデレーション システムは、これらのファイルの拡散速度に追いつくことができません。

情報のデジタル環境は、生成 AI モデルが広く利用可能になって以来、最大の妥当性の課題に直面しています。イランでの戦争紛争の激化により、ソーシャルメディアプラットフォームXの深刻な構造的問題が浮き彫りになった。数十万件の投稿には、完全にシステムによって生成された視聴覚素材が含まれている AI、決して起こらなかった災害、軍事行動、政治的声明を特集しています。

このコンテンツの制作には、専門的なプログラミングやグラフィック デザインの知識は必要ありません。 Midjourney v6 や DALL-E 3 などの画像制作ツールや高度なビデオ合成プラットフォームは、単純なテキスト コマンドでフォトリアリスティックな結果を作成する機能を提供します。これらの制作されたメディアの技術的な完成度は非常に高いため、ほとんどのユーザーの知覚能力を超えており、戦争作戦の実際の進行状況について、まったくもっともらしいが捏造された印象を作り出しています。

X の経済的動機とアルゴリズム

蔓延の根源は、X が確立したインセンティブ構造にあります。 Creator Ads Revenue Sharing プログラムでは、投稿で獲得したビューやインタラクションに基づいて、プレミアム アカウント所有者にプレミアムな金額が授与されます。このシステムは実際には誤った情報を増幅させるものとして機能します。偽コンテンツ作成者は、たとえ捏造されたものであっても、印象的な災害シーンが何千もの再投稿、いいね、コメントを集めるということを知っています。

検証プロセス (おなじみの青いチェックマーク) では、権威、報道機関、アカウントの支払能力は証明されなくなり、月々の購読料の支払いのみが証明されます。直接的な結果として、「検証済み」プロファイルを持つアカウントが AI ディープフェイクの主要な配布ハブになります。このプラットフォームのアルゴリズム システムは、ユーザーとのつながりを維持するために、これらの人気の投稿を世界中の何百万人ものユーザーの「For You」フィードに宣伝し、人的または機械的な制御が介入する前にその可視性を最大化します。

技術的対策の弱点とコミュニティノート

誤った情報に対する X の主な防御線は、コミュニティ ノート システムに基づいています。ユーザーのボランティアは不正確なコンテンツにフラグを立て、信頼できる情報源を参照して必要なコンテキストを追加します。ただし、生成 AI のアーキテクチャにより、このメカニズムは不釣り合いに遅くなります。 AI が生成したビデオの作成と投稿には数分しかかかりません。対照的に、コミュニティ ノートの草案、内部投票、最終承認には何時間もかかります。反論が出てくる頃には、捏造された内容はすでに広く出回っている。さらに、この素材の配布者は、コミュニティ ノートを受け取ると元の投稿を削除し、スクリーニング フィルターを回避して再アップロードすることがよくあります。

純粋に技術的な観点から見ると、従来の制御システムは失敗します。これまでプラットフォームは、既知の偽情報ファイルごとに永続的なデジタル フットプリントを作成することで「ハッシュ」技術を実装し、新しいアップロードが試行された場合に自動的にブロックしていました。ただし、人工知能は毎回完全に固有のファイルを生成します。画像がまったく同じ捏造されたイベントを示している場合でも、ピクセルの配置が異なるため、従来のハッシュ法は役に立ちません。

同時に、X の API への無料アクセスが削除されたことで、学術研究者や独立組織は一括スキャン ツールを利用できなくなりました。これまでは、特殊なアルゴリズムが何百万もの投稿をリアルタイムで分析し、連携して動作しているアカウントのクラスター (ボット ネットワーク) を特定できました。現在、この抜け穴により、組織化された偽情報ネットワークが妨げられずに動作することが可能になっています。

ギリシャのデジタル空間とヨーロッパの文脈への影響

この合成素材の流れはギリシャのデジタル空間に直接入ります。中東の発展と東地中海への影響に対する地政学的関心を考慮すると、ギリシャ国民は常に AI が生成するニュースにさらされています。ギリシャのニュースルームや国内のオープンソース (OSINT) アナリストにとって、X は一次情報の中核でした。現在、ビデオを技術的に検証するのに必要な時間が急増しています。研究者は現実と AI を区別するために、影分析、逆探索、視覚的ノイズ検査ソフトウェアを使用することを余儀なくされています。この遅延により即時の情報が奪われ、注意力の低いローカル ネットワークによって偽物が複製される可能性があります。

同時に、欧州連合の法的枠組みはその動向を注意深く監視しています。デジタル サービス法 (DSA) は、X などの超大規模オンライン プラットフォーム (VLOP) に対し、公共の安全や民事上の議論に関連するシステムリスクを積極的に軽減することを義務付けています。このプラットフォームが誤った情報を排除できなかった場合、規制当局から厳しい罰金が科せられるリスクが伴う。

テックギア提供

生産的な AI ツールと X の収益化アルゴリズムの間の相互作用により、機能不全の情報環境が形成されます。この発展は単なる「フェイクニュース」の限界を超え、偽情報の産業化に突入する。専門のコンテンツ管理チーム (信頼性と安全性) を構造的に弱体化し、クラウドソーシングのみに責任を割り当てるという決定 (コミュニティ ノート) により、プラットフォームは LLM や拡散システムによって生成される膨大な量のデータに対して脆弱になります。

この問題に効果的に対処するには、ソーシャル ネットワークがマルチメディアを管理する方法を根本的に変える必要があります。アップロード時に各画像の出所を証明する暗号透過性標準 (C2PA プロトコルなど) を普遍的かつ強制的に採用しなければ、また、偽素材を利用するプレミアム ユーザーを厳しく罰することもなく、ネットワークは捏造された現実の送信機として機能し続けることになります。真のジャーナリズムと批判的分析には、強力な横断ツールが必要ですが、現在のインフラストラクチャはそれらを中核に組み込むことを拒否しています。