AI生成技術によるディープフェイクに対する深い懸念

キャサリン・コノリーが大統領選最後のテレビ討論会に参加した際、AIが生成した彼女の出馬撤退を表明する偽バージョンがソーシャルメディア上で拡散した。

ディープフェイクは見た目も音も彼女に似ていました。このクリップは、リアルに見える人工的な RTÉ ニュース放送で紹介されました。

AI ディープフェイクの分野の専門家でさえ、そのビデオの質の高さに驚いており、この技術が現在もたらしている民主主義への脅威について新たな懸念を引き起こしています。

「脅威レベルが上昇しました」

Aidan O’Brien は、ダブリン市立大学の欧州デジタル メディア観測所の研究者です。彼の仕事には、世界中に投稿されたディープフェイクの分析が含まれます。彼は、キャサリン・コノリーのビデオがこれまでのものと比べてはるかに高品質だったと信じています。

---

キャサリン・コノリーがキャンペーンから撤退したと主張するRTÉニュースの偽報道を示すAI生成ビデオ。

---

「これは操作されたメディアとしては極めて優れた作品だった」とオブライエン氏は語った。

「これにはディープフェイクだけでなく、本物のライブ映像とAI生成映像を混ぜた「シャローフェイク」も含まれていました。彼らはRTÉのグラフィックを正確にすることに苦労しましたが、これは非常に珍しいことです。

「彼らは正しいセットを完成させたが、それには労力、才能、技術が必要だったろう。今回の選挙中に我々が見た他のどのディープフェイクよりもはるかに優れた品質だった」と彼は付け加えた。

オブライエン氏はまた、AIディープフェイクがよく間違える、名前の綴りと発音が正しく行われているという事実にも衝撃を受けた。

「名前が正しく発音されているのを見るのは非常に珍しいことです。これは、アイルランドの政治に詳しい誰かとアイルランドのメディアが、それがアイルランド国外の誰かによって作られたものではないことを示唆していることを示唆しています。」

「このビデオの品質は、脅威のレベルが高まっていることを示しているようです」と彼は言いました。

「驚くほどクオリティが高い」

Barry Scannell 博士は、William Fry の AI 法と政策の責任者であり、政府の人工知能諮問委員会のメンバーでもあります。

彼は火曜日の夜、ソーシャルメディア上で出回った最初の数時間でこの動画を発見した。

「それが驚くほど質が高く、あまりにも本物に思えたので、実際にRTÉのウェブサイトや他のニュースサイトにアクセスして、他の場所で報道されていないか確認しました」とスキャネル博士は語った。

「これは、驚くべきストーリーを見つけた場合に、他の Web サイトにアクセスして検証してみると非常に役立つことだと思います。さらに詳しく調べるためにソースに戻ったところ、Facebook ページからそれが AI であることがわかりました。」

アカウントの背後にいる人たちは、単に動画を楽しんでいただけか、あるいは本気で選挙を妨害しようとしていた可能性があります。

スキャネル博士は、動機について推測するのは難しいと述べた。

「これらのツールを使用している人は多岐にわたりますが、ただ面白いと思って鍋をかき混ぜている人もいるかもしれません。

「本当に悪意のある人物がいる可能性もあるし、もちろん、世界中の他の選挙で見てきたように、第三国が選挙を妨害するためにこの技術を利用する可能性もある」と同氏は述べた。

他国におけるディープフェイク

今週のニューヨーク市長選で、アンドリュー・クオモ氏の陣営は、対立候補のゾーラン・マムダニ氏を攻撃するAI生成の動画を投稿し、すぐに削除した。

人種差別的とのレッテルを貼られたこの広告には、マムダニ氏が手づかみで米を食べる様子が描かれており、支持者が犯罪者のように描かれている。

クオモ氏の報道官は「このビデオは承認も完了もしておらず、通常の法的手続きも経ていない提案だった」と述べた。

「削除されるまで5分間投稿された。」

しかし、ソーシャルメディアではいつもそうであるように、削除される前に広く共有され、保存されました。

2024年1月、米国ニューハンプシャー州の有権者が携帯電話を手に取ると、ジョー・バイデンが州の予備選挙で投票しないよう民主党に告げているかのような音声が聞こえた。それはAIが生成した音声であることが判明した。

2023年9月、スロバキアの総選挙の直前に、スロバキアの党指導者の偽の音声クリップが出回った。その中で、同党指導者は選挙の不正行為やビールの価格つり上げについて話しているのが聞こえた。

ミハル・シメチカ氏は、AIが生成したクリップが票を奪ったのではないかとの懸念を引き起こし、選挙に負け続けた。

イザベル・リンザーは、米国の超党派の非営利デジタル権利団体である民主主義とテクノロジーセンターの選挙と民主主義フェローです。

リンザー氏は「AIが選挙に与える影響に関しては、まだ氷山の一角しか見ていない」と語った。

「テクノロジーは進歩しており、政治家や悪役もより安心してテクノロジーを利用できるようになっている。昨年の米大統領選後にAIによる重大な事件が回避され、危険は去ったと思っていた人は目を覚ます必要がある。」

リンザー氏は、AIおよびソーシャルメディア企業は、注目の国政選挙期間中だけでなく、年間を通じて選挙の誠実さを優先する必要があると考えている。

「米国の中間選挙や、ブラジル大統領選挙のような他の主要な国際選挙まであと1年となっているが、企業、政府、選挙管理者の献身的な戦略とリソースがなければ、準備が整わず、有権者がその代償を払うことになるだろう」と彼女は述べた。

アイルランド規制当局の対応

選挙管理委員会のアン・コイミシウン・トゥクチェイン氏は、キャサリン・コノリーのディープフェイク動画が出回ったのは火曜日の夕方に気づいたと述べた。

「プラットフォームとの事前に合意したコミュニケーションチャネルを利用して、私たちは直ちに問題をエスカレートし、これらの動画にフラグを立てて緊急の審査を要請しました。その後、関連するアカウントが停止されたと理解しています」と広報担当者は述べた。

メディア規制当局のCoimisiún na Meánは、ビデオに対して即座にとった措置を理解するためにMetaと連絡を取った。

アン・コイミシウン氏はまた、選挙の完全性の保護に関するEUデジタルサービス法に基づく義務をプラットフォームに思い出させたと述べた。

メタは動画が投稿されてから数時間以内にフェイスブックから削除したが、その時までに動画は広く共有されていた。

それはさまざまなコメントを集めました。この映像をフェイクだと却下する人もいたが、本物だと思っている人もいたようだ。このビデオは「RTÉ News AI」という Facebook アカウントから発信されたものでした。このアカウントの別の投稿には、投票日に大量の不正投票が行われたという誤ったニュース報道が含まれていました。

このアカウントと動画は、人物、ブランド、企業、組織になりすましたり、偽って表現するコンテンツを許可しないメタのコミュニティ基準に違反したため、Facebookから削除された。

研究者のエイダン・オブライエン氏は、「応答時間はかなり良かったと思う。私の経験では、プラットフォームは苦情にほとんど応答せず、無視することが多い」と述べた。

「現在、これらのプラットフォーム上には他にもAIが生成したコンテンツがたくさんあるので、メタとYouTubeがこれほど迅速に対応したのは驚くべきことだ」と同氏は付け加えた。

バリー・スキャネル博士は、今週このシステムがうまく機能したと信じています。

「このことは、私にアイルランドの民主主義のプロセスと制度に対する大きな信頼を与えてくれます。ダブリンに本拠を置き、欧州本社をここに置き、こうしたコミュニケーションチャネルを持つ大手テクノロジー企業との関係を築くことが素晴らしいことを示しています。」

「メタ社はこの問題について警告を受けたとき、すぐに対応したが、同様に動作しないウェブサイトやプラットフォームは他にもあり、それが問題となる可能性がある」と同氏は付け加えた。

ディープフェイク動画は引き続きXで視聴可能だが、同プラットフォームはポリシーに従って投稿に「操作されたメディア」のラベルを付けると発表した。

エイダン・オブライエン氏は、「こうしたものがいったん封じ込めを破ると、オンラインに投稿されて共有されてしまうと、決して元に戻すことはできない」と語った。

「このビデオはパンドラの箱から出たものであり、我々はこれからこのビデオと付き合っていかなければならないだろう」と彼は付け加えた。

AIの規制

各国政府はEU AI法のような法律で人工知能を取り締まろうとしているが、記録的なスピードで進化するテクノロジーを扱う場合、規制当局は追いつくのに苦労している。

設置されるべきガードレールは、キャサリン・コノリーのディープフェイクの作成中に明らかに突破されました。

「通常、主流の AI モデルでは、少なくとも同意の許可がなければ、既知の人物のディープフェイクを作成することはできません。しかし、人々がこれを行うことを可能にするモデルやシステムが利用可能です。責任ある AI 企業がいない場合に何が起こり得るかを見るのは衝撃的でした」とバリー・スキャネル博士は述べました。

もし内容が異なっていて、対応がもっと遅く、タイミングが投票日に近かったら、AIディープフェイク動画は今回の大統領選に深刻な影響を与えていた可能性がある。

今週の出来事は、悪者がオンラインの世界で何か偽物を作り、現実の世界に大きな影響を与える能力を持っていることを私たち全員に思い出させます。

---

続きを読む
ディープフェイク法の欠如で被害者は「立ち向かう」―専門家
政府、AI「ディープフェイク」を禁止する法律の可決を要請
ハンフリー家のディープフェイク動画がメタによって削除された
音声スプーフィングとオーディオディープフェイクについて知っておくべきことすべて
専門家が子供のAIディープフェイクについて親に警告