パリッとした青いシャツを着て、柔らかなアメリカ訛りで話すこの身なりの良い青年は、西アフリカのブルキナファソ国家の軍事政権指導者の支持者とは思えない。
「我々は…イブラヒム・トラオレ大統領を支持しなければなりません…祖国か死か、我々は乗り越えなければなりません！」彼は、2023年初めにテレグラムで拡散し始めたビデオの中で述べている。独裁者が軍事クーデターによって権力を握ってからわずか数カ月後のことだった。
似たようなプロフェッショナルな外見を持ち、ブルキナファソの国旗の前で全く同じ脚本を繰り返す別の人物が主演する他の動画も、ほぼ同時期に公開された。
数日後、X の認証済みアカウントで、同じ青いシャツを着た同じ若者が、自分は新しい仮想通貨プラットフォームの最高経営責任者であるアーチーであると主張しました。
これらのビデオは偽物です。これらは、ロンドン東部に拠点を置く新興企業によって開発された人工知能 (AI) によって生成されました。 Synthesia という会社は、本物そっくりの AI 動画を完成させることを競う業界で話題を呼びました。投資家は現金を注ぎ込み、同社を「ユニコーン」の地位、つまり評価額10億ドル以上の非公開企業の地位に押し上げた。
Synthesia のテクノロジーは、マーケティング資料や社内プレゼンテーションの作成を検討しているクライアントを対象としており、ディープフェイクはすべて利用規約に違反します。しかし、これは、デジタル「パペット」の背後に似たモデルがいるモデルにとってはほとんど意味がありません。 明らかにブルキナファソの独裁者を支持するようなプロパガンダビデオで使用されています。ガーディアン紙はそのうち5人を追跡した。
「ショックで、今は言葉もありません。私は [creative] この業界に20年以上携わっていますが、これほど侵害され、弱い立場にあると感じたことはありません」と、フェイクビデオに青いシャツを着て登場するロンドン在住のクリエイティブディレクター、マーク・トーレス氏は語った。
「誰にもそんな目で見られたくないんです。私の画像が世に出たという事実だけで、私が存在を知らなかった国で軍事政権を推進しているという事実が何かを物語っている可能性があります。人々は私がクーデターに関与していると思うだろう」とガーディアン紙に初めてビデオを見せられた後、トーレス氏は付け加えた。
の シュート
2022 年の夏、コナー・イェーツはエージェントから電話を受け、新しい会社の最初の AI モデルの 1 人になるチャンスを申し出ました。
Yeates さんはその会社のことを聞いたことがありませんでしたが、ロンドンに引っ越したばかりで、友人のソファで寝ていました。 1 日の撮影と 3 年間の画像使用に 4,000 ポンド近くのオファーは、「良い機会」のように感じられました。
「私は大学時代からモデルをしていて、卒業して以来それが私の主な収入です。それから私はスタンドアップを始めるためにロンドンに引っ越しました」とバースで育ったイェーツは語った。
撮影はロンドン東部にあるシンセシアのスタジオで行われた。まずはヘアメイクの指導を受けました。 30分後、彼は少人数のスタッフが待っている録音室に入った。
イェーツは、白衣、建設用の高視認性ベストとヘルメット、企業スーツなど、さまざまな衣装を着て、カメラを直接見つめながらセリフを読むように求められました。
「目の前にはセリフが書かれたテレプロンプターがあり、これを言うと、ジェスチャーを捉えて動きを再現することができます。彼らはもっと熱心に、笑顔で、顔をしかめ、怒って、と言うでしょう」とイェーツ氏は語った。
全部で3時間かかりました。数日後、彼は契約書と AI アバターへのリンクを受け取りました。
「彼らはすぐに支払いました。私には裕福な両親がいないので、お金が必要でした」とイェーツさんは言いましたが、その後はそのことについてあまり考えませんでした。
トーレス氏と同様、イェーツ氏の肖像もブルキナファソの現指導者のプロパガンダに利用された。
シンセシアの広報担当者は、同社が2023年に動画を作成したアカウントを禁止し、コンテンツレビュープロセスを強化し、「コンテンツモデレーターを増員し、テクノロジーの悪用をより適切に検出して防止するためにモデレーション機能と自動化システムを改善した」と述べた。 ”。
しかしトーレス氏もイェーツ氏も、数カ月前にガーディアン紙から連絡を受けるまで、このビデオについて知らされていなかった。
「ユニコーン」
Synthesia は、Victor Riparbelli、Steffen Tjerrild、およびロンドンとミュンヘンの 2 人の学者によって 2017 年に設立されました。
同社はその 1 年後に、制作会社が AI を使用して音声を翻訳し、俳優の唇を自動的に同期できる吹き替えツールをリリースしました。
これは BBC の番組で紹介され、英語しか話さないニュースプレゼンターがあたかも魔法のように北京語、ヒンディー語、スペイン語を話しているように見せられました。
同社が誰もが欲しがる「ユニコーン」の地位を獲得したのは、現在入手可能な大衆向けデジタル アバター製品への軸足でした。これにより、企業または個人は月額わずか 23 ポンドで、プレゼンター主導のビデオを数分で作成できるようになります。さまざまな性別、年齢、民族性、外見を備えた数十のキャラクターから選択できます。一度選択すると、デジタル人形をほぼあらゆる環境に置き、台本を与えると、120 以上の言語とアクセントでその台本を読むことができます。
Synthesia は現在、市場で圧倒的なシェアを占めており、顧客には Ernst & Young (EY)、Zoom、Xerox、Microsoft が名を連ねています。
この製品の進歩により、タイム誌は 9 月にリパルベリを AI 分野で最も影響力のある 100 人の中に入れました。
しかし、この技術は、誤った情報や偽情報を広めるために、ロシア、中国などの敵対国に関連するビデオを作成するためにも使用されている。情報筋はガーディアンに対し、2023年に出回ったブルキナファソのビデオもロシア国家関係者によって作成された可能性が高いと示唆した。
個人的な影響
ブルキナファソのビデオがオンラインで出回り始めたのとほぼ同じ頃、Synthesia アバターが提供するフェイクニュースコーナーをフィーチャーした 2 つの親ベネズエラビデオも YouTube と Facebook に登場しました。ある記事では、白いシャツを着た金髪の男性司会者が、経済不安と貧困に関する「西側メディアの主張」を非難し、代わりに国の財政状況について非常に誤解を招く描写を描いた。
ロンドンを拠点とする俳優で、ビデオに肖像が使用されたシンセシアのモデル、ダン・デューハーストはガーディアン紙に次のように語った。静かに私を裁いてくれました。顧客を失ってしまったかもしれない。でもそれは私ではなく、ただの私の顔です。しかし、彼らは私がそれに同意したと思うでしょう。」
「私は激怒しました。それは本当に、本当に私の精神的健康に悪影響を及ぼしました。 [It caused] 圧倒的な不安感だ」と彼は付け加えた。
シンセシアの広報担当者は、同社が肖像が使用された俳優の一部と連絡を取っていると述べた。 「これらの歴史的な事件が、あなたが話した人々に個人的または職業的にマイナスの影響を与えたことを心から遺憾に思います」と彼は述べた。
しかし、ディープフェイクによる被害は一度広まってしまうと元に戻すのは困難です。
デュハースト氏は、自分の顔がプロパガンダを広めるために利用されるのを見るのは最悪のシナリオだと述べ、「心配しているとき、私たちの脳はしばしば壊滅的な状態になる。しかし、実際にその心配が現実になるのを目の当たりにして…本当に恐ろしかったです。」
「ジェットコースター」
昨年、米国では労働組合に加入している俳優やパフォーマー10万人以上が抗議活動を行ってストライキを行った。 AIの使用に反対する クリエイティブアートの分野で。このストライキは、デジタル複製前のインフォームド・コンセントやそのような使用に対する公正な補償などの契約上の保護措置に各スタジオが合意したことを受けて、昨年11月に中止された。ビデオゲーム出演者 ストライキを続ける 同じ問題について。
先月、米国で超党派の法案「NO FAKES Act」が提出され、デジタルレプリカに関わる違反に対して企業や個人に損害賠償責任を負わせることを目的としている。
しかし、AIが生成した性的コンテンツ以外には、アーティスト自身を救済するための実用的な仕組みは事実上存在しない。
「これらのAI企業は人々を本当に危険なジェットコースターに誘っている」と、生成AIと知的財産を専門とするロンドン拠点のメディア・エンターテインメント弁護士ケルシー・ファリッシュ氏は語る。 「そして、何だと思いますか？人々はこのジェットコースターに乗り続けており、今では人々が傷つき始めています。」
GDPR の下では、モデルは Synthesia に対して自分の肖像や画像を含むデータを削除するよう技術的に要求できます。実際にはこれは非常に困難です。
報復を恐れて匿名を希望したシンセシアの元従業員は、AIはモデルのボディランゲージから収集した可能性のあるものを「学習解除」したり、削除したりすることはできないと説明した。そうするには、AI モデル全体を置き換える必要があります。
シンセシアの広報担当者は次のように述べた。「私たちが一緒に仕事をしている俳優の多くは、新たな撮影のために再び私たちと関わってくれます…私たちはコラボレーションの開始時に、彼らに利用規約と私たちのテクノロジーがどのように機能するかを説明し、彼らが何をするかを理解してもらいます。」プラットフォームができることと、私たちが講じている安全策です。」
同氏は、同社は「事実は正確だが二極化を引き起こす可能性のあるコンテンツを含む、政治的なコンテンツに在庫アバターを使用する」ことを許可しておらず、同社のポリシーはアバターが「操作、欺瞞的行為、なりすましなど」に使用されることを阻止するように設計されていると述べた。誤った関連付け」。
「当社のプロセスとシステムは完璧ではないかもしれませんが、当社の創設者はそれらを継続的に改善することに尽力しています。」
ガーディアンがさまざまな偽情報スクリプトを使用してシンセシアのテクノロジーをテストしたとき、アバターのいずれかを使用する試みはブロックされたものの、個人的に作成されたアバターでブルキナファソのプロパガンダビデオを再作成してダウンロードすることは可能でしたが、どちらも許可されるべきではありませんでした。 Synthesia のポリシーに従って。シンセシアは、個人の政治的立場を表明する権利を尊重しているため、これは規約違反ではないとしたが、後にアカウントをブロックした。
ガーディアン紙はまた、音声のみのアバターから、いくつかの言語で「ヒトラー万歳」と言うクリップや、アメリカなまりで「カマラ・ハリスが選挙を不正に操作した」と言う別の音声クリップを作成してダウンロードすることもできた。
Synthesia は Guardian からの連絡を受けて無料の AI オーディオ サービスを停止し、製品の背後にある技術はサードパーティのサービスであると述べました。
余波
彼の似姿を知った経験がプロパガンダビデオに使われていた トーレス氏は深い裏切りの気持ちを残した。「私のイメージを信頼していたこの会社がこのようなことで逃げ出すと知ると、とても腹が立ちます。これは潜在的に命を落とす可能性があり、移民のために国境を越えるときに私の命を落とす可能性があります。」
トーレスは今年、シンセシアからの別の撮影に招待されたが、断った。彼の契約は数か月後に終了し、彼の Synthesia アバターは削除されます。しかし、ブルキナファソのビデオで彼のアバターはどうなるのか 彼にとっても不明瞭だ。
「今、なぜ彼らに顔を公開することがそれほど危険なのか分かりました。私たちがこれに参加したのは残念だ」と彼は言った。
その後、ユーチューブはデューハーストをフィーチャーしたプロパガンダビデオを削除したが、フェイスブックでは引き続き閲覧できる。
トーレス氏とイェーツ氏は両名とも、Synthesia のビデオ広告のトップページに残っています。