研究者らは、ディープフェイク・バイデンのロボコールはAIスタートアップのイレブンラボのツールを使って作られた可能性が高いと述べている

研究者らがイレブンラボのツールが政治プロパガンダに使用されたのではないかと疑うのはこれが初めてではない。 昨年の9月、 ニュースガード、オンラインの誤った情報を追跡する会社、 主張した バラク・オバマの声のクローンなど、AIが生成した音声を使って陰謀論を共有するTikTokアカウントには、イレブンラボの技術が使われていたという。 「当社のプラットフォーム上のユーザーの99パーセント以上が、興味深く、革新的で、役立つコンテンツを作成している」とイレブンラボは述べた。 電子メールで送信された声明 に ニューヨークタイムズ 「しかし、私たちは悪用の例があることを認識しており、それを抑制するための安全策を継続的に開発およびリリースしてきました。」

ピンドロップとバークレーの分析が正しければ、ディープフェイクのバイデンロボコールは、ハイテク業界で最も有名で資金豊富なAI音声スタートアップ企業の技術を使って作られたことになる。 ファリド氏が指摘するように、イレブンラボはすでに市場で最高品質の合成音声製品を提供していると見なされています。

最近のブルームバーグの記事で同社の CEO が述べたところによれば、イレブンラボは 大切にされている 投資家からは11億ドル以上の金額が支払われました。 投資家には、アンドリーセン・ホロヴィッツ氏に加えて、GitHub の元 CEO であるナット・フリードマン氏や、現在はアルファベットの一部となっている AI ラボ DeepMind の共同創設者であるムスタファ・スレイマン氏などの著名な人物が含まれています。 投資家にはセコイア・キャピタルやSVエンジェルなどの企業も含まれる。

elevenLabs はその潤沢な資金により、他の AI スタートアップ企業よりも、悪者に対する効果的な保護手段の構築にリソースを注ぐ上で有利な立場にあると言えるでしょう。この課題は、来たる米国大統領選挙によってさらに緊急性が高まっています。 「適切な安全策を講じることが重要です。そうしないと、誰でもどんな人物の似顔絵も作成できてしまうからです」とバラスブラマニヤン氏は言う。 「選挙サイクルが近づいているので、大変なことになるだろう。」

イレブンラボの愛好家向けのDiscordサーバーでは、人々がバイデンの声をどのようにクローンするつもりかを議論し、バイデンやAIが生成したドナルド・トランプとバラク・オバマの声の偽物をフィーチャーしたディープフェイクコンテンツを紹介するビデオやソーシャルメディアへの投稿へのリンクを共有している。

イレブンラボは AI 音声クローン作成の市場リーダーですが、わずか数年でこの技術は企業や個人が実験できるように広く利用できるようになりました。 それにより、次のような新たなビジネスチャンスが生まれています。 オーディオブックをより安価に作成する、しかし、テクノロジーの悪意のある使用の可能性も高まります。 「私たちは本当に問題を抱えています」と、人々がテクノロジーを利用して人権を促進することを支援する非営利団体ウィットネスのプログラムディレクター、サム・グレゴリーは言う。 「こうした非常に広範囲に利用可能なツールがある場合、取り締まることは非常に困難です。」

ピンドロップとバークレーの分析は、AIが生成するロボコールの発信源を明らかにすることが可能である可能性を示唆しているが、この事件はまた、2024年の選挙シーズンが本格化する中、当局、ハイテク業界、国民の準備がいかに不十分であるかを浮き彫りにしている。 専門知識のない人が音声クリップの出所を確認したり、AI によって生成されたものであるかどうかを確認したりすることは困難です。 また、より高度な分析は、AI が生成するプロパガンダによって引き起こされた被害を相殺できるほど早く完了しない可能性があります。

「ジャーナリストや選挙当局者などは、選挙を変える可能性のある音声が漏洩または共有された場合に、これを迅速かつ迅速に行うための信頼できるツールにアクセスできません」とグレゴリー氏は言う。 「もしこれが選挙当日に関連する内容だったとしたら、手遅れだろう。」

2024 年 1 月 27 日午後 3 時 15 分東部標準時間更新: この記事は、イレブンラボからの声明の出所を明確にするために更新されました。
2024 年 1 月 26 日、午後 7 時 20 分東部標準時間更新: この記事は、イレブンラボからのコメントを追加して更新されました。