OpenAI の Sora ビデオ ジェネレーターのリアリズムがセキュリティ上の懸念を引き起こす

OpenAI は、テキストの説明を写真のようにリアルなビデオに変換できる最新の人工知能システム、Sora と呼ばれるプログラムを発表しました。 このビデオ生成モデルは、世界中で重要な選挙の年に、人工ディープフェイクビデオがどのように誤情報や偽情報を悪化させるかについての懸念の高まりとともに、AI技術の進歩に対する興奮に拍車をかけています。

https://www.youtube.com/watch?v=MfL-カルポズク

Sora AI モデルは現在、テキスト命令だけを使用するか、テキストと画像を組み合わせて使用して、最長 60 秒のビデオを作成できます。 あるデモンストレーション ビデオは、「スタイリッシュな女性が、暖かく輝くネオンとアニメーションの街の看板で満たされた東京の通りを歩いている」様子を説明するテキスト プロンプトで始まります。 他の例には、雪の中で戯れる犬、道路を走行する車両、都市の高層ビルの間の空中を泳ぐサメなどのより幻想的なシナリオが含まれます。

「生成 AI の他の技術と同様に、テキストからビデオへの変換が今後も急速に進歩しないと信じる理由はありません。偽物と本物の区別が困難になる時代がますます近づいています。」言う ハニー・ファリド カリフォルニア大学バークレー校で。 「このテクノロジーを AI を活用した音声クローンと組み合わせると、人々が実際に行ったことのない発言や行動のディープフェイクを作成するという点で、まったく新しい境地が開かれる可能性があります。」

Sora は、画像ジェネレーター DALL-E や GPT ラージ言語モデルなど、OpenAI の既存テクノロジーの一部に基づいています。 テキストからビデオへの AI モデルは、リアリズムとアクセシビリティの点で他のテクノロジーにいくらか遅れをとっていますが、Sora のデモンストレーションはこれまでのものよりも「桁違いに真実味があり、漫画っぽさは軽減されています」と同氏は述べています。 レイチェル・トバックソーシャル エンジニアリングに重点を置いたホワイトハット ハッキング組織である SocialProof Security の共同創設者です。

このより高いレベルのリアリズムを実現するために、Sora は 2 つの異なる AI アプローチを組み合わせています。 1 つ目は、DALL-E などの AI 画像生成器で使用されているものと同様の拡散モデルです。 これらのモデルは、ランダム化された画像ピクセルを一貫した画像に徐々に変換することを学習します。 2 番目の AI 技術は「トランスフォーマー アーキテクチャ」と呼ばれ、連続データを文脈化してつなぎ合わせるために使用されます。 たとえば、大規模な言語モデルでは、トランスフォーマー アーキテクチャを使用して、単語を一般的に理解可能な文に組み立てます。 この場合、OpenAI はビデオ クリップを、Sora のトランスフォーマー アーキテクチャが処理できる視覚的な「時空パッチ」に分割しました。

ソラのビデオには、歩いている人間の左右の足の位置が入れ替わったり、椅子が空中にランダムに浮かんだり、噛まれたクッキーが魔法のように噛み跡がなかったりするなど、まだ多くの間違いが含まれています。 まだ、 ジム・ファンNVIDIA の上級研究科学者である彼は、ソーシャル メディア プラットフォーム X で、Sora を世界をシミュレートできる「データ駆動型の物理エンジン」であると賞賛しました。

ソラ氏のビデオには、動きの多い複雑なシーンを描写するときに依然として奇妙な不具合がいくつか見られるという事実は、そのようなディープフェイクビデオが今のところ検出可能であることを示唆している、と同氏は述べている。 アルビンド・ナラヤナン プリンストン大学で。 しかし、長期的には「社会として適応する別の方法を見つける必要がある」とも警告した。

OpenAIは、Soraの悪用の可能性を評価するために専門家がAIモデルの安全策を破ろうとする「レッドチーム」演習を実施している間、Soraの一般公開を延期してきた。 OpenAIの広報担当者によると、現在Soraをテストしている選ばれたグループは「誤った情報、憎悪に満ちたコンテンツ、偏見などの分野の専門家」だという。

このテストは非常に重要です。なぜなら、人工ビデオにより、悪意のある者が、たとえば誰かに嫌がらせをしたり、政治的選挙を揺るがしたりするために、偽の映像を生成する可能性があるからです。 AI が生成したディープフェイクによって助長された誤った情報と偽情報が主要な懸念事項にランクされる リーダー向け 学界、ビジネス、政府、その他の分野だけでなく、 AI専門家向け。

「Sora は、一般人を騙す可能性のあるビデオを作成する能力を完全に備えています」と Tobac 氏は言います。 「ビデオが写真と同じように簡単に操作できることを多くの人がまだ理解していないため、ビデオが信頼できるものになるために完璧である必要はありません。」

AI企業は、Soraが一般に公開された後に発生する可能性のある大規模な誤情報や偽情報に対処するために、ソーシャルメディアネットワークや政府と協力する必要があるとトバック氏は述べている。 防御には、AI が生成したコンテンツに対する一意の識別子、つまり「ウォーターマーク」の実装が含まれる可能性があります。

OpenAIが2024年にSoraをより広く利用できるようにする計画はあるかとの質問に対し、OpenAIの広報担当者は同社が「SoraをOpenAIの製品で利用できるようにする前に、いくつかの重要な安全措置を講じている」と述べた。 たとえば、同社はすでに、商用 AI モデルが極端な暴力、性的コンテンツ、憎悪に満ちた画像、本物の政治家や有名人の描写を生成することを防ぐことを目的とした自動プロセスを使用しています。 これまで以上に多くの人たちと 今年は選挙に参加する、これらの安全対策が非常に重要になります。