Meta が Movie Gen テキストをビデオとサウンドに変換するジェネレーターを導入

Meta の Movie Gen で生成された短いビデオのスクリーンショット。左下に透かしが入っています。写真提供: メタ

Meta は、生成 AI を使用して、1 秒あたり 16 フレームの速度で最大 16 秒のビデオ クリップと最大 45 秒の高忠実度オーディオを作成する、テキストからビデオとサウンドを生成する Movie Gen ジェネレーターを導入しました。

「テキスト プロンプトが与えられると、テキストから画像への変換とテキストからビデオへの変換の両方に最適化された結合モデルを活用して、高品質で高解像度の画像とビデオを作成できます。この 30B パラメータのトランスフォーマー モデルには、1 秒あたり 16 フレームの速度で最大 16 秒のビデオを生成する機能があります」とメタ氏はブログ投稿で述べています。

モデルが実行できるタスクには、テキストからビデオへの合成、ビデオのパーソナライゼーション、ビデオ編集、ビデオからオーディオへの生成、テキストからオーディオへの生成などがあるとMetaは研究論文で述べている。

Movie Gen を使用すると、ビデオ クリップを作成したり、テキスト プロンプトに基づいて編集したりできます。サウンドトラックの生成や拡張だけでなく、人物の写真を短いビデオクリップに変換することもできます。同社は、泳ぐカバの赤ちゃんやビーチを走る子供などの非常にリアルなクリップや、科学実験を行っている男性の写真のビデオクリップを共有した。

この技術はまだ広く利用可能になっていないが、将来的にはソーシャルメディアプラットフォーム全体のユーザーが独自のビデオを生成したり、共有する前にマルチメディアを編集したりできるようになるだろうとメタ氏は示唆した。

「私たちは、協力的なアプローチをとることで、人々が可能になるとは夢にも思わなかった新しい方法で、人々が本来持っている創造性を高めるのに役立つツールを確実に作成したいと考えています。 「人生の一日」ビデオをアニメーション化してリールで共有し、テキスト プロンプトを使用して編集したり、友人のためにカスタマイズしたアニメーションの誕生日の挨拶を作成して WhatsApp で送信したりすることを想像してみてください。」とメタ氏は言いました。

AI を活用したビデオ生成の可能性と、それが個人のプライバシー、アーティストの著作権、子供の安全に与える影響については、依然として広く懸念されています。