Meta の新しい AI モデルはテキストからビデオ、画像、音声を作成します

まとめ

Meta は、これまでで最も先進的な AI メディア モデルを発表しました。 「Movie Gen」は動画、画像、音声の生成、編集が可能です。同社は、これに新たなアプリケーションの大きな可能性を見出しています。

Movie Gen の中心となるのは、テキストの説明からビデオや画像を生成できる 300 億パラメータの Transformer モデルです。 Meta によると、このモデルは 1 秒あたり 16 フレームで最大 16 秒の長さのビデオを生成できます。

ビデオは、さまざまなアスペクト比 (1:1、9:16、16:9) および 768 × 768 ピクセルの解像度で作成できます。アップスケーラーを追加すると、解像度をフル HD (1080p) まで高めることができます。

Movie-Gen は、テキストのみからフォトリアリスティックなシーンを作成できることになっています。 |ビデオ: メタ AI

広告

THE DECODER ニュースレター

重要な AI ニュースがメールの受信箱に直接届きます。

✓ 週に 1 回

✓ 無料

✓いつでもキャンセル可能

130 億のパラメータを持つ別のモデルがオーディオ生成を担当します。最長 45 秒、サンプリング レート 48 kHz のビデオに合わせてサウンド、BGM、効果音を生成できます。

オーディオ生成の例 |ビデオ: メタ AI

さらに、Movie Gen には、テキストの指示に基づいて既存のビデオを変更できるビデオ編集コンポーネントがあります。もう 1 つの機能では、人物の画像とテキストの説明を組み合わせて、パーソナライズされたビデオを作成できます。

ビデオ編集例 |ビデオ: メタ AI

メタは競合他社に先駆けて Movie Gen を検討

Meta 氏によると、Movie Gen は、Runway、Sora、LumaLabs、Kling、Pika などの他社の同等のモデルよりも人間によるレビューで優れたパフォーマンスを示しています。ソラとクリングとの距離が最も近い。ただし、Sora は、Meta が Movie Gen に指定するフレーム レートよりも高いフレーム レートで、最大 1 分間の一貫したビデオを生成できると言われています。

おすすめ

Meta は、ライセンスを取得したデータセットと公開されているデータセットを組み合わせてモデルをトレーニングしたと主張しています。ビデオ生成モデルは、約 1 億本のビデオと 10 億枚の画像を使用して事前トレーニングされました。オーディオ モデルには約 100 万時間のオーディオ データが使用されました。さらに技術的な詳細が記載されています 研究論文で公開されたメタ。

Meta 氏によると、Movie Gen は研究目的で開発されたもので、現在は一般公開されていません。同社は、映画製作者やクリエイターと緊密に連携して、彼らのフィードバックを取り入れる予定だ。発売日の可能性については言及されていない。

第 3 世代の Metas AI メディア モデル

Meta は、Movie Gen を AI メディア モデルの第 3 世代であると説明しています。第 1 世代には、画像、オーディオ、ビデオ、3D アニメーションを作成するための「Make-A-Video」モデルが含まれていました。第 2 世代は、画像の生成と編集のための「Llama Image」モデルで構成されていました。

Meta 氏によると、Movie Gen はこれらすべてのモダリティを組み合わせて、より正確な制御を可能にします。同社は、これらのモデルによりさまざまな新製品が可能になると考えている。

メタ氏は、現在のモデルにはまだ限界があることを認めている。特に、推論時間とモデルの品質は、さらなるスケーリングによって改善される可能性があります。複雑な幾何学、オブジェクト操作、物理学を使用しても、依然として課題はあります。音声の同期は、密な動きや小さな動きでも問題を引き起こす可能性があります。

メタ氏は、このテクノロジーはアーティストやアニメーターに取って代わることを目的としたものではなく、表現の新たな可能性を生み出すことを目的としていると強調する。 Meta は、可能性のあるアプリケーションとして、Instagram Reels 用のアニメーション「A day in the life」ビデオや、WhatsApp 用のパーソナライズされた誕生日の挨拶を挙げています。

#Meta #の新しい #モデルはテキストからビデオ画像音声を作成します