AI動画制作ツールが競合を吹き飛ばす！

または メタ 公式に明らかにした 映画のゲン、第 3 波のマルチモーダル AI ビデオ ツールで、「カスタム ビデオとオーディオを作成し、既存のビデオを編集し、個人的なイメージをユニークなビデオに変える」ことを約束し、Runway の Gen-3 などの同様のモデルよりも優れたパフォーマンスを発揮します。 クリング 1.5 Kuaishou Technology または OpenAI の Sora による。

の メタムービージェネ これは、最初に Make-A-Scene マルチモーダル モデル、次に Llama の画像基盤モデルを使用した、同社の以前の取り組みに基づいて構築されています。の 映画のゲン これらすべてのモデルのコレクションです。具体的には、クリエイターの細かなコントロールを強化するビデオ作成、カスタムビデオ作成、精密なビデオ編集、オーディオ制作です。 」これらのモデルにより、創造性を加速するさまざまな新製品が可能になることが期待されます。」と同社は投稿で述べている。

ビデオを作成する場合、Movie Gen は 1 つのツールに依存しています。 300億パラメータモデル 最大のクリップを生成します 16 フレーム/秒 (fps) で 16 秒。 «これらのモデルは、オブジェクトの動き、被写体とオブジェクトの相互作用、カメラの動きについて推論することができ、さまざまな概念に対して妥当な動きを学習できます。」とメタ氏は言い、「彼らはクラスのトップモデルになった」と語った。同じモデルを使用して、Movie Gen は静止画からクリエイター向けにパーソナライズされたビデオを作成できます。

Meta は、ビデオとテキストベースの入力の両方を活用して生成するコンテンツを微調整する、このビデオ作成モデルのバリエーションを使用します。要素の追加、削除、置換などのローカル編集と、新しい映画スタイルの適用などのグローバル編集の両方に影響する可能性があります。音を作るには、 映画のゲン 一つに基づいて 130億パラメータの個別モデル 背景ノイズ、効果音、楽器音楽など、最大 45 秒のオーディオを生成し、そのコンテンツをビデオと自動的に同期します。

Meta のホワイトペーパーによると、Movie Gen は、Gen3 を含む他の最先端のビデオ AI ツールに対する A/B テストで一貫して勝利しています。 ソラ Kling 1.5 はビデオ制作のカテゴリーにあります。また、カスタム ビデオ制作では ID-animator を、オーディオ制作では Pika Labs Sound Gen よりも優れたパフォーマンスを発揮しました。ビデオ編集機能においても、2 度目となる Gen3 を上回りました。

同社は次のように述べています。映画制作者やクリエイターと緊密に連携して、彼らの観察を取り入れる」と同社はこれらのモデルの開発を続けているが、人間のクリエイターに取って代わるつもりはないとすぐに指摘した。 人工知能。

私たちがこの研究を共有するのは、人々が新しい方法で自分自身を表現するのを助け、他の方法ではそのような機会を得ることができない人々に機会を提供するこのテクノロジーの力を信じているからです」と同社は書いている。 「私たちの希望は、おそらく将来、誰もが自分の芸術的ビジョンを実現し、Movie Gen を使用して高解像度のビデオとオーディオを作成する機会を得ることです。

[via]