1708021826
2024-02-15 18:15:00
私たちはすでにそれを知っています OpenAI のチャットボット できる 司法試験に合格する 法科大学院に行かずに。 今、オスカーに間に合うように、Sora と呼ばれる新しい OpenAI アプリは、映画学校に行かずに映画をマスターしたいと考えています。 現時点では研究製品である Sora は、安全性の脆弱性に関してレッドチームを組む数人の選ばれた作成者と多数のセキュリティ専門家と協力する予定です。 OpenAI は、日付は特定されていませんが、すべての作家志望者がこれを利用できるようにする予定ですが、事前にプレビューすることにしました。
他の企業、大手企業のような グーグル のようなスタートアップに 滑走路、すでに明らかにしています テキストからビデオへの AI プロジェクト。 しかしOpenAIによれば、Soraはその印象的なフォトリアリズム（競合他社では見たことのないもの）と、他のモデルが通常行う短いスニペットよりも長いクリップ（最長1分）を作成できる能力が特徴だという。 私が話を聞いた研究者らは、そのビデオをすべてレンダリングするのにどのくらいの時間がかかるかについては明言しなかったが、質問すると、「数日間休暇をとる」というよりは「ブリトーを食べに行く」ようなものだと説明した。私が見た厳選した例が信じられるのであれば、努力する価値はあります。
OpenAI では、自分でプロンプトを入力することはできませんでしたが、Sora のパワーの 4 つのインスタンスを共有しました。 （制限時間とされている1分には誰も届かず、最長は17秒だった。）最初のメッセージは、まるで強迫観念に囚われた脚本家の設定のように聞こえる詳細なプロンプトから出たもので、「美しく雪の降る東京の街は賑わっている。 カメラはにぎやかな街路を移動し、美しい雪の天気を楽しんだり、近くの屋台で買い物をしたりする数人の人々を追っています。 見事な桜の花びらが雪の結晶とともに風に乗って飛んでいます。
OpenAI の Sora を使用して作成された AI 生成ビデオ。
OpenAI 提供
その結果、雪の結晶と桜が共存する魔法の瞬間、紛れもない東京の説得力のある景色が生まれました。 まるでドローンに貼り付けられたかのような仮想カメラが、街並みをゆっくりと散歩するカップルを追いかけます。 通行人の一人はマスクをしている。 左側の川沿いの道路を車が轟音を立てて通り過ぎ、右側では買い物客が立ち並ぶ小さな店に出入りします。
完璧ではありません。 このクリップを何度か見て初めて、仮想カメラが動作し続けていたら、雪に覆われた歩道を散歩している主人公のカップルがジレンマに直面していたであろうことがわかります。 彼らが占拠する歩道は行き止まりに見える。 彼らは小さなガードレールを乗り越えて、右側の奇妙な平行歩道に出なければならなかったでしょう。 この軽度の不具合にもかかわらず、東京の例は世界構築における驚くべき実践です。 将来的には、プロダクション デザイナーは、これが強力な協力者なのか、それとも雇用を奪うものなのかを議論することになるでしょう。 また、このビデオに登場する人々は完全にデジタル ニューラル ネットワークによって生成されており、クローズアップされておらず、感情表現も行っていません。 しかし、Sora チームは、他の例では偽の俳優が本当の感情を表現したことがあると言います。
他のクリップも印象的で、特に「赤いろうそくの横にひざまずいている背の低いふわふわしたモンスターのアニメーション シーン」を要求するもの、いくつかの詳細なステージ指示 (「目を大きく開いて口を開ける」) と舞台の説明を求めています。クリップの望ましい雰囲気。 ソラは、ファービー、グレムリン、サリーの DNA を持っていると思われるピクサー風の生き物を生み出します。 モンスターズ・インク。 後者の映画が公開されたとき、ピクサーはこの映画を作ることがいかに難しいかを大々的に宣伝したのを覚えています。 モンスターの毛皮の超複雑な質感 生き物が動き回ったとき。 ピクサーのウィザード全員がそれを正しく理解するまでに数か月かかりました。 OpenAI の新しいテキストからビデオへの変換マシンがまさにそれを実現しました。
「3D ジオメトリと一貫性について学習します」と、このプロジェクトの研究科学者ティム ブルックスはその成果について語ります。 「それを焼き付けたわけではありません。単に大量のデータを確認した結果、完全に浮かび上がってきただけです。」
AI が生成したビデオは、プロンプトで作成され、「アニメーション シーンには、溶けた赤いキャンドルの横にひざまずいている背の低いふわふわしたモンスターのクローズ アップが表示されます。」 アート スタイルは 3D でリアルで、照明とテクスチャに重点を置いています。 怪物が大きな目と開いた口で炎を見つめていることから、この絵の雰囲気は驚きと好奇心のひとつです。 そのポーズと表情は、まるで初めて自分の周りの世界を探検しているかのような、無邪気さと遊び心の感覚を伝えます。 温かみのある色とドラマチックな照明を使用することで、画像の居心地の良い雰囲気がさらに高まりました。」
OpenAI 提供
シーンは確かに印象的ですが、ソラの能力の中で最も驚くべきは、訓練を受けていない能力です。 のバージョンを搭載 普及モデル OpenAI の Dalle-3 画像ジェネレーターや GPT-4 のトランスベース エンジンで使用される Sora は、単にプロンプトの要求を満たすビデオを大量に作成するだけでなく、緊急の把握を示す方法でビデオを作成します。映画の文法のこと。
それはストーリーテリングの才能につながります。 「色とりどりの魚や海洋生物が生息するサンゴ礁の、豪華に表現されたペーパークラフトの世界」というプロンプトから作成された別のビデオでは、このプロジェクトの別の研究者であるビル・ピーブルズは、ソラが次のような物語を作成したと述べています。カメラアングルとタイミング。 「実際には複数のショットの変更があります。これらはつなぎ合わされるのではなく、モデルによって一度に生成されます。」と彼は言います。 「私たちがそれをするように指示したわけではありません。ただ自動的にそれを行っただけです。」
「色とりどりの魚や海洋生物が生息するサンゴ礁の、豪華に表現されたペーパークラフトの世界」というプロンプトで作成された AI 生成のビデオ。提供: OpenAI
私が見ていない別の例では、ソラは動物園のツアーに参加するよう促されました。 「動物園の名前を大きな看板に出すことから始まり、徐々にパンダウンしていき、その後何度もショットを変えて動物園に生息するさまざまな動物を見せました」とピーブルズは言う。明確にそうするように指示されていなかった、素敵で映画的な方法でした。」
OpenAI チームが公開しておらず、しばらくリリースされない可能性がある Sora の機能の 1 つは、単一の画像または一連のフレームからビデオを生成する機能です。 「これは、ストーリーテリング能力を向上させる非常に素晴らしい方法になります」とブルックス氏は言います。 「頭の中にあるものを正確に描き、それをアニメーション化することができます。」 OpenAI は、この機能がディープフェイクや誤った情報を生み出す可能性があることを認識しています。 「私たちは、これによる安全への影響すべてに細心の注意を払うつもりです」とピーブルズ氏は付け加えた。
#OpenAI #の #Sora #が #プロンプトをフォトリアルなビデオに変える