1710811654
2024-03-19 00:22:00
3 月 27 日にボストンでリーダーたちと交流し、ネットワーキング、洞察、会話を楽しむ特別な夜をお過ごしください。 招待状をリクエストする ここ。
安定性AI は現在、Stable Video 3D (SV3D) のリリースにより、生成 AI モデル ポートフォリオを拡大しています。
名前が示すように、新しいモデルは 3D ビデオをレンダリングするための gen AI ビデオ ツールです。 Stability AI は、ビデオ機能を開発してきました。 安定したビデオ技術 これにより、ユーザーは画像またはテキスト プロンプトから短いビデオを生成できます。 SV3D は、Stability AI の以前の Stable Video Diffusion モデルに基づいて構築されており、新しいビューの合成と 3D 生成のタスクに適応させています。
SV3D を使用することで、Stability AI は、単一の入力画像からマルチビュー 3D メッシュを作成および変換する機能を備えたビデオ生成モデルに新たな深みを加えています。
SV3D は商用利用が可能になりました。 スタビリティ AI プロフェッショナル メンバーシップ (年間収益が 100 万ドル未満のクリエイターと開発者の場合、月額 20 ドル)。 非営利目的の場合、ユーザーは次からモデルの重みをダウンロードできます。 ハグフェイス。
VBイベント
AI インパクト ツアー – アトランタ
ツアーを続けて、4 月 10 日に AI Impact ツアーが開催されるアトランタへ向かいます。 Microsoft と提携したこの招待者限定の特別なイベントでは、生成 AI がセキュリティ労働力をどのように変革するかについてのディスカッションが行われます。 スペースには限りがございますので、今すぐ招待状をリクエストしてください。
招待状をリクエストする
これは私がすぐに生成したサンプルビデオです。 ご覧のとおり、多少の歪みはあるものの、ビデオ内のすべてのオブジェクトの形状は、カメラがオブジェクトの周りを回転しても、著しく一貫性があり、しっかりしたままです。
ゲーム制作、電子商取引が対象ユースケースとして挙げられる
「Stable Video Diffusion の画像からビデオへの拡散モデルを適応させ、カメラ パス コンディショニングを追加することで、Stable Video 3D はオブジェクトのマルチビュー ビデオを生成できます」と同社は記事で述べています。 ブログ投稿 新しいモデルの詳細を説明します。
「Stable Video 3D は、特にゲーム分野において 3D アセットを生成するための貴重なツールです」と Stability AI の主任研究員である Varun Janpani 氏は VentureBeat に語った。 「さらに、電子商取引に役立つ 360 度の軌道ビデオの作成が可能になり、より没入型でインタラクティブなショッピング エクスペリエンスが提供されます。」
安定したZero123からSV3Dへ
Stability AI は、おそらく Stable Diffusion のテキストから画像への生成 AI モデルで最もよく知られています。 SDXL そしてその 安定拡散 3.0、後者はまだ初期の研究プレビュー段階にあります。 Stable Diffusion 1.5 は、他の多くの AI 画像生成およびビデオ製品の基礎を形成するオープンソースの画像生成モデルです。 滑走路 そして レオナルドAI。
2023 年 12 月に遡ると、 安定のゼロ123 モデルがリリースされ、3D 画像を構築するための新しい機能が提供されました。 当時、Stability AI の創設者兼 CEO である Emad Mostaque 氏は、Stable Zero123 が一連の 3D モデルの最初のものになるだろうと VentureBeat に語った。
SV3D テクノロジーは、Stable Zero123 とは異なる 3D 生成アプローチを採用しています。
「Stable Video 3D は、後継製品であり、以前の製品の改良版と考えることができます。 安定のゼロ123」とジャンパニは言いました。 「Stable Video 3D は、単一の画像を入力として受け取り、新しいビュー画像を出力する新しいビュー合成ネットワークです。
ジャンパニ氏は、Stable Zero123 は Stable Diffusion に基づいており、一度に 1 つの画像を出力すると説明しました。 Stable Video 3D は Stable Video Diffusion モデルに基づいており、複数の新しいビューを同時に出力します。 Stable Video 3D は、はるかに高品質の新しいビューを提供するため、単一の画像からより優れた 3D メッシュを生成するのに役立ちます。
あらゆる角度からの一貫したビュー
で 研究論文安定性 AI 研究者は、潜在ビデオ拡散を使用して 1 つの画像から 3D を実現するために使用されるいくつかの技術について詳しく説明します。
「3D 生成に関する最近の研究では、2D 生成モデルを新規ビュー合成 (NVS) と 3D 最適化に適応させる技術が提案されています」と報告書には記載されています。 「しかし、これらの方法には、ビューが制限されたり、NVS が一貫していなかったりするため、いくつかの欠点があり、それによって 3D オブジェクト生成のパフォーマンスに影響を及ぼします。」
SV3D の主な強みの 1 つは、オブジェクトの一貫した新しいマルチビュー画像を生成できる機能にあります。 Stability AI によると、SV3D はあらゆる角度から一貫したビューを提供します。
SV3D に関する研究論文は、この進歩を次のように強調しています。 …限られた視点や出力の不一致に対処することが多かったこれまでのアプローチとは異なり、Stable Video 3D は、熟練した一般化により、あらゆる角度から一貫したビューを提供できます。」
SV3D は、その新しいビュー合成機能に加えて、3D メッシュの最適化も目指しています。 SV3D は、マルチビューの一貫性を利用して、生成する新しいビューから高品質の 3D メッシュを直接生成できます。
「Stable Video 3D は、マルチビューの一貫性を利用して 3D ニューラル ラディアンス フィールド (NeRF) とメッシュ表現を最適化し、新しいビューから直接生成される 3D メッシュの品質を向上させます」と Stability AI は発表投稿で述べています。
2 つの強力なバリアント: SV3D_u と SV3D_p
SV3D には 2 つのバリエーションがあり、それぞれ特定のユースケース向けに設計されています。
SV3D_u は、カメラの調整を必要とせずに、単一の画像入力に基づいて軌道ビデオを生成します。 生成 AI におけるカメラ コンディショニングとは、追加の入力 (多くの場合、画像またはカメラの視点や位置に関連するパラメーターのセットの形式) を使用して、新しい画像やコンテンツの生成プロセスをガイドする手法を指します。
一方、SV3D_p は、単一画像と軌道ビューの両方に対応することでこの機能を拡張し、ユーザーが指定されたカメラ パスに沿って 3D ビデオを作成できるようにします。
VentureBeat の使命 は、技術的な意思決定者が変革をもたらすエンタープライズ テクノロジーと取引に関する知識を獲得するためのデジタル タウン スクエアとなる予定です。 ブリーフィングをご覧ください。
#Stability #が #Stable #Video #でビデオに新たな次元をもたらします