1713451984
2024-04-18 12:46:35
Microsoft Research のアジア支社 VASA-1フレームワークを公開1 枚の写真、または描画された画像とオーディオ トラックだけから、会話するキャラクターのリアルなビデオを作成します。
主な革新は、自然な見た目のビデオで感情や頭の動きを伝える高度なアニメーション機能です。 Microsoft はデモに実際の人物を使用せず、AI によって生成された存在しない顔を使用しただけです。
初めに言っておきますが、Microsoft にはこのプロジェクトの商用計画はなく、公開デモや API をリリースするつもりもありません。 これは純粋に内部調査であり、悪用を恐れて無償または有料で公開されることを望んでいません。
私たちは最近について書きました アリババのAI EMOも同様のことを行おうとしているが、そこでも同様に厳しい意見は出されず、商用展開される可能性がある。
Microsoft のデモを見ると、非常にリアルに見えますが、それでも人工的に生成されたビデオであることがわかります。 もちろん実際には柔軟ではありませんが、歯は顔に合わせてさまざまにうねっています。 少し顔を傾けても縮まらない、怪しげに固定された目と目の間の距離も見逃せません。 それは、ここに埋め込まれたサンプルの最後から 2 番目のブロックで最もよくわかります。緑の背景に非常に非現実的に動く顔が表示されています。 ここで、AI 顔ジェネレーターが現在固定の目の間隔を使用しているという事実も、マイクロソフトによる生成を容易にします。 モナリザのラップを含むその他のビデオサンプルは、次のサイトで見つけることができます。 プロジェクトページ。
ただし、Microsoft のソリューションの利点はリアルタイムで直接生成できることであり、現時点では RTX 4090 で 40 FPS を管理できると文書で述べられています。したがって、コーヒー ショップにある軽量のラップトップで実現できる段階にはまだ達していません。ただし、ここでリアルタイムに重点を置いているのは、計画的な展開を示しています。
Microsoft の場合、実際の使用方法は、たとえば Teams 内で提供されます。ビデオ チャットでは、アニメーション写真と音声の送信のみで簡単に感情を伝達でき、イメージを維持しながら送信帯域幅を大幅に節約できます。品質。 したがって、音声通話だけで会議に参加でき、社内ネットワークに保存されている写真を使用してフォームをビデオに転送できます。
アニメーション映画のスタイルで顔をアニメーション化し、唇と音声トラックを確実に同期させることができる場合、これはアニメーション作品で確実に使用されるでしょう。 また、吹き替えのさまざまな言語バージョンに合わせた微調整も容易になります。
しかし、ここでエンジン自体ではなくサンプルのみが公開されたことは、研究者が虐待の脅威を十分に認識しているという新たな傾向を強調しており、これによってさらなる調査が妨げられるわけではないものの、まだ許可されていない漏洩性の高い法的枠組みを指摘している。そんなことのために。
#Microsoft #は音声に応じてリアルタイムで写真を動かすことができます #とても良いものなので彼は誰にも渡したくない #Živě.cz