Synthesia は「表現力豊かなアバター」で AI ビデオで次の飛躍を遂げます

ロンドン拠点 シンセシア、企業がプロレベルの製品を作成できるようにするスタートアップ AI動画は、「表現力豊かなアバター」のリリースにより、プラットフォームのアップグレードで次の飛躍を遂げました。

本日より利用可能となるこれらの AI アバターは、通常のデジタル アバターより一歩進んで、配信するコンテンツのコンテキストに基づいて口調、顔の表情、ボディランゲージを調整します。 これは Microsoft のわずか 1 週間後に行われます VASAを披露した、人間の顔写真を、表情と頭の動きを備えた話したり歌ったりするビデオに変換する AI フレームワークです。

ただし、単なる研究活動である VASA とは異なり、表現力豊かなアバターの背後にあるテクノロジーは非常に現実的であり、Syntheisa の顧客がターゲット視聴者向けにこれまで以上にリアルな AI ビデオを作成するのに役立ちます。

Synthesia の AI 動画における次のステップ

同社は、スタンフォード大学やケンブリッジ大学の出身者を含む AI 研究者と起業家のチームによって 2017 年に設立されました。 Synthesia は、カスタムを作成するためのエンドツーエンドのプラットフォームを構築しました。 AIの声 アバター (ユーザーは既存のものを使用することもできます) を使用し、事前に作成されたスクリプトまたは AI で作成されたスクリプトと組み合わせて、スタジオ品質の AI ビデオを生成します。

オファリングが引きました 企業レベルでの大幅な導入、20 万人以上がデジタル アバターを使用して 1,800 万本以上のビデオを作成しています。 しかし、Synthesia やその他の企業が提供するアバターには、感情の理解という大きなギャップがありました。 実際のビデオプレゼンターとは異なり、デジタルアバターは台本に合わせて口調、表情、ジェスチャーを変えることができませんでした。 側面は事前に定義する必要がありました。

この状況は、表現力豊かなアバターの発売により変わりつつあります。

Synthesia の説明によれば、新しい AI アバターには、テキストで伝えられる文脈や感情を理解し、口調や表情を変えてスピーチを行う機能が備わっています。 同社は、スピーチに合わせて表情、まばたき、視線などを微妙に調整することで、すでにさまざまな感情を表現できると主張している。 アバターが何か有頂天なことについて話しているときに微笑んだり笑ったり、悲しいことや陰気な話については長めのポーズでゆっくりと話したりするところを想像してみてください。

「これらの新しいアバターでは、単にデジタル レンダリングを作成しているだけではありません。 デジタルアクターを紹介します。 このテクノロジーは、デジタル アバターにあるレベルの洗練さと現実性をもたらし、仮想と現実の境界線を曖昧にします」と同社 CTO のジョン・スターク氏は述べています。 ブログ投稿。

このレベルの感情予測とリアリズムを達成するために、Syntheisa は EXPRESS-1 を使用しています。これは、数時間のテキストと、そのテキストが現実世界でどのように話されているかを示すビデオでトレーニングされた深層学習モデルです。

「EXPRESS-1 は、あらゆる動きや表情をリアルタイムで予測し、話し言葉のタイミング、イントネーション、強調にシームレスに合わせます。 その結果、驚くほど自然で人間らしいパフォーマンスが実現しました」とスタルク氏は付け加えた。 新しいアバターでは、より自然なリップシンクやさまざまな言語での音声も提供されます。

表情豊かなアバターにはどのような影響があるのでしょうか?

人間のように感情表現したり話したりする機能を備えたデジタル アバターは、簡単に悪用されて人々を騙したり、 個人/社会に害を及ぼすSynthesia は、特にコミュニケーションと知識共有に関して、企業中心のポジティブなユースケースを確保するために積極的に取り組んでいます。

たとえば、ヘルスケア企業がこの新技術を利用して患者にとってより共感的な動画を作成したり、マーケティングチームが新製品について議論する動画で興奮や楽観的な気持ちを伝えるために利用したりできると同社は述べている。

同社は、安全性を確保するために、企業ユーザーがプラットフォーム上で作成できるコンテンツの種類を制限するために使用ポリシーを更新し、悪意のある行為者の早期発見やC2PAなどのコンテンツ認証技術にも投資していると述べた。

現在、従業員数 300 名の同社は、フォーチュン 100 企業の半数を含む 55,000 社以上の企業と顧客として提携しています。 そうした顧客の 1 つがビデオ通話プラットフォームの Zoom で、同社は Synthesia を使用することで販売ビデオやトレーニング ビデオを 90% 速く作成できるようになったと主張しています。