メタ AI
先週、Meta は「EnCodec」と呼ばれる AI を利用した音声圧縮方法を発表しました。この方法は、品質を損なうことなく 64kbps で音声を MP3 形式の 10 分の 1 に圧縮できると報告されています。 Meta によれば、この技術により、サービスが不安定な地域での通話など、低帯域幅接続での会話の音質が劇的に改善される可能性があります。 このテクニックは音楽にも有効です。
Meta は、10 月 25 日に、Meta AI の研究者 Alexandre が執筆した「High Fidelity Neural Audio Compression」というタイトルの論文で、この技術をデビューさせました。 解凍する、ジェイド・コペット、ガブリエル・シナエブ、ヨッシ・アディ。 Meta はまた、EnCodec に特化したブログで調査結果をまとめています。
メタ AI
メタは、その方法を、音声を目的の目標サイズに圧縮するように訓練された 3 つの部分からなるシステムと説明しています。 まず、エンコーダは非圧縮データをより低いフレーム レートの「潜在空間」表現に変換します。 次に、「量子化器」は、後で元の信号を再構築するために使用される最も重要な情報を追跡しながら、表現をターゲット サイズに圧縮します。 (この圧縮された信号は、ネットワーク経由で送信されるか、ディスクに保存されます。) 最後に、デコーダは、単一の CPU でニューラル ネットワークを使用して、圧縮されたデータをリアルタイムで音声に戻します。
メタ AI
Meta のディスクリミネーターの使用は、信号の重要な要素を失うことなくオーディオを可能な限り圧縮する方法を作成するための鍵を証明しています。
「非可逆圧縮の鍵は、人間が認識できない変化を識別することです。低ビット レートでは完全な再構成が不可能なためです。そのために、弁別器を使用して、生成されたサンプルの知覚品質を向上させます。これにより、cat-弁別器の仕事が実際のサンプルと再構築されたサンプルを区別することであるアンドマウスゲーム. 圧縮モデルは、再構築されたサンプルを元のサンプルにより知覚的に類似させることによって、弁別器をだますためのサンプルを生成しようとします.
オーディオの圧縮と解凍にニューラル ネットワークを使用することは、特に音声の圧縮では決して新しいものではないことは注目に値しますが、Meta の研究者は、この技術を 48 kHz のステレオ オーディオ (CD の 44.1 kHz のサンプリング レートよりわずかに優れている) に適用した最初のグループであると主張しています。 )、これはインターネット上で配布される音楽ファイルの典型です。
アプリケーションに関しては、Meta は、この AI を利用した「音声の超圧縮」は、ネットワークの状態が悪い場合でも「より高速で高品質の通話」をサポートできると述べています。 そしてもちろん、Meta であることから、研究者は EnCodec のメタバースへの影響についても言及しており、この技術は最終的に「大幅な帯域幅の改善を必要とせずにリッチなメタバース体験」を提供できると述べています。
それを超えて、いつの日か、本当に小さな音楽オーディオ ファイルも取得できるようになるでしょう。 今のところ、Meta の新しい技術は研究段階にとどまっていますが、高品質のオーディオがより少ない帯域幅を使用できる未来を示しています。これは、ストリーミング メディアによる過負荷のネットワークを持つモバイル ブロードバンド プロバイダーにとって素晴らしいニュースです。
