遡ること2023年8月、Metaは100近くの異なる言語を理解できる「オールインワン」AI翻訳モデルを発表した。
SeamlessM4T (大規模多言語およびマルチモーダル機械翻訳) と呼ばれるこれは、ダグラス アダムスの古典的な SF シリーズのバベル フィッシュに似た「ユニバーサル翻訳者」を作成するメタの試みです。 銀河ヒッチハイク ガイド。
SeamlessM4T ツールの背後にあるチームは、ジャーナルの記事でその作業の詳細を発表しました。 自然、先進的なシステムが、増え続ける印象的な言語にわたるテキストからテキストへの翻訳、音声からテキストへの翻訳、音声から音声への翻訳、およびテキストから音声への翻訳のためのオールインワン ソリューションを提供することを明らかにしました。
400年以上の生のオーディオ
SeamlessM4T は、特に Facebook や Instagram のビデオを自動的にダビングするために使用されており、現在 101 ～ 36 言語の音声から音声への翻訳、101 ～ 96 言語の音声からテキストへの翻訳、テキストからテキストへの翻訳をサポートしています。 – 96 言語のテキスト翻訳、96 言語から 36 言語へのテキスト音声翻訳、96 言語の自動音声認識。この統合されたアプローチは、音声認識、翻訳、テキスト音声合成に別個のサブシステムを必要とすることが多い従来のカスケード システムの制限を克服します。
これらのプロセスを合理化することで、SeamlessM4T は既存のモデルよりも優れており、翻訳精度において最大 23% 高い BLEU (Bilingual Evaluation Understudy) スコアを達成し、背景雑音や話者の変動に対する優れた回復力を実証していると Meta 氏は述べています。
SeamlessM4T を作成するために、Meta は、クロールされた Web データの公的に利用可能なリポジトリから生成された 400 万時間 (400 年以上) の多言語生音声から開始しました。チームは、470,000 時間以上の整列された音声を含むマルチモーダル コーパスである SeamlessAlign を開発し、そのデータセットを、多言語およびモダリティに依存しないエンコーディングを可能にする SONAR (文レベルのマルチモーダルおよび言語に依存しない表現) 埋め込みを含む最先端の機械学習技術と組み合わせました。テキストと音声用。
メタ氏は、安全策の使用を通じて社会的および倫理的課題に対処することで、SeamlessM4T は世界的なコミュニケーションのための貴重なツールになり得ると述べています。これらの保護手段は、ジェンダーバイアス（文法的な性別判断の誤り）を軽減し、攻撃的な単語が翻訳には出てくるが原文には出てこないという追加の毒性の問題を軽減します。
あなたも気に入るかもしれません
#Facebookのメタがその技術が101言語間で翻訳できることを明らかにしユニバーサル翻訳者が興味をそそられる