AI データを「良い」から「素晴らしい」に変える – Samsung Global Newsroom

ベトナムのサムスンリサーチは、モバイルAIが人々の生活を向上させることを可能にする人々とイノベーションに関するシリーズの一部です。

サムスンはプレミアムなモバイルAI体験の先駆者です。Galaxy AIがユーザーの可能性を最大限に引き出す方法を学ぶために、私たちは世界中のサムスン研究センターを訪問しています。現在16の言語をサポートするGalaxy AIは、ライブ翻訳、通訳、メモアシスト、ブラウジングアシストなどの機能によるデバイス内翻訳により、オフラインでもより多くの人々が言語能力を拡張できるようにしています。私たちは最近、 ヨルダン 多くの方言を持つアラビア語の AI モデル開発の複雑さを学びます。今回はベトナムに行き、AI モデルのトレーニング用にデータがどのように準備されるかを探ります。

ベトナム語で、幽霊、墓、母親の違いは何でしょうか。世界中で 9,700 万人が話す言語としては、違いはほとんどありません。各単語はそれぞれ「ma」、「mả」、「má」と翻訳され、声調でのみ区別できます。これは、会話の文脈や感情、話者の意図を直接認識できないことを考えると、AI モデルが言語を学習することがいかに難しいかを示しています。

Samsung R&D Institute Vietnam (SRV) は、細かく精製されたデータを使用することで、AI モデルが言語の微妙な違いも適切に認識できるようにしました。

使用されるデータの品質は、自動音声認識 (ASR)、ニューラル機械翻訳 (NMT)、テキスト読み上げ (TTS) の精度に直接影響します。これらのプロセスは、ライブ翻訳、通訳、チャットアシスト、ブラウジングアシストなどの Galaxy AI 機能が言語の壁を打ち破るのに役立ちます。

挑戦の嵐

「ベトナム語は複雑で多様な言語であり、表現も豊富で、その多くは捉えるのが難しいのです」と、SRV の NMT リーダーである Ngô Hồng Thái 氏は言います。Galaxy AI がサポートする 16 言語のうち、ベトナム語の開発は特に困難でした。

「個人的には、ベトナム語の AI モデルを作成するのは台風よりも大変でした！」と彼は開発プロセスで直面したハードルについて説明する前に付け加えた。

ベトナム語 声調言語である 6つの異なる音調があります。上記の「ま」の例からもわかるように、発声の微妙なニュアンスが言葉の意味を大きく変えることがあります。そのため、 細心の注意を払って 詳細なアプローチが必要でした。

「似た発音の単語を分解すると、1 つの単語は複数の短いセグメント、つまり「フレーム セット」で構成されます」と、SRV の ASR リーダーである Bui Ngoc Tung 氏は言います。「AI モデルは、約 20 ミリ秒の短い音声フレームを区別して、連続する特定のフレーム セットに対応する単語を認識します。そのため、AI 学習プロセスの初期段階に多大な労力を費やすことが重要です。」

さらに、ベトナム語では同音異義語や同音異義語がよく使われます。人々は通常、会話の中で文脈や非言語的要素を頼りに、発音が同じ単語や、書き方は同じでも意味が異なる単語を区別することができます。しかし、AI モデルには、声調や似た単語を正確に識別して区別するように教える必要があります。

「これは簡単な作業ではありません」とタイ氏は説明する。「量だけでなく、ベトナム語に存在する言語的ニュアンスを認識できるようにするために、データの正確さも必要です。」

厳格なPR分離

データ精製プロセスは 3 つのステップで構成されます。まず、AI モデルのトレーニングに使用される音声とテキストを確認し、修正する必要があります。次に、このデータセットは全体的な品質についてランダム チェックを受けます。最後に、データセットはトレーニングで使用する前に正規化され、クリーンアップされます。

「データセットの精度を確認するために、一連のテストを徹底的に実行しました」と、データベース作成を監督する SRV の TTS リーダー、Nguyen Manh Duy 氏は言います。「スクリプト内の単語のスペルミスや、音声録音中の背景ノイズや発音の誤りなど、予想外の問題が数多く発生しました。トレーニング データの改良と改善にかなりの時間を費やしました。」

に加えて 独特の言語的課題 ベトナム語、 そこには より広く話されている言語に比べて、普遍的にアクセス可能なデータが不足しています。「これが、データの精緻化段階が非常に重要であるもう一つの理由です。」 彼 「情報源が限られていたので、 データ 完全に信頼できるものでなければならなかった。間違いの余地はなかった。」

さらに、ベトナム語の AI モデルは、音調と地域の違いの両方を考慮する必要があります。AI モデルの精度を向上させるために、チームはベトナムの北部、中部、南部のアクセントの膨大なデータを収集し、その結果、精緻化と検証を行う膨大な情報が得られました。

継続的な改善

SRV の開発者は数か月の努力の末にプロジェクトを完了し、ベトナム語は Galaxy AI でサポートされる最初の言語の 1 つになりました。この成功にもかかわらず、チームはベトナム語の Galaxy AI エクスペリエンスを向上させるために絶え間なく取り組んでいます。

「Galaxy AI の単語やフレーズの関連性に関するユーザーからのフィードバックを取り入れて、AI モデルを継続的に強化しています」と、SRV の AI 言語開発プロジェクトのリーダーであるトラン・トゥアン・ミン氏は言います。「私たちは、よりオープンな世界への第一歩を踏み出したばかりです。これから一緒に探求すべきことがまだまだたくさんあります。」

「The Learning Curve」の次のエピソードでは、中国に赴き、AI モデルがどのようにトレーニングされ、微調整されているかを詳しく調べます。