英語だけではない多言語AI

韓国のインターネット大手 ネイバー 先週、と呼ばれる大規模な言語モデルのファミリーが導入されました。 ハイパークローバX同氏は、これは他のモデルよりもアジア言語の言語間推論において優れたパフォーマンスを発揮するため、この地域が有力な大規模言語モデルを開発するのに役立つと主張した。

ネイバーデビュー発表 ハイパークローバX 韓国語で英語を話す人を指します テクニカルレポート 科学雑誌で arXiv 以下をサポートします。

英語および韓国語以外の言語での競争力のある HyperCLOVA X は、地域や国が独自の主流 LLM を開発するための有益な指針を提供できると私たちは信じています。

データで事前トレーニングされた LLM」韓国語および多言語データとコード スニペットで構成されます多言語サブセットは主に英語ですが、日本語、ドイツ語、フランス語など、他のさまざまな言語も含まれていました。

韓国語教材はトレーニング前データの約 3 分の 1 を占めており、 ネイバー は、母国語でのモデルのパフォーマンスを向上させることを選択しました。 事前トレーニングのプロセスでは、韓国語の特殊な文法も考慮されました。 この努力の結果がモデルであるとネイバーは保証する。」韓国語と英語のネイティブスキルを持っていることさらに良いことに、モデルは「多言語主義」、つまり訓練された言語以外の言語でも機能できる能力を示しています。

私たちの分析では、HyperCLOVA X が主なターゲット言語を超えて推論能力を拡張できるだけでなく、韓国語と日本語や中国語などの非ターゲット言語との間の機械翻訳でも最高レベルを達成できることがわかりました。 HyperCLOVA X の優れた多言語機能には、韓国語と英語の間の言語間転送も含まれており、一方の言語で指示をチューニングすると、もう一方の言語で指示追跡機能が得られます。

多言語テストの結果、開発者は HyperCLOVA X という結論に至りました。トレーニング前データでは過小評価されているアジア言語に転送できます」。

開発優勢 AI データのセキュリティを確保し、外部プロバイダーへの依存を減らす手段として、あらゆる国にとって必要な国家能力として浮上しつつあります。 が指摘したように、 テクニカルレポート 彼女 ネイバー、英語と北米の文化」彼らは教育以前の機関で非常に多くの割合を占めています” 既存の確立された LLM の場合。

その結果、これらのLLMは、独自の言語的特徴だけでなく、特定の文化的ニュアンス、地政学的状況、その他の地域的特徴を組み込んだ韓国語などの非英語言語を処理および理解する能力に限界を経験します。

さらに、中国は国益のために独自のLLMを開発しようとしている。 AIチャットボットのようなもの 百度のアーニー 2023 年末までに 1 億人を超えるユーザーを獲得しました。

Nak-ho-Seon、最高技術責任者 Naver クラウド ハイパースケール AI」と計画していると述べた。将来的には、さまざまな地域や国向けに大規模に特化した AI を作成する」。

一方、技術報告書には「テキスト、画像、音声などのさまざまなタイプのデータをシームレスに処理および統合するための HyperCLOVA X の機能を拡張することを目的として、マルチモダリティを検討します。」と同時に、モデルの推論機能の最適化も図っています。

最後に、 ネイバー 主張する「回転外部ツールと API を積極的に統合してモデルの機能を強化し、HyperCLOVA X が特殊なデータセットとサービスにアクセスできるようにします。」。

[Naver]