1712548442
2024-04-08 03:29:00
韓国のウェブ大手ネイバーは先週、HyperCLOVA Xという名前の大規模言語モデルファミリーをデビューさせた。同社は、アジア言語での言語間推論において他のモデルよりも優れたパフォーマンスを発揮するため、この地域で主権のある大規模言語モデルを開発するのに役立つ可能性があると主張した。
ネイバー 発表された HyperCLOVA X は韓国語でデビューし、英語を指しました テクニカルレポート オープン アクセス ジャーナル arXiv では、「英語および韓国語以外の言語での競争力のある HyperCLOVA X は、地域や国が独自のソブリン LLM を開発する上で有益なガイダンスを提供できると信じています。」と主張しています。
LLM は、「韓国語、多言語、およびコード セグメントで構成される」データで事前トレーニングされました。
多言語サブセットは主に英語でしたが、日本語、ドイツ語、フランス語など、他のさまざまな言語も含まれていました。
韓国語の素材は事前トレーニング データの約 3 分の 1 を占めており、これは Naver が母国語でのモデルのパフォーマンスを向上させることを選択したことを示しています。 事前トレーニングのプロセスでは、韓国語特有の文法も考慮されました。
その努力の結果、「韓国語と英語の両方に本来の能力を備えた」モデルが誕生した、とネイバーは主張する。
さらに良いことに、モデルは「多言語性」、つまり処理するように訓練された言語以外の言語でも動作する能力を示します。
「私たちの分析では、HyperCLOVA X が主に対象とする言語を超えて推論能力を拡張できるだけでなく、韓国語と日本語や中国語などの非対象言語との間の機械翻訳において最先端レベルを達成できることが示されました。」テクニカルレポートには次のように記載されています。 「HyperCLOVA Xの優れた多言語能力には、韓国語と英語の間の言語を越えた転送も含まれており、一方の言語での指示の調整が他方の言語での指示に従う機能の出現につながる可能性があります。」と付け加えた。
多言語テストの結果により、開発者は HyperCLOVA X を「トレーニング前のデータで過小評価されているアジア言語にも転送できる」と結論付けました。
ソブリン AI は、データ セキュリティを確保し、オフショア プロバイダーへの依存を軽減する手段として、必要な国家能力として浮上しつつあります。 Nvidia はこのコンセプトを支持しており、偶然にも、このコンセプトは自社製品のさらに大きな市場を生み出す可能性を秘めています。
しかし、Naver の技術レポートが指摘しているように、既存の主流の LLM では、英語と北米の文化が「トレーニング前のコーパスに非常に多く含まれている」そうです。
「その結果、これらのLLMは、特有の文化的ニュアンス、地政学的状況、その他の地域的特殊性、および独特の言語的属性を体現する韓国語のような非英語言語を処理および理解する能力に限界がある」と説明している。
地域の有力国である中国は、国益、あるいは少なくとも中国共産党の利益のために、LLM の開発を目指してきた。 さまざまな成功。 それにもかかわらず、Baidu の ERNIE のようなチャットボットは、 集めた 2023 年末までにユーザー数が 1 億人を超える。
Naver CloudハイパースケールAI技術責任者のNak-ho-Seon氏は、「将来的にはさまざまな地域や国向けに特化した超スケールAIを開発する」計画だと明言した。
一方、技術レポートには、モデルの推論能力の最適化を目指しながら、「テキスト、画像、音声などの多様なタイプのデータをシームレスに処理および統合するためのHyperCLOVA Xの機能を拡張することを目指し、マルチモダリティを探求する」という誓約が含まれている。
Naver は、「モデルの機能を強化するための外部ツールと API の統合を積極的に研究している」と主張しており、これにより「HyperCLOVA X が特殊なデータセットやサービスにアクセスできるようになる」と信じています。 ®
#Naver #がアジア向けのソブリン #の構築に使用する多言語 #HyperCLOVA #LLM #をデビュー #Register