安定性 AI は、継続的なイノベーションの一環として、より小型で効率的な 16 億言語モデルを発表

大規模言語モデル (LLM) に関しては、モデルを実行できる場所に影響を与えるため、サイズは確かに重要です。

安定性AIは、テキストから画像への安定した拡散 AI テクノロジーでおそらく最もよく知られているベンダーですが、本日、同社の最小モデルの 1 つである Stable LM 2 1.6B をリリースしました。 安定したLM は、Stability AI が 2023 年 4 月に初めてリリースしたテキスト コンテンツ生成 LLM で、30 億と 70 億の両方のパラメーター モデルを備えています。 新しい StableLM モデルは、実際には、同社の StableLM モデルに続き、2024 年に Stability AI によってリリースされる 2 番目のモデルです。 安定したコード 3B 今週初めに発売されました。

新しいコンパクトでありながら強力な Stable LM モデルは、英語、スペイン語、ドイツ語、イタリア語、フランス語、ポルトガル語、オランダ語の 7 言語の多言語データを組み込んだ生成 AI エコシステムに障壁を低くし、より多くの開発者が参加できるようにすることを目的としています。 このモデルは、言語モデリングにおける最近のアルゴリズムの進歩を利用して、安定性 AI が望む速度とパフォーマンスの最適なバランスを実現します。

「一般に、同様のトレーニング レシピを使用して同様のデータでトレーニングされた大規模なモデルは、小規模なモデルよりも優れたパフォーマンスを発揮する傾向があります」と、Stability AI の言語チーム責任者であるカルロス リケルメ氏は VentureBeat に語った。 「しかし、時間の経過とともに、新しいモデルがより優れたアルゴリズムを実装し、より多くのより高品質なデータでトレーニングされるようになると、最近のより小さなモデルが古いより大きなモデルよりも優れたパフォーマンスを発揮することを目撃することがあります。」

Stable LM で (今回は) 小さい方が良い理由

Stability AI によると、このモデルは、Microsoft のベンチマークを含むほとんどのベンチマークで、パラメーターが 20 億未満の他の小規模言語モデルよりも優れたパフォーマンスを示します。 ファイ-2 (2.7B)、 タイニーラマ 1.1B、そして ファルコン1B。

新しい小型の Stable LM は、Stability AI 独自の初期の Stable LM 3B モデルなど、いくつかの大型モデルをも上回ることができます。

「安定した LM 2 1.6B は、数か月前にトレーニングされた一部の大型モデルよりも優れたパフォーマンスを発揮します」とリケルメ氏は言います。 「コンピューター、テレビ、マイクロチップについて考えてみると、ほぼ同様の傾向が見られます。それらは時間の経過とともにより小さく、より薄く、より良くなりました。」

明確にしておきますが、小型の Stable LM 2 1.6B には、そのサイズによるいくつかの欠点があります。 新しいモデルのリリースの中で、Stability AI は、「…小型で低容量の言語モデルの性質により、Stable LM 2 1.6B も同様に、高い幻覚率や潜在的な有害な言語などの一般的な問題を示す可能性があります。」と警告しています。

透明性とより多くのデータが新モデルリリースの中核です

より小型で強力な LLM オプションは、Stability AI が過去数か月間取り組んでいるオプションです。

2023 年 12 月には、 StableLM ゼファー 3B モデルがリリースされ、4 月の最初のイテレーションよりも小さいサイズで StableLM により多くのパフォーマンスが提供されました。

リケルメ氏は、新しい Stable LM 2 モデルは、英語に加えて 6 か国語 (スペイン語、ドイツ語、イタリア語、フランス語、ポルトガル語、オランダ語) の多言語ドキュメントを含む、より多くのデータでトレーニングされていると説明しました。 リケルメ氏が強調したもう 1 つの興味深い側面は、トレーニング中にデータがモデルに表示される順序です。 同氏は、さまざまなトレーニング段階でさまざまな種類のデータに焦点を当てることが有益である可能性があると指摘しました。

さらに一歩進んで、Stability AI は、事前トレーニングおよび微調整されたオプションと、研究者が「…トレーニング前のクールダウン前の最後のモデル チェックポイント」と表現する形式で新しいモデルを利用できるようにしています。

「ここでの私たちの目標は、個々の開発者が現在のモデルを革新し、変革し、その上に構築するためのより多くのツールと成果物を提供することです」とリケルメ氏は述べています。 「ここでは、人々が遊べる特定の調理済みモデルを提供しています。」

リケルメ氏は、トレーニング中にモデルが順次更新され、パフォーマンスが向上すると説明しました。 このシナリオでは、最初のモデルは何も知りませんが、最後のモデルはデータのほとんどの側面を消費し、できれば学習しています。 同時にリケルメ氏は、モデルは学習の終了を余儀なくされるため、トレーニングの終わりに近づくにつれて順応性が低下する可能性があると述べた。

「トレーニングの最終段階を開始する直前に、モデルを現在の形式で提供することにしました。そうすれば、ユーザーが使用したいと思われる他のタスクやデータセットにモデルを特化するのがより簡単になることを願っています」と彼は言いました。 「これがうまくいくかどうかはわかりませんが、人々が新しいツールやモデルを驚くべき方法で活用できると私たちは信じています。」