OpenAI の最高経営責任者である Sam Altman 氏は、おそらく OpenAI の最も著名な顔です。 人工知能 2022 年の ChatGPT の立ち上げで加速したブームは、スケーリングの法則が大好きです。
AI モデルのサイズとその機能を結びつけるこれらの広く賞賛される経験則は、AI 業界が強力なコンピューター チップを買い占め、想像を絶するほど大規模なデータ センターを建設し、 閉鎖された原子力発電所を再開する。
アルトマンが主張したように、 今年初めのブログ投稿AI モデルの「インテリジェンス」は「トレーニングと実行に使用されるリソースのログにほぼ等しい」という考え方です。つまり、AI モデルを着実に生産できることを意味します。 より良いパフォーマンス データの規模と関係するコンピューティング能力を飛躍的に増大させることによって。
初め 2020年に観測された そして さらに洗練された 2022 年には、大規模言語モデル (LLM) のスケーリング則は、実験データのグラフに線を引くことから生まれます。エンジニア向けに、次のモデルをどれくらいの大きさで構築するか、どの程度のパフォーマンス向上が期待できるかを示す簡単な公式を示します。
AI モデルがますます大きくなるにつれて、スケーリングの法則は拡大し続けるのでしょうか? AI 企業は、その実現に数千億ドルを賭けていますが、歴史が示すとおり、物事は必ずしもそれほど単純ではありません。
スケーリングの法則は AI だけのものではない
スケーリングの法則は素晴らしいものになる可能性があります。たとえば、現代の空気力学はそれらに基づいて構築されています。
と呼ばれるエレガントな数学を使用します。 バッキンガムのπ定理、エンジニアは、風洞や試験槽内の小型モデルを実物大の飛行機や船舶と比較する方法を発見しました。 キー番号 一致しました。
これらのスケーリングに関するアイデアは、工業用ファンやポンプだけでなく、飛行または浮遊するほぼすべての製品の設計に影響を与えます。
もう 1 つの有名なスケーリングのアイデアが、シリコン チップ革命の数十年間のブームを支えました。ムーアの法則 (マイクロチップ上のトランジスタと呼ばれる小さなスイッチの数は約 2 年ごとに 2 倍になるという考え) は、設計者が今日の小型で強力なコンピューティング テクノロジーを生み出すのに役立ちました。
ただし、落とし穴があります。すべての「スケーリングの法則」が自然法則であるわけではありません。一部は純粋に数学的なものであり、無期限に保持できます。他のものは、美しく機能するデータに適合した単なる線です それまで 測定または設計された状況から離れすぎています。
スケーリングの法則が崩れるとき
歴史には、スケーリング法が破られたという痛ましい思い出が散りばめられています。典型的な例は、 タコマ ナローズ ブリッジ 1940年に。
この橋は、小さな橋で機能していたものをより長くスリムなものにスケールアップすることによって設計されました。エンジニアは、同じスケーリングの議論が成り立つと想定しました。つまり、橋の長さに対する剛性の特定の比率が以前に機能していれば、再び機能するはずです。
その代わり、適度な風は空力弾性フラッターと呼ばれる予期せぬ不安定性を引き起こします。橋の床版は引き裂かれ、開通からわずか 4 か月後に崩壊した。
同様に、マイクロチップ製造の「法律」にも有効期限がありました。何十年もの間、ムーアの法則 (トランジスタの数は数年ごとに 2 倍になる) とデナード スケーリング (同じ電力を使用しながら多数の小型トランジスタがより高速に動作する) は、チップ設計と業界のロードマップにとって驚くほど信頼できるガイドでした。
しかし、トランジスタがナノメートル単位で測定できるほど小さくなると、それらのきちんとしたスケーリング規則は無視され始めました。 衝突する 物理的な限界が厳しい。
トランジスタのゲートがほんの数原子の厚さにまで縮小すると、電流が漏れ始め、予測不可能な動作をし始めました。動作電圧も、バックグラウンドノイズに負けずに下げることはできなくなりました。
結局、縮小することはもはや進むべき道ではなくなりました。チップはさらに強力になっていますが、現在は単なる縮小ではなく、新しい設計が採用されています。
自然の法則か経験則か？
アルトマンが称賛する言語モデルのスケーリング曲線は現実のものであり、これまでのところ非常に役に立ちます。
彼らは研究者たちに、モデルに十分なデータと計算能力を与えればモデルは改良され続けるだろうと語った。彼らはまた、以前のシステムが 基本的には限定されない—彼らには十分なリソースが投入されていなかったのです。
しかし、これらは間違いなくデータに適合した曲線です。これらは、空気力学で使用される導出された数学的スケーリング法則とは異なり、マイクロチップの設計で使用される有用な経験則に似ています。つまり、それらは永久に機能しない可能性が高いことを意味します。
言語モデルのスケーリング ルールは、安全性の制約やデータ センターや送電網の構築の経済的困難は言うまでもなく、トレーニング用の高品質データの利用可能性の制限や AI に新しいタスクを処理させることの難しさなど、必ずしも現実世界の問題をエンコードしているわけではありません。 「知性が永久に拡大する」ことを保証する自然法則や定理は存在しません。
カーブへの投資
これまでのところ、AI のスケーリング曲線は非常に滑らかに見えますが、財務曲線となると話は別です。
ドイツ銀行 最近警告されました AI の「資金ギャップ」については、予測される AI 収益と、現在の成長を維持するために必要なチップ、データセンター、電力への投資との間に 8,000 億ドルの不一致があるというベイン キャピタルの推定に基づいています。
JPモルガンは、 推定 計画されている AI インフラストラクチャの構築でわずか 10% の利益を得るだけでも、広範な AI セクターでは年間約 6,500 億ドルの収益が必要となる可能性があります。
フロンティア LLM にどのような法律が適用されるのかはまだ調査中です。現実は現在のスケーリングルールに従って推移し続ける可能性があります。あるいは、データ、エネルギー、ユーザーの支払い意欲などの新たなボトルネックによって、曲線が曲がる可能性があります。
アルトマン氏の賭けは、LLM スケーリングの法則が継続されることです。そうであれば、その効果は予測可能であるため、膨大な量のコンピューティング能力を構築する価値があるかもしれません。一方で、銀行側の不安の高まりは、一部の規模拡大の話がタコマ・ナローズのようなものになる可能性があることを思い出させている。つまり、ある文脈では美しい曲線が、次の文脈では厄介な驚きを隠しているということだ。
#AI企業はAIスケーリング法に数十億ドルを賭けている彼らの賭けは報われるでしょうか