AI 業界のスケーリングへの執着は崖に向かっている

新しい研究 MITから 最大かつ最も計算量の多い AI モデルは、小規模なモデルと比較してすぐに利益が逓減する可能性があることを示唆しています。研究者らは、モデル効率の継続的な改善に対してスケーリング則をマッピングすることにより、巨大なモデルからパフォーマンスの飛躍的な向上を引き出すことがより困難になる可能性がある一方、効率の向上により、より控えめなハードウェアで実行されるモデルの能力が今後 10 年間で向上する可能性があることを発見しました。

「今後 5 ～ 10 年のうちに、状況は縮小し始める可能性が非常に高いです」と、この研究に携わった MIT のコンピューター科学者で教授のニール・トンプソンは言う。

で見られるような効率の飛躍的向上 DeepSeekの圧倒的な低価格モデル 1 月の発表では、大量のコンピューティングを消費することに慣れている AI 業界にとって、すでに現実性を確認する役割を果たしています。

現状では、OpenAI のような企業のフロンティア モデルは、学術研究機関の一部のコンピューティングでトレーニングされたモデルよりもはるかに優れています。たとえば、強化学習のような新しいトレーニング手法が驚くべき新しい結果を生み出した場合、MIT チームの予測は当てはまらないかもしれないが、将来的には大手 AI 企業の優位性が薄れるだろうと彼らは示唆している。

分析を主導した MIT の研究科学者であるハンス ガンドラック氏は、最先端のモデルを実行するのは扱いにくい性質があるため、この問題に興味を持ちました。彼は、トンプソン氏と、MIT の別の研究者であるジェイソン リンチ氏とともに、フロンティア モデルの将来のパフォーマンスを、より控えめな計算手段で構築されたモデルと比較して計画しました。ガンドラック氏は、予測された傾向は、現在流行している推論モデルで特に顕著であり、推論中に余分な計算に依存していると述べています。

トンプソン氏は、この結果は、アルゴリズムを磨き、コンピューティングをスケールアップすることの価値を示していると述べています。 「これらのモデルのトレーニングに多額の費用を費やしているのであれば、その一部はより効率的なアルゴリズムの開発に絶対に費やすべきです。それが非常に重要になる可能性があるからです」と彼は付け加えた。

この研究は、今日の AI インフラストラクチャ ブーム (あるいは「バブル」と言うべきでしょうか?) が減速する兆しがほとんどないことを考えると、特に興味深いものです。

OpenAI やその他の米国のテクノロジー企業は、 1000億ドル規模の契約を締結した 米国でAIインフラを構築する。 「世界はさらに多くのコンピューティングを必要としています」と OpenAI の社長、グレッグ ブロックマンは述べています。 今週発表された 彼は、カスタム AI チップに関する OpenAI と Broadcom の提携を発表しました。

こうした取引の健全性を疑問視する専門家が増えている。だいたい 60パーセント データセンターの構築コストのほとんどは GPU に当てられますが、GPU はすぐに価値が下がる傾向があります。大手企業間の提携も登場 円形で不透明。