AI スケーリングの終わりは近くないかもしれない: 次に何が起こるか

AI システムがますます複雑化するタスクで超人的なパフォーマンスを達成するにつれて、業界は、より大きなモデルが可能なのか、それともイノベーションが別の道を歩む必要があるのか、という問題に取り組んでいます。

大規模言語モデル (LLM) 開発に対する一般的なアプローチは、大きいほど優れており、より多くのデータとより多くの計算能力に応じてパフォーマンスが向上するというものでした。しかし、最近のメディアの議論は、LLM がどのように限界に近づいているかに焦点を当てています。 「AIは壁にぶつかっているのか？」 ザ・ヴァージ 質問されながら、 ロイター は、「現在の手法が限界に達しているため、OpenAI などはよりスマートな AI への新たな道を模索している」と報告しています。

懸念されるのは、長年にわたって進歩を推進してきたスケーリングが次世代モデルまで拡張されない可能性があることだ。報告書によると、AI の現在の限界を押し上げる GPT-5 のようなフロンティア モデルの開発は、事前トレーニング中のパフォーマンス向上の減少により課題に直面する可能性があります。 情報 OpenAI でこれらの課題について報告し、 ブルームバーグ Google と Anthropic でも同様のニュースを取り上げました。

この問題は、これらのシステムが収穫逓減の法則に従うのではないかという懸念につながりました。つまり、入力単位が追加されるたびに、利益が徐々に小さくなるということです。 LLM が大きくなるにつれて、高品質のトレーニング データの取得とインフラストラクチャの拡張にかかるコストが飛躍的に増加し、新しいモデルのパフォーマンス向上による利益が減少します。アクセス可能な情報の多くはすでに既存のトレーニング データセットに組み込まれているため、高品質の新しいデータの入手が限られていることが、この課題をさらに悪化させています。

これは、AI のパフォーマンス向上が終わることを意味するものではありません。これは単に、進歩を維持するには、モデル アーキテクチャ、最適化技術、データ使用における革新を通じて、さらなるエンジニアリングが必要であることを意味します。

ムーアの法則から学ぶ

同様の収益逓減パターンが半導体業界にも現れました。業界は何十年もの間、トランジスタの数が 18 ～ 24 か月ごとに 2 倍になり、より小型でより効率的な設計によって劇的な性能向上がもたらされると予測するムーアの法則の恩恵を受けてきました。これも最終的に収益逓減に見舞われ、2005年から2007年の間あたりから始まり、デナード・スケーリング（トランジスタを縮小すると消費電力も削減されるという原理）が限界に達し、ムーアの法則の終焉の予測を加速させた。

私は 2012 年から 2022 年まで AMD で働いていたときに、この問題をクローズアップして見てきました。この問題は、半導体、ひいてはコンピュータ プロセッサが世代ごとに性能向上を達成できなくなったことを意味するものではありません。これは、トランジスタのスケールダウンではなく、チップレット設計、高帯域幅メモリ、光スイッチ、キャッシュメモリの増加、高速化されたコンピューティングアーキテクチャによって改善がもたらされたことを意味します。

進歩への新たな道

同様の現象は、現在の LLM でもすでに観察されています。 GPT-4o、Claude 3.5、Gemini 1.5 などのマルチモーダル AI モデルは、テキストと画像の理解を統合する能力を証明しており、ビデオ分析やコンテキスト画像キャプションなどの複雑なタスクの進歩を可能にします。トレーニングと推論の両方のアルゴリズムをさらに調整すると、パフォーマンスがさらに向上します。 LLM がタスクを自律的に実行し、他のシステムとシームレスに連携できるようにするエージェント テクノロジは、実用的なアプリケーションを間もなく大幅に拡大するでしょう。

将来のモデルのブレークスルーは、記号推論とニューラル ネットワークを組み合わせた 1 つ以上のハイブリッド AI アーキテクチャ設計から生じる可能性があります。すでに、OpenAI の o1 推論モデルは、モデルの統合とパフォーマンスの拡張の可能性を示しています。量子コンピューティングはまだ開発の初期段階から出てきたばかりですが、現在の計算ボトルネックに対処することで AI のトレーニングと推論を加速することが期待されています。

AI 研究コミュニティは課題を克服し、新しい機能やパフォーマンスの進歩を解き放つ創意工夫を一貫して証明してきたため、認識されているスケーリングの壁が将来の利益を終わらせる可能性は低いです。

実際、スケーリングの壁があるということに誰もが同意しているわけではありません。 OpenAI CEOのサム・アルトマン氏は、「壁はない」と簡潔に見解を述べた。

「CEOの日記」で語る」 ポッドキャスト、元 Google CEO、共著者 創世記 エリック・シュミット氏もアルトマン氏に基本的に同意し、拡大する壁は存在しないと信じている、少なくとも今後5年間は壁は存在しないだろうと述べた。 「5 年以内に、これらの LLM はあと 2、3 回転することになります。これらのクランクのそれぞれは、能力の 2 倍、3 倍、4 倍になっているように見えます。したがって、これらすべてのシステムのクランクを回すと、50 倍または 100 倍のパワーが得られると言えます。」と彼は言いました。

主要な AI イノベーターは、進歩のペースや新しい方法論の可能性について依然として楽観的です。この楽観主義は、OpenAI の CPO である Kevin Weil 氏と Anthropic CPO の Mike Krieger 氏との「Lenny’s Podcast」での最近の会話からも明らかです。

このディスカッションの中で、クリーガー氏は、OpenAI と Anthropic が現在取り組んでいることは「魔法のように感じられる」と述べたが、わずか 12 か月後には「我々は振り返って、あんなゴミを使ったなんて信じられますか? と言うだろう」と認めた。 …それは速いです [AI development] 動いているよ。」

それは本当です。私が最近 OpenAI の高度な音声モードを使用したときに体験したように、それは魔法のように感じられます。 「ジュニパー」との会話は完全に自然でシームレスに感じられ、AI がリアルタイムの会話の感情やニュアンスを理解し、それに対応できるように進化している様子がわかりました。

クリーガー氏はまた、最近の o1 モデルについても触れ、これを「インテリジェンスをスケールする新しい方法であり、私たちはまさにその始まりに過ぎないように感じています」と述べています。同氏はさらに、「モデルは加速度的に賢くなっていくだろう」と付け加えた。

これらの予想される進歩は、従来のスケーリングアプローチが短期的には利益の減少に直面するかもしれないし、そうでないかもしれない一方で、AI 分野が新しい方法論と創造的なエンジニアリングを通じて継続的なブレークスルーを遂げる準備が整っていることを示唆しています。

スケーリングも重要ですか?

LLM に関する現在の議論の多くはスケーリングの問題が占めていますが、最近の研究では、現在のモデルがすでに驚異的な結果を達成できることが示唆されており、さらなるスケーリングが重要なのかどうかという挑発的な疑問が生じています。

最近の研究では、ChatGPT は、複雑な患者の症例を提示された医師の診断に役立つと予測されています。この研究は GPT-4 の初期バージョンを使用して実施され、ChatGPT の診断機能を AI の支援を受けた医師と受けていない医師の診断機能と比較しました。驚くべき結果により、ChatGPT だけが、AI 支援を使用する医師を含む両グループを大幅に上回ったことが明らかになりました。これには、医師がボットの最適な使用方法を理解していないことから、医師の知識、経験、直感が本質的に優れていると信じていることまで、いくつかの理由があります。

専門家と比較してボットが優れた結果を達成したことを示す研究はこれが初めてではありません。 VentureBeat は今年初めに、LLM がプロのアナリストに匹敵する、あるいはそれを上回る精度で財務諸表分析を実行できることを示した調査について報告しました。また、GPT-4 を使用して、将来の収益成長を予測することがもう 1 つの目標でした。 GPT-4 は、将来の収益の方向性を予測する精度が 60% に達し、これは人間のアナリスト予測の 53 ～ 57% の範囲を著しく上回っています。

注目すべきは、これらの例は両方とも、すでに古くなったモデルに基づいているということです。これらの結果は、新たなスケーリングのブレークスルーがなくても、既存の LLM が複雑なタスクにおいてすでに専門家を上回る能力を備えていることを強調しており、影響力のある結果を達成するにはさらなるスケーリングが必要であるという想定に疑問を投げかけています。

スケーリング、スキルアップ、またはその両方

これらの例は、現在の LLM がすでに高度な機能を備えていることを示していますが、スケーリングだけが将来のイノベーションに進む唯一の道ではない可能性があります。しかし、より多くのスケーリングが可能であり、パフォーマンスの向上が期待できる他の新技術により、シュミット氏の楽観的な見方は AI の進歩の急速なペースを反映しており、わずか 5 年でモデルが博学者に進化し、複数の分野にわたる複雑な質問にシームレスに答えることができる可能性があることを示唆しています。

スケーリング、スキルアップ、またはまったく新しい方法論を通じて、AI の次のフロンティアは、テクノロジー自体だけでなく、私たちの生活におけるその役割も変革することを約束しています。今後の課題は、進歩がすべての人にとって責任があり、公平で、影響力のあるものであり続けるようにすることです。

Gary Grossman は、Edelman のテクノロジー実践担当副社長であり、Edelman AI Center of Excellence のグローバル リードです。