AI の今後の道: 強化学習環境

過去 10 年間、人工知能の進歩は、モデルの大型化、データセットの大型化、コンピューティングの増加などの規模で測られてきました。このアプローチは、大規模言語モデル (LLM) に驚くべき進歩をもたらしました。 私たった5年で、 私は持っている コヒーレンスをほとんど模倣できない GPT-2 のようなモデルから GPT-5 のようなシステムに移行しました。 それ 論理的に考え、実質的な対話を行うことができます。そして現在、コードベースをナビゲートできる AI エージェントの初期のプロトタイプや、 ウェブを閲覧する 全く新しいフロンティアを目指します。

しかし、サイズだけでは、AI はこれまでのところ限界を達成することしかできません。次の飛躍は大型モデルだけから生まれるものではない。私それは、より優れたデータと、モデルが学習するために構築した世界を組み合わせることで生まれます。そして最も重要な質問です。 AI のための教室はどのようなものですか?

ここ数年で 月s シリコンバレーは賭けをした、 研究所が数十億ドルを投資している 建設中 そのような 強化学習 (RL) 環境と呼ばれる教室。これらの環境では、マシンが現実的なデジタル空間で実験し、失敗し、改善することができます。

AI トレーニング: データからエクスペリエンスへ

現代の AI の歴史は時代ごとに展開されており、それぞれの時代はモデルが消費するデータの種類によって定義されています。まず、インターネット規模のデータセットで事前トレーニングを行う時代が到来しました。この商品データにより、機械は統計パターンを認識して人間の言語を模倣することができました。それから来ました データを結合した 人間のフィードバックからの強化学習 (クラウド ワーカーを使用して LLM からの応答を採点する手法) を使用することで、AI がより便利になり、応答性が高く、人間の好みに合わせられるようになりました。

私たちは両方の時代を直接経験しました。モデルデータの塹壕での作業 大規模な AI このことは、多くの人が AI の根本的な問題と考えていること、つまり、 トレーニング これらのモデルを支えるデータは多様かつ正確で、パフォーマンスの向上に効果的です。クリーンで構造化され、専門家によってラベル付けされたデータに基づいてトレーニングされたシステムは飛躍的に進歩しました。データ問題を解決することで、過去数年間で LLM の最も重要な進歩を先駆けて実現することができました。

現在でもデータは基盤です。それは知性を構築するための原材料です。しかし、私たちはもはやデータだけでは十分ではない新たな段階に入りつつあります。次のフロンティアを開拓するには、高品質のデータと、無制限のインタラクション、継続的なフィードバック、行動を通じた学習を可能にする環境を組み合わせる必要があります。 RL 環境はデータを置き換えません。モデルが知識を適用し、仮説をテストし、現実的な設定で動作を洗練できるようにすることで、データでできることを拡大します。

RL 環境の仕組み

RL 環境では、モデルは単純なループを通じて学習します。つまり、世界の状態を観察し、アクションを実行し、そのアクションが目標の達成に役立ったかどうかを示す報酬を受け取ります。多くの反復を経て、モデルはより良い結果につながる戦略を徐々に発見します。重要な変化は、トレーニングがインタラクティブになることです。モデルは次のトークンを予測するだけでなく、試行錯誤、フィードバックを通じて改善されます。

たとえば、言語モデルはすでに簡単なチャット設定でコードを生成できます。ライブコーディング環境に配置する—コンテキストを取り込み、コードを実行し、エラーをデバッグし、ソリューションを改良できる場所—そして何かが変わります。彼らはアドバイスから自主的に移行します 問題-解決中。

この区別が重要です。ソフトウェア主導の世界では、AI が広大なリポジトリで実稼働レベルのコードを生成してテストできる機能が、 選考科目 能力の変化。この飛躍は、大規模なデータセットだけから生まれるわけではありません。それは人間のプログラマーと同じように、エージェントが実験し、つまずき、繰り返し学習することができる没入型環境から生まれます。現実の開発世界は厄介です。プログラマーは、仕様が不十分なバグ、複雑なコードベース、曖昧な要件に対処しなければなりません。 AI にこの混乱に対処する方法を教えることは、エラーが発生しやすい試みから卒業して、一貫性のある信頼できるソリューションを生成する唯一の方法です。

AIは乱雑な現実世界を処理できるか?

インターネットの操作も面倒です。ポップアップ、ログイン ウォール、壊れたリンク、古い情報は、日常のブラウジング ワークフロー全体に織り込まれています。人間はこれらの混乱にほぼ本能的に対処しますが、AI はウェブの予測不可能性をシミュレートする環境でトレーニングすることによってのみその能力を開発できます。エージェントは、エラーから回復する方法、ユーザー インターフェイスの障害を認識して乗り越える方法、広く使用されているアプリケーション全体で複数ステップのワークフローを完了する方法を学ばなければなりません。

最も重要な環境の一部はまったく公開されていません。政府や企業は、AI が現実世界に影響を与えることなく一か八かの意思決定を実践できる安全なシミュレーションを積極的に構築しています。災害救援を検討してください。実際のハリケーン対応にテストされていないエージェントを配備することは考えられません。しかし、港、道路、サプライチェーンがシミュレートされた世界では、エージェントは何千回も失敗し、徐々に最適な計画を立てるのが上手になっていきます。

AI におけるあらゆる大きな飛躍は、データセットにラベルを付けるアノテーター、報酬モデルをトレーニングする研究者、LLM がツールを使用してアクションを実行するための足場を構築するエンジニアなど、目に見えないインフラストラクチャに依存してきました。 lを見つける大量かつ高品質のデータセット だった かつては AI のボトルネックであり、その問題を解決することで以前の進歩の波が起こりました。現在、ボトルネックはデータではなく、リッチで現実的で本当に役立つ RL 環境を構築することです。

AI の進歩の次の段階 大規模な事故にはならないだろう。これは、強力なデータ基盤と、複雑な現実世界のシナリオ全体でどのように行動し、適応し、推論するかを機械に教えるインタラクティブな環境を組み合わせた結果です。サンドボックス、OS、ブラウザーのプレイグラウンド、安全なシミュレーションをコーディングすることで、予測が能力に変わります。