Andrej Karpathy 氏の新しいオープンソース「自動リサーチ」により、一晩に何百もの AI 実験を実行できるようになります – 革命的な意味合いをもたらします

週末にかけて、影響力のある元 Tesla AI リーダーであり、「バイブ コーディング」という用語を作った OpenAI の共同創設者で元メンバーである Andrej Karpathy 氏が、彼の新しいオープンソース プロジェクトである autoresearch について X に投稿しました。

それは完成モデルでも大規模な企業製品でもありませんでした。彼自身の認めによれば、これは寛容でエンタープライズ向けの MIT ライセンスに基づいて Github で公開された単純な 630 行のスクリプトでした。しかし、その野心は巨大でした。それは、私たち人間が眠っている間に AI エージェントを使用して科学的手法を自動化することです。

「目標は、あなた自身の関与なしに、無期限に最速で研究を進めるようにエージェントを設計することです」と彼はXで述べました。

システムは自律的な最適化ループとして機能します。 AI エージェントにはトレーニング スクリプトと固定のコンピューティング バジェット (通常は GPU で 5 分) が与えられます。

独自のソース コードを読み取り、改善のための仮説 (学習率やアーキテクチャの深さの変更など) を形成し、コードを変更して実験を実行し、結果を評価します。

検証損失が発生した場合、バイトあたりのビット数で測定されます (val_bpb)—改善し、変化を維持します。そうでない場合は、元に戻って再試行します。で 1 晩の実行で、カルパシーのエージェントは 126 回の実験を完了しました、損失を0.9979から0.9697に減少させました。

今日、Karpathy は、「深さ = 12」モデルを調整するためにエージェントを 2 日間放置した後、約 700 件の自律的な変更を正常に処理したと報告しました。

エージェントは、より大きなモデルに完全に移行できる約 20 の追加的な改善を発見しました。これらの変更を積み重ねることで、リーダーボード上の「GPT-2 までの時間」指標が 2.02 時間から 1.80 時間に低下しました。これは、カルパシー氏がすでに適切に調整されていると信じていたプロジェクトの効率が 11% 向上したことです。

「エージェントがこのワークフロー全体をエンドツーエンドで、しかもすべて単独で実行するのを見るのは、とんでもないことだ」とカルパシー氏は述べ、エージェントが 20 年間の仕事の中で手動で見逃していた注意力の拡大と正規化の見落としを発見したと指摘した。

これは単なる生産性向上のハックではありません。それは、知性の洗練方法における根本的な変化です。コードの「科学的手法」を自動化することで、Karpathy は機械学習を人間の思考の速度ではなくシリコンの速度で実行される進化プロセスに変えました。

そしてそれ以上に、このタイプのプロセスはコンピューター サイエンスをはるかに超えて、マーケティング、健康、そして基本的に研究が必要なあらゆる分野に適用できるということを、X 上の広範な AI および機械学習コミュニティに示しました。

自動リサーチは広範囲に広がります

反応は素早く口コミで広がり、建設業者や研究者が「カルパシー ループ」の拡大に向けて奔走する中、カルパシー氏の投稿はその間の 2 日間で 860 万回以上の閲覧を集めました。

AI ツール アグリゲーター プラットフォーム Hyperspace AI の CEO である Varun Mathur 氏は、単一エージェント ループを利用し、それをピアツーピア ネットワーク全体に分散しました。 Hyperspace エージェントを実行しているすべてのノードが自律的な研究者になりました。

3 月 8 日から 9 日にかけての夜、ハイパースペース ネットワーク上の 35 の自律エージェントが、完全に監視されていない状態で 333 件の実験を実行しました。その結果、創発戦略に関するマスタークラスが完成しました。

• 機能としてのハードウェアの多様性: Mathur 氏は、H100 GPU は積極的な学習率を見つけるために「総当たり」を使用しましたが、ラップトップ上の CPU のみのエージェントは賢明でなければならなかったと指摘しました。これらの「弱者」エージェントは、生のスループットに依存できないため、初期化戦略 (Kaiming や Xavier init など) と正規化の選択に焦点を当てていました。

• ゴシップベースの発見: GossipSub プロトコルを使用して、エージェントはリアルタイムで勝利を共有しました。あるエージェントが Kaiming の初期化により損失が 21% 減少したことを発見すると、このアイデアはデジタル ウイルスのようにネットワーク全体に広がりました。数時間以内に、他の 23 人のエージェントがこの発見を自分たちの仮説に組み入れました。

• 歴史の圧縮: これらのエージェントは、Google Brain や OpenAI などの研究所の人間の研究者が正式化するまでに 8 年近くかかった ML マイルストーン (RMSNorm や結合埋め込みなど) を、わずか 17 時間で独自に再発見しました。

毎年 30 件ではなく 36,500 件のマーケティング実験を実施

ML 純粋主義者が損失曲線に焦点を当てていた一方で、ビジネスの世界では別の種類の革命が見られました。広告代理店 Single Grain の創設者である Eric Siu は、マーケティングの「実験ループ」に自動リサーチを適用しました。

「ほとんどのマーケティングチームは年間約 30 回の実験を行っています」と Siu 氏は X に書いています。「次世代では 36,500 以上を実行するでしょう。簡単です。」彼はこう続けた。

「彼らは寝ている間に実験を行うことになる。現在のマーケティングチームは年間20～30回の実験を行っている。『良い』場合はおそらく52回。新しいランディングページ。新しい広告クリエイティブ。件名のテストかもしれない。これは『データドリブンマーケティング』とみなされている。しかし、次世代のマーケティングシステムでは年間3万6500回以上の実験が行われるだろう。」

Siu のフレームワークは、トレーニング スクリプトをマーケティング アセット (ランディング ページ、広告クリエイティブ、コールド メールなど) に置き換えます。エージェントは変数 (件名行または CTA) を変更し、それを展開し、「肯定的な返信率」を測定し、保持または破棄します。

シウ氏は、これによって特定の聴衆の共感を呼ぶものを示す「独自の地図」、つまりコードではなく実験の歴史で築かれた堀が作成されると主張する。同氏は、「勝利する企業は、より優れたマーケターを抱えているわけではなく、より迅速な実験ループを持っているだろう」と書いている。

コミュニティのディスカッションと検証セットの「ネタバレ」

熱狂にもかかわらず、GitHub ディスカッションでは、コミュニティがこのような急速な自動化の進歩の影響に取り組んでいることが明らかになりました。

過剰最適化の罠: 研究者 alexisthual は、「これほど多くの実験を開始すると、最終的に検証セットが『台無し』になるのではないかと心配しませんか?」と痛切な懸念を提起しました。懸念されるのは、十分なエージェントがいると、パラメーターが一般的な知能ではなく、テスト データの特定の癖に合わせて最適化されてしまうことです。

利益の意味: ユーザー samionb は、0.9979 から 0.9697 への低下が本当に顕著であるかどうかを疑問視しました。 Karpathy 氏の反応は、特徴的に直接的でした。「私たちが行っているのは、コンピューティングごとのパフォーマンスの最適化だけです…これらは実際の実質的な利益です。」

人間の要素: X では、仮想通貨プラットフォーム Yari Finance の成長責任者であるユーザー ウィッチャーが、Mac Mini M4 での一晩の実行を記録し、35 件の実験のうち 26 件が失敗またはクラッシュしたが、成功した 7 件では「モデルがシンプルになることで改善された」ことが明らかになったと述べました。

多くの場合、少ないほど良いという洞察は、人間の介入なしに到達されました。

未来: ボトルネックとなる好奇心

オートリサーチのリリースは、シンプルな AI 指示メカニズムのおかげで、人間の役割が「実験者」から「実験設計者」に移行する、領域を超えた研究の未来を示唆しています。

DarkMatter、Optimization Arena、NanoClaw などのツールがこの群れをサポートするために登場するにつれて、AI の進歩のボトルネックはもはや「ミート コンピューター」 (カルパシーによる人間の脳の説明) のコーディング能力ではなく、検索の制約を定義する私たちの能力です。

アンドレイ・カルパシーが再び雰囲気を変えました。私たちはもはやモデルをコーディングするだけではありません。私たちは眠っている間に学習するエコシステムの種を蒔いているのです。