このスタートアップは米国の DeepSeek モーメントを引き起こしたいと考えています

それ以来 ディープシーク 1 月に突然登場し、オープンソースの中国語を中心に機運が高まっている 人工知能 モデル。研究者の中には、モデル作成を世界中に分散できる AI 構築へのさらにオープンなアプローチを推進している人もいます。

プライム・インテリジェンス分散型 AI を専門とするスタートアップ企業である同社は現在、微調整のために新しい種類の分散強化学習を使用して、INTELLECT-3 と呼ばれるフロンティア大規模言語モデルをトレーニングしています。このモデルは、大手ハイテク企業に依存せずに、さまざまな場所にあるさまざまなハードウェアを使用して、競争力のあるオープン AI モデルを構築する新しい方法を実証するものになる、と同社 CEO の Vincent Weisser 氏は述べています。

ワイザー氏によると、AIの世界は現在、米国のクローズドなモデルに依存する企業と、中国のオープンな製品を利用する企業とに分かれているという。 Prime Intellect が開発しているテクノロジーは、より多くの人が高度な AI を自分で構築および変更できるようにすることで、AI を民主化します。

AI モデルの改善は、もはやトレーニング データとコンピューティングを強化するだけの問題ではありません。現在のフロンティア モデルは、事前トレーニング プロセスの完了後に強化学習を使用して改善を行っています。モデルに数学で優れたり、法律上の質問に答えたり、数独をプレイしたりしたいですか?成功と失敗を測定できる環境で練習することで、自己改善してもらいます。

「これらの強化学習環境は、現在、機能を実際に拡張する上でのボトルネックになっています」と Weisser 氏は語ります。

Prime Intellect は、特定のタスク向けにカスタマイズされた強化学習環境を誰でも作成できるフレームワークを作成しました。同社は、自社のチームとコミュニティが作成した最適な環境を組み合わせて、INTELLECT-3 を調整しています。

私は、Prime Intellect の研究者である Will Brown が作成した Wordle パズルを解くための環境を実行して、小さなモデルが Wordle パズルを解くのを見ながら実行してみました (正直に言うと、私よりも几帳面でした)。もし私がモデルを改善しようとしている AI 研究者だったら、強化学習アルゴリズムが重みを変更する間、多数の GPU を起動してモデルを何度も練習させ、モデルを Wordle マスターに変えるでしょう。