1736631776
2025-01-11 21:30:00
いわゆる推論 AI モデルは、開発が容易になり、しかも安価になりつつあります。
金曜日、カリフォルニア大学バークレー校の Sky Computing Lab を拠点とする研究者チームである NovaSky は、多くの重要なベンチマークにおいて OpenAI の以前のバージョンの o1 と競合する推論モデル Sky-T1-32B-Preview をリリースしました。 Sky-T1 は、ゼロから複製できるという意味で、最初の真のオープンソース推論モデルであると思われます。チームは、トレーニングに使用したデータセットと必要なトレーニング コードをリリースしました。
「驚くべきことに、Sky-T1-32B-Preview は 450 ドル未満で訓練されました」とチームは書いています。 ブログ投稿、「高レベルの推論機能を手頃な価格で効率的に再現できることを実証しました。」
ほとんどの AI とは異なり、推論モデルは効果的に事実確認を行うため、モデルが通常つまずく落とし穴のいくつかを回避できます。推論モデルは、一般的な非推論モデルと比較して、解決策に到達するまでに少し時間がかかります (通常は数秒から数分長くなります)。利点としては、物理学、科学、数学などの分野では信頼性が高くなる傾向があるということです。
NovaSky チームは、別の推論モデルである Alibaba の QwQ-32B-Preview を使用して Sky-T1 の初期トレーニング データを生成し、その後データ混合物を「キュレーション」し、OpenAI の GPT-4o-mini を活用してデータをより詳細なデータにリファクタリングしたと述べています。実行可能な形式。 320 億パラメータの Sky-T1 のトレーニングには、8 個の Nvidia H100 GPU のラックを使用して約 19 時間かかりました。 (パラメーターはモデルの問題解決スキルにほぼ対応します。)
NovaSky チームによると、Sky-T1 は、「競技レベル」の数学課題を集めた MATH500 において、o1 の初期プレビュー バージョンよりも優れたパフォーマンスを発揮します。このモデルは、コーディング評価である LiveCodeBench の一連の困難な問題に関しても、o1 のプレビューを上回っています。
また、OpenAI の o1 GA リリースは、o1 のプレビュー バージョンよりも強力なモデルであり、OpenAI は今後数週間のうちにさらにパフォーマンスの高い推論モデルである o3 をリリースする予定であることにも注意することが重要です。
しかし、NovaSky チームは、Sky-T1 は高度な推論機能を備えたオープンソース モデルを開発する旅の始まりにすぎないと述べています。
「今後は、強力な推論パフォーマンスを維持するより効率的なモデルの開発と、テスト時のモデルの効率と精度をさらに高める高度な技術の探索に焦点を当てていきます」とチームは投稿で述べている。 「これらのエキサイティングな取り組みの進展にご期待ください。」
#研究者らは450ドル未満でトレーニングできる推論AIモデルSkyT1をオープンソース化