1739212735
2025-02-10 12:34:00
研究者は、それと競合する合理的な人工知能の低コストモデルを作成することができました Openai 先週公開された研究で説明されているように、わずか26分以内に。 S1と呼ばれるモデルは、1,000の質問の小さなセットを使用して開発され、50ドル未満のコストで開発されました。
これを行うために、 研究者 の スタンフォード ワシントン大学は 蒸留 （より小さなモデルを押して、より大きなモデルから生成された回答から情報を描画します）Google Reasoning AISモデルであるGemini 2.0 Flash Thinking Experimentalを使用してS1を改善します。 Googleの使用条件Gemini APIを使用して、同社のAIモデルと「競合するモデルを開発」することはできないことに注意してください。
研究者に基づいたS1インチ QWEN2.5、Alibaba Cloudのオープンソースモデル。当初、彼らはモデルを訓練するために59,000の質問のタンクから始めましたが、最大のデータセットは、わずか1,000の質問の削減されたセットと比較して「重要な利益」を提供していないことがわかりました。研究者は、彼らがJustを使用してモデルを訓練したと報告しています 16 Nvidia H100 GPU。
S1モデルはaも使用します 技術 呼び出されました テスト時間スケーリング、回答を生成する前に、モデルがより長い期間「考える」ことを許可します。この仕事で述べたように、研究者はモデルに「」を追加することで考え続けることを強制しました。待って»モデルの応答。 「これにより、誤った推論手順を頻繁に修正することにより、モデルが回答を2回チェックするようになります»。
Openaiの推論O1モデルは、同様のアプローチを使用しています。 deepseek 彼はR1モデルの循環で再現しようとしましたが、それは数分の1のコストで訓練されたと主張しています。 Openaiは、その後、Deepseekがモデルから情報を蒸留して競合他社を作成し、利用規約に違反したと非難しています。 S1に関しては、研究者は、S1が「最大27％の競争的な数学的質問でO1-Previewを超える」と主張しています。
小さくて安価なものの広がり ai モデルは、業界全体を転覆する恐れがあります。彼らは、Openai、Microsoft、Meta、Googleなどの大企業がAIトレーニングに数十億ドルを費やす必要がないことを証明することができました。
[via]
#何十億研究者は50ドルでOpenai #O1の競合他社を作りました..