科学＆テクノロジー

Databricksには、AIモデルが自分自身を改善できるようにするトリックがあります

Databricks、会社 それは、大企業が習慣を構築するのに役立ちます 人工知能 モデルは、クリーンラベルデータを必要とせずにAIモデルのパフォーマンスを向上させることができるマシン学習のトリックを開発しました。DatabricksのチーフAI科学者であるJonathan Frankleは、過去1年間、AIを確実に機能させるために直面する重要な課題について顧客と話をしました。Frankle氏によると、問題は汚いデータです。「誰もがいくつかのデータを持っており、彼らが何をしたいのかを考えています」とフランクルは言います。しかし、クリーンなデータがないため、モデルを微調整して特定のタスクを実行することが困難になります。 「プロンプトや [application programming interface]モデルの場合。Databricksのモデルにより、企業は最終的に独自のエージェントを展開してタスクを実行できます。この手法は、特に優れたデータを手に入れるのが難しい場合、エンジニアが現在高度なAIモデルの能力を向上させるために現在使用している重要なトリックのいくつかをめったに見ています。このメソッドは、AIモデルが「合成」またはAIに生成されたトレーニングデータを実践を通じて改善する方法である、強化学習を組み合わせることで高度な推論モデルを作成するのに役立つアイデアを活用しています。からの最新モデル Openai、 グーグル、 そして deepseek すべてが補強学習と合成トレーニングデータに大きく依存しています。 Wiredはそれを明らかにしました NvidiaはGretelを取得する予定です、合成データを専門とする企業。 「私たちは皆、このスペースをナビゲートしています」とフランクルは言います。DataBricksメソッドは、十分な試行を考えると、弱いモデルでさえ特定のタスクまたはベンチマークでうまくスコアを付けることができるという事実を活用しています。研究者は、この方法をモデルのパフォーマンスを「Best-n-n」に向上させる方法を呼んでいます。 Databricksは、例に基づいて、人間のテスターが好むベストNの結果を予測するためにモデルを訓練しました。 Databricks Rewardモデル（DBRM）を使用して、ラベル付きデータを必要とせずに他のモデルのパフォーマンスを改善できます。次に、DBRMを使用して、特定のモデルから最適な出力を選択します。これにより、モデルをさらに微調整するための合成トレーニングデータが作成され、初めてより良い出力が生成されます。 Databricksは、新しいアプローチテスト時間適応最適化またはTAOを呼び出します。 「この方法について話しているこの方法では、基本的にベストnの利点をモデル自体に焼くために、比較的軽量の強化学習を使用しています」とフランクルは言います。彼は、Databricksによって行われた研究は、TAOメソッドがより大きく、より能力のあるモデルに拡大されると改善することを示していると付け加えました。補強学習と合成データはすでに広く使用されていますが、言語モデルを改善するためにそれらを組み合わせることは、比較的新しく、技術的に挑戦的なテクニックです。Databricksは、AIの開発方法について異常にオープンです。これは、強力なカスタムモデルを作成するために必要なスキルがあることを顧客に示したいからです。会社は以前にWiredを明らかにしました 最先端のオープンソースの大型言語モデル（LLM）であるDBXの開発方法 ゼロから。 #DatabricksにはAIモデルが自分自身を改善できるようにするトリックがあります