1769239822
2026-01-24 04:18:00
オフラインのブラックボックス最適化は、DNA 配列決定からロボット工学に至るまでの分野で大きな課題となっており、既存のデータセットから最適なソリューションを特定する必要があります。 Ye Yuan、Can Chen (MILA – ケベック AI 研究所出身)、Zipeng Sun (MILA、McGill 出身 – ケベック AI 研究所) は、Dinghuai Zhang および Christopher Pal (カナダ、ポリテクニック モントリオール出身、CIFAR AI 議長) とともに、現在の手法の限界を克服するために拡散大規模言語モデル (dLLM) を利用した新しいアプローチを実証します。彼らの研究は、複雑な設計内の双方向の依存関係を捕捉するという従来の技術が抱える困難に対処し、代わりに拡散 LLM の反復改良機能と双方向モデリング機能を利用しています。インコンテキストノイズ除去モジュールとマスクされた拡散ツリー検索を導入することで、チームは利用可能なデータに基づいて LLM を効果的に条件付けして改善された設計を生成し、設計ベンチのベンチマークで最先端のパフォーマンスを達成し、より効率的で堅牢な最適化戦略への道を切り開きます。
LLM は限られたオフライン データから設計を最適化します
科学者たちは、拡散大規模言語モデル (LLM) の力を利用することによる、オフライン ブラック ボックス最適化 (BBO) への新しいアプローチを実証しました。この画期的な研究は、DNA 配列設計やロボット工学などの分野でよくある、限られたオフライン データセットの設計とそれに対応するラベルしか利用できない場合に、最適な設計を見つけるという課題に対処します。チームは、タスク固有のプロキシまたは生成モデルに依存する従来の方法を超え、事前トレーニングされた LLM に固有のインコンテキスト学習機能を活用することで、大幅な進歩を達成しました。この研究は、タスクの説明とオフライン データを含む自然言語プロンプトから改善された設計を直接生成する方法を明らかにし、多くの設計問題で重要な双方向の依存関係に悩まされていた初期の自己回帰 LLM 適応の制限を克服します。
この研究では、コンテキスト内ノイズ除去モジュールを導入し、タスクの説明とオフライン データセットの両方で拡散 LLM を調整します。両方とも自然言語プロンプトとして細心の注意を払ってフォーマットされています。その後、拡散 LLM は、マスクされた設計を反復的にノイズ除去し、改善された候補ソリューションに変換するように促されます。実験によれば、このアプローチは拡散 LLM の双方向モデリングと反復改良機能を効果的に活用しており、左から右への自己回帰モデルでは見逃しがちな設計空間内の複雑な依存関係をモデルが捉えることができるようになります。研究者らは、実際の最適化問題の多くにおいて大きなハードルとなる、少数のラベル付きデータ ポイントのみにアクセスできるシナリオでのパフォーマンスの向上に特に焦点を当てました。
生成プロセスをさらに強化し、高パフォーマンスの設計に導くために、チームはマスクされた拡散ツリー検索を開発しました。この革新的なモジュールは、ノイズ除去プロセスを段階的なモンテカルロ ツリー検索としてキャストし、探索と活用のバランスを動的に調整して、設計空間を効率的にナビゲートします。検索ツリー内の各ノードは部分的にマスクされた設計を表し、各ノイズ除去ステップがアクションを構成します。候補者は、オフライン データセットでトレーニングされたガウス プロセスに基づいて計算された期待改善率を使用して厳密に評価され、堅牢でデータ駆動型のパフォーマンス評価が保証されます。
この研究により、dLLM と呼ばれる彼らの手法が、設計ベンチのベンチマークにおける数ショット設定で最先端の結果を達成できることが証明されました。これは、特にデータが不足している環境において、BBO のパフォーマンスが大幅に向上したことを意味します。この研究は、特異的結合親和性のための DNA 配列の最適化から、より効果的なロボット制御戦略の開発に至るまで、すべて費用と時間のかかるオンライン評価を必要とせずに、複雑なシステムの設計を自動化する刺激的な可能性を切り開きます。拡散 LLM とマスクされたツリー検索の組み合わせは、科学および工学の幅広い分野にわたる困難な最適化問題に取り組むための強力なフレームワークを提供します。
オフライン ブラックボックス最適化のための Difusion LLM
科学者たちは、拡散大規模言語モデル (LLM) の力を利用して、オフライン ブラック ボックス最適化 (BBO) への新しいアプローチを開拓しました。この研究は、設計とその性能ラベルの限られたオフライン データセットしか利用できない場合に、DNA 配列やロボット構成などの最適な設計を見つけるという課題に取り組みます。研究者らは、タスク固有のプロキシ モデルや生成モデルに依存するのではなく、事前トレーニングされた LLM のコンテキスト内学習機能を活用して、既存のデータから改善された設計を直接生成しました。この研究では、自己回帰 LLM が多くの設計問題に内在する双方向の依存関係に苦戦していることが認識され、その固有の双方向モデリングと反復改良機能を備えた拡散 LLM の探索が動機付けられました。
dLLM と呼ばれる彼らのメソッドの中核は、コンテキスト内のノイズ除去モジュールを中心としています。チームはタスクの説明とオフライン データセットの両方を自然言語プロンプトとしてフォーマットし、改善された設計を生成するための指示とともにこのコンテキスト情報を拡散 LLM に提供しました。重要なのは、研究者らが LLM にノイズを除去するよう促したことです。 マスクされた デザインを繰り返し改良し、有望な候補に導きます。この革新的な手法により、モデルは設計空間全体にわたる依存関係を考慮できるようになり、左から右への自己回帰モデルの制限が克服されます。拡散 LLM は、ノイズ除去プロセスをガイドし、改善された候補を生成するために、両方とも自然言語で表示されるタスクの説明とオフライン データセットに基づいて条件付けされました。
設計生成プロセスをさらに強化するために、科学者はマスクされた拡散ツリー検索を導入しました。この方法では、ノイズ除去プロセスを段階的なモンテカルロ ツリー検索としてキャストし、新しい設計の可能性の探索と有望な領域の活用のバランスを動的にとります。検索ツリー内の各ノードは部分的にマスクされた設計を表し、各ノイズ除去ステップがアクションを構成します。次に、初期のオフライン データセットでトレーニングされたガウス プロセスを介して計算された、期待される改善を使用して候補設計が評価されます。このガウス プロセスは設計パフォーマンスの予測モデルを提供し、検索アルゴリズムが効率的にパフォーマンスの高い候補を特定して優先順位を付けることができるようにします。
実験では、デザインベンチ プラットフォームを使用して dLLM のパフォーマンスを実証しました。チームは、少数ショット設定で最先端の結果を達成し、ラベル付きデータが限られたシナリオにおけるアプローチの有効性を実証しました。この方法は、拡散 LLM の長所と洗練されたツリー検索アルゴリズムを効果的に組み合わせることで大幅な改善を実現し、困難なオフライン最適化問題において最適な設計を発見できるようにします。
DLLM は少数ショットのブラックボックス最適化に優れ、最先端のパフォーマンスを実現します。
科学者たちは、拡散大規模言語モデル (LLM) を使用したオフライン ブラック ボックス最適化 (BBO) で最先端の結果を達成しました。チームは、拡散 LLM の双方向モデリングと反復改良機能を活用して、オフライン データセットから最適な設計を発見する新しい手法 dLLM を開発しました。実験の結果、デザインベンチのベンチマークにおける少数ショット設定では、dLLM が既存の手法よりも大幅に優れたパフォーマンスを発揮することが明らかになりました。このブレークスルーは、ラベル付きデータの取得に費用がかかる DNA 配列設計やロボット工学などの領域における最適化問題に取り組むための新しいアプローチを提供します。
この研究では、タスク固有のプロキシまたは生成モデルに依存することが多い従来の BBO 手法の限界に対処することに焦点を当てました。これらの方法は限られたデータに苦戦しており、事前トレーニングされた LLM のコンテキスト内学習能力を十分に活用できません。科学者は、タスクの説明と自然言語プロンプトとしてフォーマットされたオフライン データセットに基づいて拡散 LLM を調整する、インコンテキスト ノイズ除去モジュールを導入しました。次に、拡散 LLM はマスクされた設計のノイズを繰り返し除去し、改善された候補に変換します。左から右に動作する自己回帰 LLM とは異なり、このプロセスが複雑な設計空間で重要な双方向の依存関係を効果的にキャプチャしていることが測定により確認されています。
パフォーマンスをさらに向上させるために、チームはマスクされた拡散ツリー検索を実装し、ノイズ除去プロセスを段階的なモンテカルロ ツリー検索として構成しました。検索ツリー内の各ノードは部分的にマスクされた設計を表し、各ノイズ除去ステップがアクションを構成します。候補者は、オフライン データセットでトレーニングされたガウス プロセスを通じて計算された、期待される改善を使用して評価されます。テストでは、探索と活用の動的なバランスが優れた設計の発見につながることが証明されています。この方法では、設計空間を体系的に探索し、有望な候補に優先順位を付けながら、あまり探索されていないオプションも考慮します。
結果は、dlLM が限られたオフライン データから効果的に学習し、オンライン評価を必要とせずに高性能の設計を生成することを示しています。チームは、期待される改善を報酬シグナルとして使用してパフォーマンスを測定し、この情報をツリーに伝播して検索戦略を改良しました。データは、コンテキスト内ノイズ除去とマスクされた拡散ツリー検索の組み合わせにより、BBO に対する拡散 LLM の可能性を最大限に引き出すことが示されています。この取り組みは、さまざまな科学および工学分野にわたって設計プロセスを自動化する刺激的な可能性をもたらし、創薬や材料科学などの分野でイノベーションを加速する可能性があります。
#拡散大規模言語モデルは限られたラベル付きデータでブラックボックス最適化を実現します