1745226689
2025-04-18 04:00:00
プログラマーは、大規模な言語モデル（LLM）を使用してコンピューターコードをより迅速に生成できるようになりました。ただし、このコードがプログラミング言語のルールに従い、コンピューターがクラッシュしない場合にのみ、プログラマーの生活が容易になります。
LLMがテキストを生成している言語のルールに適合するようにするためのいくつかの方法が存在しますが、これらの方法の多くは、モデルの意図された意味を歪めたり、複雑なタスクで実行可能には時間がかかりすぎています。
MITおよび他の場所の研究者によって開発された新しいアプローチは、LLMを自動的にガイドして、特定のプログラミング言語などの関連言語のルールを順守するテキストを生成し、エラーもありません。それらの方法により、LLMは、プロセスの早い段階での出力を破棄しながら、有効かつ正確である可能性が最も高い出力に努力を割り当てることができます。この確率的アプローチは、計算効率を高めます。
これらの効率性の向上により、研究者のアーキテクチャにより、小型LLMは、分子生物学やロボット工学を含むいくつかの現実世界のユースケースの正確で適切に構造化された出力を生成する際にはるかに大きなモデルを上回ることができました。
長い目で見れば、この新しいアーキテクチャは、nonexpertsがAIに生成されたコンテンツを制御するのに役立ちます。たとえば、ビジネスマンは、自然言語のプロンプトのみを使用して、データベース操作の言語であるSQLで複雑なクエリを書くことができます。
「この作業には、研究を超えた影響があります。プログラミングアシスタント、AIを搭載したデータ分析、科学的発見ツールを改善することができます。AI生成された出力の両方が有用で正しいことを確認することができます」
ルーラは、ミラ・ケベック人工知能研究所の研究助手であるベンジャミン・レブルンと、ジョン・ホプキンス大学の大学院生である李duが共同リードの作家であるベンジャミン・レブルンが紙に加えています。共同シニアの著者Vikash Mansinghka ’05、Meng ’09、PhD ’09、MIT脳および認知科学部の確率的コンピューティングプロジェクトの主要な研究科学者兼リーダー。イェール大学の助教授であるアレクサンダー・K・ルーSM ’20。 Ethチューリッヒのポスドク、ティムヴィエイラ。マクギル大学の准教授であり、ミラのカナダCIFAR AI議長であるティモシーJ.オドネルは、国際チームを率いていました。他のいくつかと同様に。この研究は、学習表現に関する国際会議で発表されます。
構造と意味の強制
LLMSによって生成された構造化されたテキストを制御するための1つの一般的なアプローチには、コンピューターコードのブロックなどの出力全体を確認して、有効でエラーがないことを確認することが含まれます。そうでない場合は、ユーザーが再び起動して、計算リソースを獲得する必要があります。
一方、プログラマーは途中で出力を確認するために停止できます。これにより、コードがプログラミング言語に準拠し、構造的に有効であることが保証されますが、コードを徐々に修正すると、ユーザーが意図した意味からドリフトし、長期的にその精度を傷つける可能性があります。
「意味よりも構造を強制する方がはるかに簡単です。何かが適切なプログラミング言語であるかどうかをすばやく確認できますが、その意味を確認するには、コードを実行する必要があります。私たちの作業は、これらのさまざまな種類の情報を扱うことでもあります」とLoula氏は言います。
研究者のアプローチでは、LLMへの知識を工学的に工学的に導き、最も有望な出力に向かって導きます。これらの出力は、ユーザーによって定義された構造的制約に従い、ユーザーが意図する意味を持つ可能性が高くなります。
「私たちはこれを行うためにLLMを訓練しようとはしていません。代わりに、専門家が持っている知識を実現し、それをLLMの知識と組み合わせています。
彼らは、LLMからの並行生成が相互に競争できるようにするシーケンシャルモンテカルロと呼ばれる手法を使用してこれを達成します。このモデルは、出力がどのように見えるかに基づいて、並列計算の異なるスレッドにリソースを動的に割り当てます。
各出力には、構造的に有効であり、意味的に正確である可能性を表す重みが与えられます。計算の各ステップで、モデルは重みが高い人に焦点を当て、残りを捨てます。
ある意味では、LLMには、全体的な目標に焦点を合わせながら、各ステップで正しい選択をすることを保証するために、LLMに肩越しに見ている専門家がいるようです。ユーザーは、希望する構造と意味、および出力を確認する方法を指定し、研究者のアーキテクチャがLLMをガイドして残りを行うように指定します。
「私たちはハード数学を解決しました。これにより、組み込みたいあらゆる種類の制約のために、適切な重みが得られるようになります。最終的には、正しい答えが得られます」とLoula氏は言います。
小さなモデルの向上
彼らのアプローチをテストするために、彼らは、Pythonコード、SQLデータベースクエリ、分子構造、およびロボットのフォローする計画の4種類の出力を生成することを任務とするLLMSにフレームワークを適用しました。
既存のアプローチと比較すると、研究者の方法は、より少ない計算が必要な間、より正確に実行されました。
たとえば、Pythonコード生成では、研究者のアーキテクチャにより、小規模なオープンソースモデルが、そのサイズの2倍以上の専門的な商用閉鎖モデルを上回ることができました。
「これらの小さなモデルが体重をはるかに上回ることができることを非常に興奮しています」とルーラは言います。
今後、研究者たちは、一度に1つの小さなピースを作業するのではなく、生成されたテキストのより大きなチャンクを制御するために自分の手法を使用したいと考えています。また、メソッドと学習を組み合わせたいので、モデルが生成する出力を制御すると、より正確になることが学習されます。
長期的には、このプロジェクトは非技術的なユーザー向けのより広範なアプリケーションを持つ可能性があります。たとえば、システムと組み合わせることができます 自動データモデリング、 そして データベースの生成モデルのクエリ。
このアプローチにより、機械支援データ分析システムが可能になります。ユーザーは、データの意味を正確にモデル化するソフトウェアとユーザーが尋ねた質問を正確にモデル化できるソフトウェアと会話できます。
「言語学の基本的な問題の1つは、単語、フレーズ、文の意味が世界のモデルにどのように基づいているか、意味と参照の不確実性と曖昧さを説明することであることです。LLMSは、トークンシーケンスの可能性を予測し、この問題に対処しないでください。言語学、および人工知能は、私たちのように、機械が世界についてどのようにコミュニケーションできるかを理解する必要がありました」とO’Donnell氏は言います。
この研究は、一部には、カナダCIFAR AIチェアプログラム、MITクエストフォーインテリジェンス、および収束研究によって資金提供され、サポートされています。
#AIに生成されたコードをあらゆる言語でより正確にする #MITニュース