科学＆テクノロジー

複雑な調整システムを最適化する新しい方法を設計する| MITニュース

複雑なインタラクティブシステムの調整は、都市のさまざまな輸送モードであろうと、効果的で効率的なロボットを作成するために協力しなければならないさまざまなコンポーネントであろうと、ソフトウェアデザイナーが取り組むためにますます重要なテーマです。現在、MITの研究者は、これらの複雑な問題にアプローチするまったく新しい方法を開発し、ディープラーニングモデルのソフトウェア最適化に対するより良いアプローチを明らかにするツールとして簡単な図を使用しています。彼らは、新しい方法により、これらの複雑なタスクに対処することで、ナプキンの背面に収まる図面に還元できると述べています。新しいアプローチについては、ジャーナルに記載されています 機械学習研究の取引、博士課程の博士課程のヴィンセント・アボットと、情報と意思決定システム（蓋）の研究室のジョーレ・ザルディーニ教授による論文で。「これらの新しいシステムについて話すために新しい言語を設計しました」とZardini氏は言います。この新しい図ベースの「言語」は、カテゴリ理論と呼ばれるものに大きく基づいていると彼は説明します。それはすべて、コンピューターアルゴリズムの基礎となるアーキテクチャの設計に関係しています。これは、最適化されているシステムのさまざまなさまざまな部分を実際に検知および制御するプログラムです。 「コンポーネントはアルゴリズムの異なる部分であり、互いに話し合い、情報を交換するだけでなく、エネルギーの使用、メモリの消費なども説明する必要があります。」このような最適化は、システムの1つの部分の変更が他の部分に変化を引き起こす可能性があるため、他の部分にさらに影響を与える可能性があるため、このような最適化は困難であることで有名です。研究者は、現在研究のホットなトピックである特定のクラスの深部学習アルゴリズムに焦点を当てることにしました。ディープラーニングは、ChatGPTなどの大規模な言語モデルやMidjourneyなどの画像生成モデルを含む、大規模な人工知能モデルの基礎です。これらのモデルは、他の操作と散在する「深い」マトリックス乗算シリーズによってデータを操作します。マトリックス内の数値はパラメーターであり、長いトレーニングの実行中に更新され、複雑なパターンを見つけることができます。モデルは数十億のパラメーターで構成されているため、計算が高価であるため、リソースの使用と最適化が非常に貴重になりました。図は、ディープラーニングモデルが構成している並列化された操作の詳細を表し、アルゴリズムと並列化されたグラフィックス処理ユニット（GPU）ハードウェアとの関係を明らかにし、NVIDIAなどの企業が提供します。 「私はこれに非常に興奮しています」とZardini氏は言います。「私たちは、あなたが使用する演算子であるすべての重要なものを明示的に表現する深い学習アルゴリズムを非常にうまく説明している言語を見つけたようです。深い学習内の進歩の多くは、リソースの効率の最適化に起因しています。最新のDeepSeekモデルは、リソースの効率とソフトウェアとハードウェアの関係に焦点を当てることにより、小さなチームがOpenAIやその他の主要なラボのトップモデルと競合できることを示しました。通常、これらの最適化を導き出す際に、彼は「人々は新しいアーキテクチャを発見するために多くの試行錯誤が必要です」と言います。たとえば、Flashattentionと呼ばれる広く使用されている最適化プログラムは、開発に4年以上かかったと彼は言います。しかし、彼らが開発した新しいフレームワークにより、「私たちはこの問題にもっと正式な方法でアプローチすることができます」。そして、これらはすべて、正確に定義されたグラフィカル言語で視覚的に表されます。しかし、これらの改善を見つけるために使用された方法は「非常に限られています」と彼は言います。 「これは、アルゴリズムを最適な実行に関連付ける正式な体系的な方法がないという点で、または実行するのに必要なリソースの数を本当に理解していないという点で、大きなギャップがあることを示していると思います。」しかし今、彼らが考案した新しい図ベースの方法で、そのようなシステムが存在します。このアプローチの根底にあるカテゴリ理論は、システムのさまざまなコンポーネントと、それらが一般化された抽象的な方法でどのように相互作用するかを数学的に説明する方法です。さまざまな視点が関連する可能性があります。たとえば、数式は、それらを実装してリソースを使用するアルゴリズムに関連している場合があります。システムの説明は、堅牢な「モノイド文字列図」に関連しています。これらの視覚化により、さまざまな部分がどのように接続して対話するかを直接遊んで実験することができます。彼らが開発したものは、「ステロイドの文字列図」に相当し、より多くのグラフィカルな規則とさらに多くの特性が組み込まれています。「カテゴリー理論は、抽象化と構成の数学と考えることができます」とアボットは言います。 「すべての構成システムは、カテゴリ理論を使用して説明でき、構成システム間の関係も研究できます。」通常、関数に関連付けられている代数規則は、図として表すこともできます、と彼は言います。 「次に、図でできる視覚的なトリックの多くは、代数のトリックと機能に関連することができます。したがって、これらの異なるシステム間にこの対応を作成します。」その結果、彼は、「これは非常に重要な問題を解決します。つまり、これらの深い学習アルゴリズムがあるが、数学モデルとして明確に理解されていないことです。」しかし、それらを図として表現することにより、正式かつ体系的にそれらにアプローチすることが可能になると彼は言います。これが可能にすることの1つは、マルチコアコンピューターGPUの並列処理によって平行な実世界プロセスを表現できる方法についての明確な視覚的理解です。 「このようにして、図は関数を表すことができ、GPUでそれを最適に実行する方法を明らかにすることができます。」「注意」アルゴリズムは、一般的なコンテキスト情報を必要とする深い学習アルゴリズムで使用され、ChatGPTなどの大規模な言語モデルを構成するシリアル化されたブロックの重要なフェーズです。 Flashattentionは、開発に何年もかかった最適化ですが、注意アルゴリズムの速度が6倍改善されました。Zardiniは、確立されたフラッシュ放送アルゴリズムにその方法を適用して、「ここでは文字通り、ナプキンで導き出すことができる」と述べています。それから彼は、「OK、多分それは大きなナプキンだ」と付け加えます。しかし、彼らの新しいアプローチがこれらの複雑なアルゴリズムへの対処をどれだけ単純化できるかについてのポイントを駆り立てるために、彼らは作品に関する正式な研究論文「ナプキンのフラッシュティンション」を称えました。この方法は、「一般的な方法とは対照的に、最適化を非常に迅速に導き出すことができる」とアボットは述べています。彼らは最初にこのアプローチをすでに既存のフラッシュ放送アルゴリズムに適用し、その効果を検証しましたが、「今、この言語を使用して改善の検出を自動化したいと考えています」と、Lidsの主任研究者であることに加えて、Civil and Environmental EngineeringのRudge and Nancy Allen助教授であり、Sociationの協会で協力しています。計画は、最終的には、「研究者がコードをアップロードし、新しいアルゴリズムを使用すると、改善できるもの、最適化できるものを自動的に検出し、ユーザーに最適化されたバージョンを返す」という点までソフトウェアを開発するということです。アルゴリズムの最適化の自動化に加えて、Zardiniは、ハードウェアリソースの使用量に深い学習アルゴリズムがどのように関係するかを強く分析することで、ハードウェアとソフトウェアの体系的な共同設計を可能にすることを指摘しています。この一連の作業は、Zardiniがカテゴリの共同設計に焦点を当てていることと統合されています。カテゴリの共同設計は、カテゴリ理論のツールを使用して、エンジニアリングシステムのさまざまなコンポーネントを同時に最適化します。アボットは、「最適化されたディープラーニングモデルのこの全体の分野は、非常に批判的に非難されていないと思います。それが、これらの図がとてもエキサイティングです。彼らはこの問題への体系的なアプローチへの扉を開きます。」「この研究の質に非常に感銘を受けました。...この論文で使用される深い学習アルゴリズムを図式化するための新しいアプローチは、非常に重要なステップになる可能性があります」 「この論文は、現実世界のハードウェア上の深い学習アルゴリズムのパフォーマンスを深く分析するために使用されるこのような表記を見たのは初めてです。...次のステップは、実際のパフォーマンスの向上を達成できるかどうかを確認することです。」「これは美しく実行された理論的研究であり、この種の論文ではめったに見られない特性である、この作業に関連していないケンブリッジ大学の講師であるPetar Velickovic氏は、次のように述べています。これらの研究者は、「明らかに優れたコミュニケーターであり、彼らが次に思いついたものを見るのを待つことができません！」と彼は言います。オンラインで投稿された新しい図ベースの言語は、すでにソフトウェア開発者から大きな注目と関心を集めています。図を紹介したアボットの以前の論文のレビュアーは、「提案された神経回路図は、芸術的な観点から（私がこれを判断できる限り）見栄えがよく」と述べました。 「それは技術的な研究ですが、派手です！」ザルディーニは言う。 #複雑な調整システムを最適化する新しい方法を設計する #MITニュース