クレジット: Rachel Voigt、ミシガン州エンジニアリング。
ミシガン大学の新しい研究によると、GPT シリーズのような大規模な言語モデルをトレーニングする無駄の少ない方法は、同じ時間で完了し、エネルギーも最大 30% 削減できます。
ウェルズ・ファーゴの AI 電力需要予測に基づくと、このアプローチにより、2026 年には米国の 110 万世帯に電力を供給するのに十分なエネルギーが節約される可能性があります。また、2027年までにデータセンターが世界の二酸化炭素排出量の1.2%を占める可能性があるという国際通貨基金の予測、そしてそのエネルギー使用に伴う水需要にも影響を与える可能性がある。
一部の専門家は、これらのコストが環境上の利点を上回る可能性があると述べています。彼らは、AIがサプライチェーンと送電網を最適化し、エネルギー需要を管理し、気候変動に関する研究を改善する方法を特定することで、気候変動と戦うための「ゲームチェンジャー」になる可能性があると主張している。それでもエネルギーの浪費が許されるわけではなく、AI のトレーニングに使用される電力の一部はトレーニング時間やモデルの精度にまったく影響を与えません。
「意味がないのになぜお金を使うのですか？」コンピューターサイエンスおよびエンジニアリングの准教授であり、この学会で発表された研究の責任著者であるモシャラフ・チョードリー氏はこう述べた。 第30回オペレーティングシステム原則に関するシンポジウム 先週の月曜日。
「データセンターを運営する力がなくなるため、ますます大規模なデータセンターを建設し続けることはできません」とチョードリー氏は述べた。 「AI が消費するエネルギーを削減できれば、AI の二酸化炭素排出量と冷却要件を削減でき、現在のエネルギー制約内でより多くの計算を行うことが可能になります。」
AI トレーニングが GPU 間で不均等に分割されると、エネルギーの無駄が発生します。GPU は、大規模なデータおよびグラフィックス アプリケーションに特化したコンピューター プロセッサです。無駄が生じる可能性はありますが、巨大なデータセットを処理するには作業を分割することが必要です。
「今日の AI モデルは非常に大きく、単一のコンピューター プロセッサーには収まりません」と、コンピューター科学および工学の博士課程の学生であり、この研究の筆頭著者である Je-Won Chung 氏は述べています。 「トレーニングするにはモデルを数万のプロセッサに分割する必要がありますが、モデルをすべてのプロセッサにわたって完全に同じサイズに分割することは事実上不可能です。」
一部のタスクは同じプロセッサ上でグループ化する必要があるため、トレーニング ジョブを均等に分割するのは非常に困難です。これは、書籍シリーズの各回を整理された棚にグループ化する方法と同様です。タスクがどのようにグループ化されているかによっては、一部のプロセッサーはブリタニカ百科事典に相当する AI トレーニングに行き詰まる可能性があり、他のプロセッサーにはファンタジー 3 部作が割り当てられる可能性があります。
現在のトレーニング方法では各プロセッサが最高速度で実行されるため、負荷の軽いプロセッサは他のプロセッサよりも前に計算を完了します。すべてのプロセッサがジョブを完了するまでトレーニングは完了しないため、これによってトレーニングが高速化されることはありませんが、より高速な計算にはより多くのエネルギーが必要となるため、無駄です。さらに、ハードウェアの障害やネットワークの遅延などの問題により、単一プロセッサの計算速度が低下し、エネルギーの無駄が生じます。
エネルギーを節約するために、研究者たちはソフトウェアツールを開発しました ペルセウスと呼ばれる クリティカル パス、つまり完了までに最も長い時間がかかる一連のサブタスクを特定します。次に、Perseus はクリティカル パス上にないプロセッサの速度を下げ、すべてのプロセッサがほぼ同時にジョブを完了するようにし、不必要な電力の使用を排除します。
「AI の電力コストの削減は、AI への公平なアクセスに重要な影響を与える可能性があります」とチョードリー氏は述べています。 「国に大規模なモデルを実行するのに十分な力がない場合、遠く離れた場所からサービスを利用する必要があるか、小規模で精度の低いモデルの実行に行き詰まる可能性があります。このギャップにより、異なるコミュニティ間の格差がさらに永続化する可能性があります。」
チームは、GPT-3、他の 3 つの大きな言語モデル、および 1 つのコンピューター ビジョン モデルをトレーニングすることでペルセウスをテストしました。
Perseus は、の一部として利用できるオープンソースのツールです。 ゼウス、AI のエネルギー消費を測定および最適化するためのツールです。
引用: AI のトレーニングに使用される電力の最大 30% が無駄になっています: ソフトウェア ツールはその修正に役立つ可能性があります (2024 年 11 月 7 日) (2024 年 11 月 7 日取得)
この文書は著作権の対象です。個人的な研究や研究を目的とした公正な取引を除き、書面による許可なしにいかなる部分も複製することはできません。コンテンツは情報提供のみを目的として提供されています。
#ソフトウェアツールがそれを解決するのに役立つかもしれない