設計による持続可能性: AI におけるエネルギー効率の革新、パート 2

このブログのパート 1 で、サステナビリティへの取り組みに向けて当社がどのように進歩しているかについて詳しくご覧ください。 設計による持続可能性: AI におけるエネルギー効率の革新、パート 1。

当社は、クラウドと AI のイノベーションに対するお客様の取り組みを継続しながら、持続可能性の向上への取り組みを断固として続けます。 2030 年までにカーボンネガティブになるという当社の目標を達成するために重要なのは、電力とエネルギー効率を最前線に据えてクラウドと AI インフラストラクチャを再考することです。

当社は、二酸化炭素削減、カーボンフリー電力、二酸化炭素除去という 3 つの主要な柱を通じてカーボン ネガティブな目標を追求しています。炭素削減の柱の中で、電力効率とエネルギー効率は、当社および業界全体にとって、持続可能性の進歩の基礎となります。

「電力」と「エネルギー」という用語は一般に同じ意味で使用されますが、電力効率は電力使用量のピークの管理に関係するのに対し、エネルギー効率は時間の経過とともに消費される電力の総量を削減することに関係します。

この区別は、実際の効率のタイプにより、研究と応用の詳細にとって重要になります。エネルギー効率の例については、次のことを検討してみてください。 小規模言語モデル (SLM) 携帯電話上でローカルに実行できるパラメータが少なくなり、全体的な処理能力の使用量が少なくなります。電力効率を高めるには、電力効率を改善して利用可能な電力の利用率を向上させる方法を探すかもしれません。 ワークロード要件の予測。

データセンターからサーバー、シリコン、そしてコード、アルゴリズム、モデルに至るまで、ハイパースケール クラウドおよび AI インフラストラクチャ システム全体の効率を高めるには、システムのあらゆる部分の効率と、システム全体の動作方法を最適化する必要があります。私たちは大胆な新しいアイデアを模索し、世界的な研究コミュニティに貢献することを目指しているため、長年にわたり研究チームによって効率性における多くの進歩がもたらされました。このブログでは、有望な効率研究を研究室から商業運用にどのように持ち込んでいるかについて、いくつかの例を紹介したいと思います。

正確なリアルタイムの使用率データを取得するシリコンレベルの電力テレメトリ

当社は、電力テレメトリーをシリコンのレベルまで提供するという画期的な進歩を遂げ、電力管理において新たなレベルの精度を提供しました。チップ上の電力テレメトリはファームウェアを使用して、顧客のワークロードとデータの機密性を保ちながら、ワークロードの電力プロファイルを理解するのに役立ちます。これは、データセンター内で航空交通管制サービスを提供する管理ソフトウェアに通知し、ワークロードを最適なサーバー、プロセッサ、ストレージ リソースに割り当てて効率を最適化します。

AI データ形式の業界標準を推進するために協力して取り組む

シリコン内部では、アルゴリズムが入力データを取得し、定義された一連の手順に従ってそのデータを処理し、結果を生成することで問題を解決します。大規模言語モデル (LLM) は、膨大な量のデータを処理して言語のパターン、関係、構造を学習する機械学習アルゴリズムを使用してトレーニングされます。

Microsoft Copilot の簡略化された例: 子供に物語の書き方を教えることを想像してみてください。トレーニング アルゴリズムは、子供に与えるレッスンや演習のようなものです。モデルのアーキテクチャは子供の脳であり、物語を理解し、創造するように構造化されています。推論アルゴリズムは、新しい物語を書くときの子供たちの思考プロセスであり、評価アルゴリズムは、子供たちの文章を改善するために与える評価やフィードバックです。¹

アルゴリズムを最適化して効率を高める方法の 1 つは、実数を効率的に処理するために使用される特殊な数値表現である浮動小数点データ形式の精度を狭めることです。オープン コンピューティング プロジェクトと協力して、私たちは他の業界リーダーと協力して、 マイクロスケーリング フォーマット (MX) アライアンス AI のトレーニングと推論用に、次世代の 6 ビットおよび 4 ビットのデータ型を作成および標準化することを目標としています。

より狭いフォーマットにより、シリコンはクロック サイクルごとにより効率的な AI 計算を実行できるようになり、モデルのトレーニングと推論時間が短縮されます。これらのモデルは占有スペースが少ないため、メモリからフェッチする必要のあるデータが少なくなり、より優れたパフォーマンスと効率で実行できます。さらに、より少ないビットを使用すると、相互接続を介して転送されるデータが少なくなるため、アプリケーションのパフォーマンスが向上したり、ネットワーク コストが削減されたりする可能性があります。

位相分割による LLM 推論の効率の向上

研究では次のような可能性も示されています 大規模言語モデル (LLM) 推論への新しいアプローチ本質的に、LLM 推論の 2 つのフェーズを個別のマシンに分離し、それぞれがその特定のフェーズに適しています。フェーズのリソース要件の違いを考慮すると、一部のマシンは AI アクセラレータをアンダークロックしたり、古い世代のアクセラレータを利用したりすることもあります。現在の設計と比較して、この技術は同じ電力とコストの予算の下で 2.35 倍のスループットを実現できます。²

AI の効率性を高めるためのリソースをさらに詳しく調べて探索する

私たちは、自社の運用を再考することに加えて、より少ないリソースで同様の結果を達成できる AI モデルを開発者やデータ サイエンティストが構築および最適化できるように取り組んでいます。前述したように、小規模言語モデル (SLM) は、さまざまなタスクの微調整実験や、 小学校の数学の問題。

2024 年 4 月には、 Phi-3を発表しましたは、さまざまな言語、推論、コーディング、数学のベンチマークにわたって、同じサイズおよびより大きなサイズのモデルよりも優れたパフォーマンスを発揮する、オープンで高機能、コスト効率の高い SLM ファミリーです。このリリースでは、顧客向けの高品質モデルの選択肢が拡大され、生成 AI アプリケーションの構成と構築のための実用的な選択肢が提供されます。次に紹介したのは、 Phiファミリーの新モデルこれには、16 人の小規模な専門家を 1 つに結合した専門家の混合モデルである Phi-3.5-MoE と、Phi-35-mini が含まれます。これらのモデルはどちらも多言語対応で、20 以上の言語をサポートしています。

サステナビリティをどのように推進しているかについては、「Sustainable by design」ブログ シリーズを通じてご覧ください。 設計による持続可能性: AI の持続可能性の推進。

¹Copilot へのプロンプトからの抜粋: アルゴリズムが LLM にどのように関係するのか説明してください。

²Splitwise: 位相分割を使用した効率的な生成 LLM 推論、マイクロソフトリサーチ。