GPU 上の HBM: 熱に関する課題と解決策

AMD や Nvidia の最先端の AI 製品のパッケージの中を覗くと、見慣れた配置が見つかるでしょう。GPU の両側には、入手可能な最先端のメモリ チップである高帯域幅メモリ (HBM) が配置されています。これらのメモリ チップは、AI コンピューティングにおける最大のボトルネックであるメモリからロジックに毎秒数十億ビットを取り込む際のエネルギーと遅延を削減するために、それらが機能するコンピューティング チップのできるだけ近くに配置されています。しかし、GPU の上に HBM を積み重ねることによって、コンピューティングとメモリをさらに近づけることができるとしたらどうでしょうか?

Imec は最近、高度な熱シミュレーションを使用してこのシナリオを検討しましたが、12 月に 2025 IEEE International Electron Device Meeting (IEDM) で発表された答えは少し厳しいものでした。 3D スタッキングにより GPU 内の動作温度が 2 倍になり、動作不能になります。しかし、Imec のジェームス・マイヤーズ率いるチームはただ諦めたわけではありません。彼らは、最終的に温度差をほぼゼロまで削減できるいくつかのエンジニアリングの最適化を特定しました。

Imec は、いわゆる 2.5D パッケージ内の GPU と、現在よく見られる 4 つの HBM ダイの熱シミュレーションから開始しました。つまり、GPU と HBM は両方ともインターポーザーと呼ばれる基板上に、それらの間の距離を最小限にして配置されます。 2 種類のチップは、インターポーザーの表面に組み込まれた数千のマイクロメートルスケールの銅相互接続によって接続されています。この構成では、モデル GPU は 414 ワットを消費し、プロセッサとしては一般的な 70 °C 未満のピーク温度に達します。メモリ チップはさらに 40 W 程度を消費し、発熱が若干低くなります。熱は、新しい AI データ センターで一般的になっている種類の液体冷却によってパッケージの上部から除去されます。

関連: 将来のチップスはこれまで以上に熱くなります

Imec の上級研究員である Yukai Chen 氏は、「このアプローチは現在使用されていますが、特に GPU の両側をブロックし、パッケージ内の将来の GPU 間の接続を制限するため、将来的にはうまく拡張できません。」と Imec の上級研究員 Yukai Chen 氏は IEDM のエンジニアに語った。対照的に、「3D アプローチは、より高い帯域幅とより低いレイテンシをもたらします。最も重要な改善はパッケージのフットプリントです。」

残念なことに、Chen 氏と彼の同僚が発見したように、単純に HBM チップを GPU の上に置き、中央の隙間を埋めるために空のシリコンのブロックを追加するという最も単純なスタック方式では、GPU の温度が 140 °C に達し、一般的な GPU の限界である 80 °C をはるかに超えていました。

システムテクノロジーの協調最適化

Imec チームは、温度を下げることを目的として、多くのテクノロジーとシステムの最適化を試み始めました。彼らが最初に試みたのは、不要になったシリコン層を廃棄することでした。その理由を理解するには、まず HBM が実際に何であるかを理解する必要があります。

この形式のメモリは、12 個もの高密度 DRAM ダイのスタックです。それぞれを数十マイクロメートルまで薄くし、垂直接続で貫通させます。これらの薄くされたダイは互いに積み重ねられ、小さなはんだボールによって接続され、このメモリのスタックはベース ダイと呼ばれる別のシリコン片に垂直に接続されます。ベース ダイは、データを多重化し、GPU までのミリメートル スケールのギャップに収まる限られた数のワイヤにデータを詰め込むように設計されたロジック チップです。

しかし、HBM が GPU の上に搭載されたため、そのようなデータ ポンプは必要ありません。チップの側面に沿って何本のワイヤが偶然収まるかに関係なく、ビットはプロセッサに直接流れることができます。もちろん、この変更はメモリ制御回路をベースダイから GPU に移動し、したがってプロセッサのフロアプランを変更することを意味するとマイヤーズ氏は言います。しかし、GPU は受信メモリ データを逆多重化するために使用される回路を必要としないため、十分な余地があるはずだと同氏は示唆しています。

関連: チップスの熱い、熱い未来

この記憶の仲介者を削除したことで、温度はわずか 4 ℃ 弱下がりました。しかし重要なのは、メモリとプロセッサ間の帯域幅が大幅に向上することです。これは、チームが試みた別の最適化、つまり GPU の速度低下にとって重要です。

これは、AI コンピューティングの向上という目的全体に反するように思えるかもしれませんが、この場合は利点です。大規模な言語モデルは、いわゆる「メモリ制約」問題です。つまり、メモリ帯域幅が主な制限要因となります。しかし、マイヤーズ氏のチームは、GPU 上で HBM を 3D スタッキングすると帯域幅が 4 倍に増加すると推定しました。ヘッドルームが追加されると、GPU のクロックを 50% 遅くしてもパフォーマンスが向上し、同時にすべての温度が 20 °C 以上下がります。実際には、プロセッサの速度をそれほど遅くする必要はないかもしれません。マイヤーズ氏によると、クロック周波数を 70% に高めた結果、GPU の温度はわずか 1.7 °C 上昇しただけでした。

最適化されたHBM

さらに大きな温度低下は、HBM スタックとその周囲の領域の導電性を高めたことによってもたらされました。これには、4 つのスタックを 2 つの幅の広いスタックに統合し、それによって熱が閉じ込められる領域を排除することが含まれていました。スタックの上部のダイを薄くします (通常は厚くします)。そして、より多くの熱を伝導するために、HBM の周囲のより多くのスペースをシリコンのブランク片で埋めます。

これらすべてにより、スタックは約 88 °C で動作するようになりました。最後の最適化により、温度は 70 °C 近くに戻りました。一般に、チップの熱の約 95% はパッケージの上部から除去されます。この場合、水が熱を運び去ります。しかし、下側にも同様の冷却を追加すると、積層されたチップの温度は最終的に 17 °C 下がりました。

IEDM で発表された調査では、それが可能である可能性があることが示されていますが、HBM-on-GPU が必ずしも最良の選択であるとは限りません、と Myers 氏は言います。 「私たちは、これが最良の選択であるかどうかを確信できるよう、他のシステム構成をシミュレーションしています」と彼は言います。 「GPU-on-HBM は、GPU を冷却に近づけるため、一部の業界で関心を集めています。」ただし、GPU の電力とデータが HBM に到達するには、HBM を垂直に流れる必要があるため、より複雑な設計になる可能性があります。