La dernière génération de puces HBM (High Bandwidth Memory) - pour les cartes GPU et les puces pour serveurs qui équipent les centres de données IA - annoncées par SK Hynix améliore la dissipation thermique en intégrant une couche de refroidissement au sein même du module mémoire. Les processeurs intégrant cette mémoire pourraient fonctionner plus rapidement ou faire baisser les coûts de refroidissement. Les architectures traditionnelles de refroidissement des puces sont en grande partie externes (dissipateur thermique, ventilateur, plaque pour refroidissement liquide...). La dissipation thermique se produit après que la chaleur a quitté le module mémoire. Pour la HBM, qui empile verticalement les puces mémoire les unes sur les autres afin d’améliorer la latence et la capacité, la chaleur supplémentaire générée est devenue une contrainte de conception majeure. Prévu pour les produits HBM5 de nouvelle génération de la société, dont le lancement est attendu à partir de 2029, le module de mémoire haute bande passante intégrée (iHBM) de SK Hynix adopte une approche radicalement différente en intégrant le refroidissement directement dans la couche physique Die-to-Die (D2D PHY). Il s'agit de l'interface physique reliant la HBM et le GPU, où la chaleur est concentrée. Dans l'iHBM, cette interface devient un nouveau « chemin de dissipation thermique » pour les éléments de refroidissement intégrés (Integrated Cooling Elements ou ICE), avec pour effet une réduction de la chaleur de 30 %, selon les estimations de l'entreprise.

Cette infographie de SK Hynix montre comment la technologie iHBM évacue la chaleur du point le plus chaud à l'intérieur de la puce. (Crédit SK hynix) 

Il n’y a pas si longtemps, les innovations dans la mémoire et le refroidissement auraient été considérées comme un simple détail dans le secteur des infrastructures principalement focalisé sur les performances des processeurs. Mais alors que les performances des processeurs pour serveurs ont connu une croissance rapide au cours de la dernière décennie, la conception de la mémoire et la capacité à la refroidir au sein des systèmes de calcul haute performance (HPC) sont devenues un enjeu majeur. Fabriqués à partir de silicium spécifique, les modules ICE intégrés aux modules mémoire simplifient la vie des fournisseurs de serveurs. Si l'iHBM parvient à réduire la dissipation thermique de 30 %, cela signifie que les modules HBM disposeront d'une plus grande marge de manœuvre avant d'atteindre les limites de température qui ralentissent les performances.

Boom de la HBM 

L'importance de la mémoire dans l'essor des centres de données IA est désormais si fondamentale que des chiffres récents de l'organisme de prévision Epoch AI ont révélé qu'entre le premier trimestre 2024 et le quatrième trimestre 2025, la part de la HBM dans l'ensemble des dépenses en composants de puces IA est passée de 52 à 63 %. Ces chiffres montrent à quel point l'IA a bouleversé des décennies d'hypothèses sur les performances IT. Avec l'IA, c'est le volume de données qui devient critique, et non plus simplement la vitesse à laquelle elles peuvent être traitées. D’élément secondaire, la mémoire est devenue une préoccupation majeure pour tous les architectes de centres de données. En comparaison avec la HBM, Epoch AI a noté que les accélérateurs, comme les GPU de Nvidia par exemple, ont légèrement reculé, passant de 14,2 à 12,9 % des dépenses sur la même période. La demande en IA a eu pour effet d'inciter les fabricants de semi-conducteurs à privilégier la HBM au détriment d'autres types de mémoire, comme la DDR5, entraînant des pénuries pour les fabricants d'équipements IT. En mars, Chey Tae-won, président du groupe SK, a noté que la demande en matériel destiné à l'IA avait dépassé l'offre d'une manière qui s'apparentait davantage à un changement structurel à long terme qu'à un phénomène conjoncturel. Epoch AI estime que ce boom de la demande en HBM est loin d'être terminé. « La HBM devrait représenter une part encore plus importante en 2026, car l'offre de mémoire reste limitée et les prix augmentent », a-t-il avancé.

Cependant, la HBM n'est pas la seule solution sur le marché. En février, Intel a annoncé un partenariat avec Softbank pour développer une alternative, la Z-Angle Memory (ZAM), également basée sur un empilement des modules mémoire les uns sur les autres, avec une date de livraison prévue vers 2030. Pour les concepteurs et les clients de centres de données IA, chaque avancée est une bonne nouvelle à un moment où les attentes toujours plus fortes en matière de performances mettent le secteur sous pression. L'amélioration de la dissipation thermique, et leur mise en œuvre dans les délais, pourraient s'avérer être un facteur décisif. « L'iHBM est une solution optimale pour la gestion thermique, combinant nos capacités de conception de mémoire avec une technologie d'encapsulation avancée », a déclaré Kangwook Lee, vice-président senior du développement PKG chez SK Hynix.