Pourquoi l'IA ramène le hardware sur le devant de la scène

Comme l’a rappelé Alex Cho, président personal systems chez HP (remplacé depuis par Ketan Patel), lors de sa conférence qui s’est tenu en juin dernier au château de Versailles, les PC IA offrent à l’utilisateur plus de puissance pour mieux profiter des outils IA et plus de productivité car l’usage de l’IA apporte de la simplification dans les tâches du quotidien. Ce discours n’est pas sans nous rappeler celui qui vantait le mérite des instructions MMX dans les processeurs Pentium en 1998 pour venir en soutien de la généralisation du multimédia dans nos machines. Depuis quelques mois, Intel, AMD, Qualcomm, Apple ou encore le taiwanais MediaTek multiplient les annonces de puces boostées à l’IA, notamment avec l’intégration de ces fameux NPU qui déchargent le CPU dans le traitement de l’IA comme le faisaient en quelque sorte les instructions MMX pour le multimédia. Aujourd’hui, de nombreux processeurs pour les PC IA embarquent un NPU (Neural Processing Unit) ou l’équivalent pour traiter les inférences IA rapides comme la transcription audio en temps réel, les effets vidéo ou la génération de texte. Ces NPU peuvent offrir en moyenne jusqu’à 80 Tops (trillions opérations par seconde) pour l’inférence IA, le Tops étant une mesure (nombre d'opérations exécutables en une seconde) de référence sur la vitesse d'un NPU. 

Chez AMD, le NPU est embarqué dans ses Ryzen AI Pro 300 pour les notebooks et fournit jusqu’à 50 Tops (cœur XDNA 2). Ces Ryzen intègrent aussi la partie graphique AMD RDNA 3.5. Pour les PC de bureau, la dernière gamme de puces Ryzen Pro série 9000 n’intègre pas en soi de NPU mais est, selon le fondeur, optimisée pour l’IA par des technologies dédiées (boost overdrive, Rysen Master, Expo, accélération AVX512/VNNI) qui permettent d’augmenter les performances en agissant sur l’overcloking ou encore la mémoire. Dans cette série, le modèle haut de gamme, le Ryzen 9 9950X3D, embarque par exemple 16 cœurs (32 threads) et 144 Mo de mémoire cache grâce à la deuxième génération de la technologie AMD 3D V-Cache. Cette dernière consiste à empiler des couches supplémentaires de cache L3 les unes sur les autres placées directement sous les cœurs du processeur, créant ainsi une plus grande capacité. « Notre technologie AMD 3D V-Cache offre une résistance thermique, des vitesses d'horloge et des performances de niveau supérieur », précise d’ailleurs Julien Ruiz, directeur des ventes Europe du Sud chez AMD. Chez son concurrent Intel, le NPU se trouve aujourd’hui dans les processeurs Core Ultra de deuxième génération (Lunar Lake) pour les laptops qui se décline, selon Jean-Laurent Philippe, CTO d’Intel EMEA, en quatre familles : la série HX pour les plus performants, la série H pour les modèles du quotidien, la série V pour ceux qui intègrent les plus gros NPU (jusqu'à 48 Tops) et la série U pour les ultrabooks. « Toutes ces gammes de processeurs se distinguent par leurs performances mais aussi par leur consommation énergétique réduite, ce qui rend les notebooks bien plus autonomes », tient à préciser le porte-parole d’Intel. A cela, Intel propose la série S pour les PC de bureau intégrant un NPU. D’ores et déjà, le fondeur prépare la prochaine génération, la troisième, nommée Panther Lake à en croire le directeur technique, laquelle serait plus performante avec des fonctionnalités supplémentaires pour le traitement de l’IA, sans donner pour l’heure plus de détails. « Ces processeurs seront produits en fin d’année dans notre usine de l’Oregon avec un processus de fabrication 18A qui améliore notamment la densité », souligne Jean-Laurent Philippe.  

Quelques outsiders face aux deux acteurs historiques 

Dans cette bataille des deux géants des puces X86 pour PC (dont près de 70 % pour Intel selon les données de Mercury Research pour l’année 2024) se mêle encore timidement Qualcomm et son architecture Snapdragon X à base d’Arm pour les PC portables. Avec ses 12 cœurs intégrés, son GPU Adreno et son NPU Hexagon et ses 45 Tops, cette plateforme a su s’imposer chez les principaux fabricants de notebboks de Lenovo à HP en passant par Dell et Asus. D’ores et déjà, Qualcomm a dévoilé la deuxième génération de Snapdragron qui embarque jusqu’ à 18 cœurs Oryon et qui serait gravée en 4 ou en 3 nm par TSMC. De son côté, le taiwanais MediaTek tente aussi de s’affirmer sur ce marché des PC portables avec ses derniers processeurs Kompanio Ultra 910, toujours à base d’Arm, Lenovo a d’ailleurs équipé son denier Chromebook Plus de cette puce. Techniquement, le Kompanio Ultra, fabriqué en 3 nm, possède 8 cœurs (un cœur Arm Cortex X925 cadencé à 3,62 GHz, trois cœurs Arm Cortex X4 et quatre cœurs Arm Cortex A720) associés à un NPU (MediaTek 890), lequel procure 50 Tops en termes de performance, et à un GPU Immortalis-G925 à 11 cœurs capable d'effectuer du ray-tracing et d’afficher sur trois écrans 4K à 60 Hz. Nvidia, le maître du GPU, travaille aussi à proposer des puces à base d’Arm à destination des PC IA dont le lancement serait prévu à la fin de cette année. N’oublions pas enfin Apple qui a su imposer dans ses Macbook Pro ses propres puces Silicium sur base Arm. D’ailleurs, les plus performantes des puces M5, toujours gravées en 3 nm, intègrent même un CPU à 10 cœurs, et le GPU de nouvelle génération intègre 10 unités de traitement avec une innovation notable : un accélérateur neuronal dans chaque unité GPU. A noter que les processeurs M5 prennent en charge jusqu’à 32 Go de mémoire unifiée seulement - qui permet un accès partagé et simultané aux données entre le CPU et le GPU - et offrent jusqu’à 153 Go/s de bande passante mémoire. 

Cette lutte acharnée autour des PC IA se reproduit aussi sur le marché des serveurs, l’objectif étant là aussi de répondre aux charges IA de plus en plus présentes avec des CPU plus performants mais pour des worklaods IA encore plus exigeants, les GPU (voir partie sur la guerre des GPU) constituent le choix idéal. Concentrons-nous dans cette partie sur les CPU où deux mondes s’opposent : les processeurs X86 d’un côté et les puces à base d’Arm de l’autre, lesquelles sont surtout reconnues pour être plus économes en énergie. Dans le monde des CPU X86, AMD et ses Epyc et Intel avec ses Xeon 6 dominent ce marché, le premier continuant même de prendre des parts de marché à Intel. Techniquement, les AMD Epyc 9005 de 5e génération sont les modèles de référence pour l’IA, ils offrent un débit d'inférence jusqu'à 2 fois supérieur à ceux de la génération précédente. Le haut de gamme, l’Epyc 9965, compte même 192 cœurs associés à un cache de 384 Mo. « Nous proposons aussi les processeurs AMD Epyc 8004 optimisés pour le rapport performance/watt, favorisant des solutions écoénergétiques dans des environnements contraints, tels que les télécommunications, le cloud, le stockage et la périphérie. De plus, la série Epyc 4005 est une solution d'entrée de gamme idéale pour les entreprises en croissance et l'hébergement dédié », ajoute Julien Ruiz, directeur des ventes Europe du Sud chez AMD. Concernant l'avenir, AMD a récemment présenté en avant-première sa prochaine génération de processeurs, baptisée Venice. Le lancement est prévu en 2026, avec un nombre de cœurs pouvant atteindre 256 et visant une amélioration des performances jusqu’à 1,7 fois par rapport à la génération précédente.  

Face à AMD, Intel aligne son Xeon 6 qui se décline en sous-ensembles avec les P-Cores axés sur les performances et les E-Cores sur l’efficacité et qui ne sont pas optimisés pour l’IA. Les Xeon 6 P-Cores n’intègrent pas de NPU, mais les instructions AMX (Advanced Matrix Extensions) qui font office d’accélérateurs pour l’inférence et l’entrainement des LLM. Par exemple, l’un des Xeon 6 le plus puissant est le modèle 6980 P-Cores doté de 128 cœurs et 12 canaux et comme les plateformes viennent souvent en bi-socket, les performances sont doublées.  

La montée en puissance d’Arm et de ses dérivés 

Face à eux, les ventes des puces Arm augmentent significativement, selon IDC, les serveurs basés sur cette architecture représenteront 21,1 % du total des expéditions mondiales cette année. Elles sont essentiellement portées par Nvidia, Qualcomm, Ampere, Google, AWS, sans oublier Microsoft. Déjà Ampere, la société a récemment présenté sa feuille de route autour de ses puces AmpereOne (gravées en 3 nm chez TSMC) avec une augmentation du nombre de cœurs (256 aujourd’hui et, en fin d’année, une vision à 512 cœurs plus un accélérateur IA intégré dans sa future puce Aurora). A noter qu’Ampere a été racheté en mars dernier par Softbank, le propriétaire du fondeur britannique Arm. C’est d’autant plus pertinent pour Arm qui souhaite lancer ses propres puces pour les serveurs. Quant à Microsoft avec ses Cobalt, AWS avec ses Graviton et Google avec ses Axion, tous exploitent également un design Arm. Google Cloud affirme même que ses instances Axion offrent des performances globales supérieures par rapport aux instances comparables avec des puces x86 avec un gain jusqu’à 50 % sur les performances et 60 % en efficacité énergétique. En interne, Google utilise notamment ses Axion pour déployer des services comme BigTable, Spanner, BigQuery, Blobstore, Pub/Sub, Google Earth Engine ou encore la plateforme YouTube Ads. Quant à AWS, par rapport à la génération Graviton 3 précédente, le Graviton 4 améliore significativement les performances, avec une puissance de calcul accrue de 30 % (50 % de cœurs en plus et 75 % de bande passante mémoire en plus). Les dernières instances Graviton 4, appelées R8g, prennent en charge jusqu'à 8 Go de mémoire par processeur virtuel et jusqu'à 192 processeurs. Enfin, concernant la puce Cobalt 100 de Microsoft, elle est dotée de 128 cœurs et a été conçue sur l'architecture Arm Neoverse CSS. 

Le GPU est la pierre angulaire dans le traitement des modèles IA, sans sa présence pas d’IA à grande vitesse telle que nous la connaissons aujourd’hui. Dans ce domaine, Nvidia est l’acteur incontournable, le concepteur de ses puces détient un quasi-monopole sur ce marché, soit 90 % dans les serveurs selon IDC et même 92 % de parts de marché pour les cartes graphiques desktop selon le cabinet Jon Peddie Research. De plus, Nvidia fait la différence avec son écosystème logiciel notamment le kit d’outils Cuda qui fournit un environnement complet dédié à la création d’applications. Une telle domination laisse donc très peu de place à la concurrence, la demande des derniers GPU Blackwell B300 et GB200 est très soutenue, par exemple, Oracle va acheter 400 000 GPU GB200 (100 000 dollars par puce GB200) pour son datacenter d'Abilene au Texas (lien vers https://www.lemondeinformatique.fr/actualites/lire-oracle-securise-le-datacenter-d-openai-en-commandant-pour-40-md$-de-gpu-nvidia-96961.html). Le GPU, c’est l’ADN de Nvidia et il est très en avance techniquement. Par exemple, sa super puce GB200 (nom de code Grace Blackwell) combine deux GPU Blackwell connectés via NVLink C2C à un processeur Grace, elle offre jusqu'à 384 Go de mémoire HBM3e avec une bande passante mémoire de 16 To/s. Pour traiter des modèles très complexes d’IA dotés de plusieurs milliards de paramètres, Nvidia propose même le système GB200 NVL72 permettant de connecter 36 CPU Grace et 72 GPU Blackwell via un modèle rackable à refroidissement liquide et reliés entre eux via NVLink-C2C (900 Go/s de bande passante). Les instances GB200 NVL72 peuvent même évoluer jusqu'à 110 000 GPU Blackwell avec le réseau Quantum-2 InfiniBand de Nvidia. Plusieurs fournisseurs, les partenaires NCP (NeoCloud Provider) de Nvidia, proposent déjà des instances Grace Blackwell à l’image de CoreWeave. Par exemple, IBM utilise déjà les services de ce dernier pour entrainer ses modèles d'IA open source Granite utilisés pour watsonx Orchestrate.  

Et à sa dernière GTC, Nvidia a lancé son Blackwell Ultra, qui combine deux GPU de la taille d'un réticule. Cet accélérateur, fabriqué en 3 nm chez TSMC, intègre 208 milliards de transistors avec 288 Go de mémoire HBM3e, accompagnée d'une bande passante NVLink de 130 To/s et une connectivité réseau de 14,4 To/s. Selon Jensen Huang, « Blackwell Ultra représente une transition fondamentale dans l'architecture informatique, apportant une réponse directe aux exigences croissantes en calcul intensif et en IA. » Côté performance, l’Ultra fournit 15 pétaflops en FP4. Ces spécifications répondent directement aux besoins en temps réel des applications IA avancées telles que les modèles génératifs et le raisonnement complexe. Blackwell Ultra est disponible dans la solution en rack GB300 NVL72 (36 puces Grace sur base Arm et 72 GPU Blackwell Ultra), le système HGX B300 NVL16 et dans le Blackwell Ultra DGX SuperPod. Spécifiquement optimisé pour le raisonnement par intelligence artificielle, Jensen Huang décrit le GB300 NVL72 comme un système « conçu pour démocratiser l’accès au raisonnement IA, tout en réduisant drastiquement la consommation énergétique et les coûts associés. » Le GB300 est équipé de 8 modules HBM4 offrant une capacité mémoire totale de 192 Go, avec une bande passante mémoire dépassant 6 To/s, pour assurer une exécution fluide des grands modèles IA. Son architecture multi-GPU permet une interconnexion optimisée via NVLink pour les 72 GPU, offrant une latence réduite et une scalabilité accrue. Ce serveur affiche des performances en hausse en comparaison des systèmes précédents utilisant les GPU H100 : la vitesse de génération de tokens est ainsi améliorée, passant de 100 à 1000 tokens par seconde. Les temps nécessaires à la résolution de tâches complexes sont aussi réduits, passant de 1,5 minute à seulement 10 secondes. « Ces améliorations positionnent le système GB300 NVL72 comme un nouvel étalon pour les infrastructures IA dédiées à des opérations de raisonnement à grande échelle », explique Nvidia.

Comme son nom l’indique, le DGX B300 NVL16 accueille 2 processeurs Intel Xeon et 16 puces Blackwell Ultra pour une capacité de calcul de 105 pétaflops en FP4. Chaque GPU est connecté à un domaine NVLink de 16 GPU à 1,8 To/s, ce qui représente 2,3 To de mémoire HBM3e par système. Avec le SuperPod DGX Blackwell Ultra, Nvidia propose une solution complète, clé en main, destinée aux entreprises cherchant à construire des « AI factories ». Selon Jensen Huang, « ces SuperPods fournissent une puissance extrême, capable de supporter les plus vastes et exigeants modèles IA actuellement développés. » Le DGX SuperPod Blackwell Ultra inclut ainsi 288 puces Grace et 576 GPU Blackwell Ultra, délivrant une puissance de calcul cumulée atteignant 11,5 exaflops en FP4. Grâce à son architecture modulaire et à son refroidissement optimisé par air, le SuperPod assure une intégration facile au sein des centres de données existants tout en apportant des performances de pointe.

AMD, un sérieux challenger  

Face à l’ogre Nvidia, AMD s’active à imposer ses GPU Instinct MI350 dont le modèle phare MI355X est capable, selon le fondeur, de dépasser jusqu'à 2,1 fois les performances dans certaines tâches du B200. Le MI355X est construit sur l'architecture CDNA de 4ème génération avec 288 Go de mémoire HBM3E et 8 To/s de bande passante mémoire, contre 3,9 To/s pour le MI300X. AMD ne s’arrête pas en si bon chemin et prépare déjà l’arrivée en 2026 de la série MI400 qui devrait supporter jusqu'à 432 Go de mémoire HBM4, 19,6 To/s de bande passante mémoire (soit plus du double de celle du MI355X) et de la prochaine génération de rack Helios capable de prendre en charge jusqu'à 72 GPU de la série MI400 avec 260 téraoctets par seconde de bande passante via l'Ultra Accelerator Link à grande vitesse et à faible latence, tunnelisé sur un Ethernet standard. 

De son côté, Intel n’a pas pour l’heure l’intention de stopper sa production de processeurs Gaudi, peut-être de les orienter vers l’inférence et l’entrainement de SLM comme le suggère le CEO d’Intel Lip-Bu Tan et moins vers les LLM, un marché acquis par Nvidia, lequel a pris une certaine avance technologique et des parts de marché colossales. L’accélérateur Gaudi en v.3 a déjà conquis aujourd’hui IBM Cloud qui propose notamment des instances dédiées. Ces dernières offriraient selon les tests du laboratoire Signal65 menés sur IBM Cloud des performances similaires, voire légèrement supérieures suivant les cas d'utilisation de l'IA par rapport aux Nvidia H200 et H100. Dans un billet de Mitch Lewis, analyste des performances chez Signal65, le prix des instances Gaudi 3 sur IBM Cloud offre un avantage économique intéressant par rapport aux deux types d'instances Nvidia. Les premières mesures de Signal65 démontrent que les accélérateurs d'IA Intel Gaudi 3 peuvent atteindre un gain de performance par dollar jusqu'à 1,6 fois supérieur à celui du Nvidia H200 sur les modèles et formes d'IA testés. Pour les modèles de grande taille, Signal65 a constaté que Gaudi 3 surpassait nettement le Nvidia H100 et offrait des performances compétitives, tout en étant 30 % moins cher sur IBM Cloud. Techniquement, les puces Gaudi 3 disposent de 64 cœurs TPC (Tensor Processor Cores) et de huit moteurs de multiplication de matrice pour l’entrainement et l’inférence. Elles renferment au maximum 128 Go de mémoire HBM et sont disponibles sous PCIe et dans des systèmes à l’échelle du rack, lesquels peuvent contenir jusqu’à 64 accélérateurs par rack et disposent de 8,2 To de mémoire à haute bande passante. Aux Gaudi, Intel dispose aussi de sa gamme Arc dont les derniers GPU Arc Pro B60 et B50 qui ciblent les stations de travail professionnelles. Ces deux modèles (24 Go de mémoire pour le B60 et 16 Go pour le B50) sont basés sur l’architecture Xe2 et renferment des fonctionnalités telles que les cœurs IA Intel Xe Matrix Extensions (XMX) et le ray tracing avancé.  

Trillium, Trainium, Maia, les alternatives pour l’IA des hyperscalers 

Bien sûr la dépendance et le prix des GPU de Nvidia dans le traitement de l’IA encouragent certains acteurs à tester d’autres technologies, c’est le cas d’Open AI qui mené actuellement une série de tests avec certains TPU (tensor processing units) de Google pour l’inférence. « L'inférence consomme plus de 50 % du budget de traitement d'OpenAI, et les unités de traitement de tenseur, en particulier les plus anciennes, offrent un coût par inférence nettement inférieur à celui des GPU Nvidia », a rappelé Charlie Dai, vice-président et analyste principal chez Forrester. Dans sa gamme de TPU, Google propose le Trillium, l’actuelle 6ème génération offre jusqu'à 3 fois plus de débit d'inférence que la génération précédente et presque 5 fois plus de performances de calcul par puce et 4 fois plus pour les performances d'entraînement de LLM denses comme Llama-2-70b et gpt3-175b. A noter que Gemini 2.0 a été entrainé par des TPU Trillium. Lors de son dernier événement Next, Google avait présenté Ironwood, la septième génération de Trillium. Dans le détail, les TPU Ironwood seront accessibles en pods de 256 ou de 9 126 puces. Dans cette dernière configuration, Google Cloud revendique une capacité de calcul de 45,2 exaflops, chaque puce étant capable de traiter 4,16 Tflops. En matière de mémoire, les pods peuvent gérer jusqu’à 192 Go de HBM et améliorent la bande passante à 7,2 To/s (contre 1,638 To/s pour les Trillium actuels). Le transfert de données entre les puces est aussi amélioré avec la technologie ICI (inter-chip interconnect) à 1,2 To/s. 

Face aux TPU de Google, d’autres acteurs comme AWS et ses Trainium ou encore Microsoft et ses Maia proposent des alternatives pour les charges de travail d'inférence ou d’accélération de l'IA en général. Chez AWS, l’actuelle puce Trainium 2 offre des performances jusqu’à 4 fois supérieures à celles du Trainium de première génération. Les instances EC2 disposent aujourd’hui de 16 puces Trainium 2 interconnectées avec NeuronLink, le réseau d’interconnexion entre puces qu’AWS a conçu. En effet, grâce à NeuronLink, la puce Trainium 2 déplace les données entre son pool HBM et les cœurs à une vitesse pouvant atteindre 2,8 térabits par seconde. A en croire le géant du cloud, Claude 3.5 Haiku s’exécute 60 % plus rapidement sur Trainium 2 via Amazon Bedrock que sur la première génération. Databricks prévoit aussi d’utiliser Trainium 2 pour fournir de meilleurs résultats et réduire le coût total de possession jusqu’à 30 % pour ses clients. AWS travaille déjà sur la troisième génération de sa puce qui devrait sortir à la fin de l’année et offrir des performances quatre fois supérieures à celles du Trainium 2. Quant au processeur Maia de Microsoft, le Maia 100, il a été conçu spécifiquement pour la pile matérielle Azure, des racks sur mesure ont même été construits pour accueillir les cartes mères sous Maia ainsi que le système de refroidissement dédié. Techniquement, Maia 100 renferme 105 milliards de transistors (gravure en 5nm) et intègre 64 Go de HBM2E à 1,8 To/s. 

Sipearl, l'espoir européen 

Fondée par Philippe Notton en 2019, Sipearl a conçu Rhea1, un processeur reposant sur un design Arm Neoverse dédié au monde du HPC et conçu pour fonctionner avec n'importe quel accélérateur tiers (Graphcore, AMD, Nvidia, etc.), les puces spécialisées dans l’IA ou les accélérateurs quantiques à venir. Techniquement, cette puce contient 80 cœurs (plus de 61 milliards de transistors) et devrait trouver notamment un débouché dans le projet de supercalculateur européen Jupiter, basé en Allemagne, à des fins de recherche médicale, de gestion de l'énergie et de défense. Pour soutenir sa R&D et la production de sa puce auprès du taiwanais TSMC, Sipearl a récemment levé 130 M€. Pour rappel, la startup est soutenue par l’Europe via le consortium EPI (European Processor Initiative regroupant une trentaine d’acteurs) dont l’objectif est de favoriser le retour en Europe des microprocesseurs haute performance et basse consommation.  

La mémoire RAM de type DDR5 (double data rate de 5ème génération) – qui remplace la DDR4 – s’est généralisée dans les ordinateurs avec l’arrivée des puces Intel Core de 12ème génération et des AMD Ryzen série 6000 et 7000. Pour rappel, elle a été lancée en 2021 et offre deux fois plus de bande passante – jusqu’à 64 Go/s – que la DDR4. La DDR5 (et LPDDR5 basse consommation pour les PC portables) multiplie par huit la capacité maximale des barrettes DIMM qui passe de 64 Go à 512 Go. Et contrairement à la DDR4, toutes les puces DDR5 disposent d’un code de correction d’erreur sur puce.  

Pour remplacer la DDR5, la DDR6 est déjà sur les rails, sa sortie serait imminente selon TrendForce, d’ici à la fin de l’année, la Jedec Solid State Technology Association a d’ailleurs officiellement annoncé le 9 juillet dernier la norme de mémoire LPDDR6 basse consommation – sous l’appellation JESD209-6 LPDDR6 – pour les PC portables. Ce que l’on sait, c’est que la LPDDR6 fonctionne avec une alimentation VDD2 à plus faible tension et à faible consommation d'énergie et que sa densité variera de 4 Gbits à 64 Gbits avec la présence de deux sous-canaux par puce. En termes de sécurité, plusieurs améliorations ont été apportées comme le comptage d'activation par ligne (PRAC) pour prendre en charge l'intégrité des données DRAM ou encore le mode méta de découpage pour améliorer la fiabilité globale du système en allouant des régions de mémoire spécifiques aux tâches critiques. L'annonce du Jedec est soutenue par les trois plus grands fabricants de mémoire au monde Micron, SK Hynix et Samsung. 

Le boom de la mémoire HBM 

Face à la classique DRAM et GDDR (mémoire spécialement conçue pour les GPU), figure la mémoire à large bande passante (HBM) utilisée dans les GPU de Nvidia et d’AMD notamment mais aussi dans les SoC AMD Versal HBM, un héritage du rachat de XIlinx, sans oublier Intel pour certaines de ses puces Xeon (série Max). La mémoire HBM est conçue pour offrir une largeur de bus mémoire plus importante que la mémoire GDDR, ce qui signifie qu'elle peut transférer plus de données à la fois et qu’elle consomme moins d’énergie que la DRAM. La mémoire HBM la plus adoptée est la HBM3 dans le GPU Nvidia H100 avec une bande passante mémoire de plus de 2 To/s. La HBM3 est également présente dans l'AMD Instinct MI300X avec une bande passante mémoire de plus de 5.3 To/s. Dans le même temps, la nouvelle version, la HBM3E dotée de 16 couches et offrant jusqu'à 1.2 To/s débit, est, quant à elle, exploitée dans les GPU Nvidia B200. D’ores et déjà, Nvidia parle d’une version HBM4 pour sa future plateforme Vera Rubin dont la livraison est prévue pour 2026. 

La mémoire HBM est plus difficile à fabriquer car celle-ci utilise un processus de production complexe et hautement technique qui n'est exploité nulle part ailleurs, elle est donc bien plus chère à produire que la DRAM. D’ailleurs, une pénurie s’installe. Le fabricant de mémoire sud-coréen SK Hynix a annoncé que son stock de mémoire HBM était épuisé pour 2024 et pour la majeure partie de 2025. Cela signifie que la demande de HBM dépasse l'offre pour au moins un an, et que toute commande passée aujourd'hui ne sera pas satisfaite avant 2026. La construction de fonderies, comme celles des processeurs, prend du temps, et les principaux fabricants de HBM ne peuvent pas aujourd’hui répondre à l'explosion de la demande.  

Au vu du coût de fabrication de la mémoire HBM, Intel se tourne vers une solution moins onéreuse, la MR-DIMM (Multiplexed Rank Dual Inline Memory Module), standardisée par le Jedec, qui consiste à empiler, selon Jean-Laurent Philippe, CTO d’Intel EMEA, deux rangs de mémoire sur le contrôleur associé ; les Xeon 6 P-Cores les prennent notamment en charge. « C’est une alternative économiquement viable, je ne vois pas à court terme de solutions capables de rendre la HBM abordable en termes de coût. La HBM restera sur le haut de gamme des GPU. » 

Comment accélérer les échanges de données entre les GPU d'un cluster de serveurs ? En proposant justement une interconnexion directe à grande vitesse entre ces puces, c’est dans cette optique que Nvidia a créé NVLink, une technologie héritée du rachat de Mellanox. En effet, cette interconnexion (5ème génération aujourd’hui) bidirectionnelle propriétaire améliore considérablement l'évolutivité des systèmes multi-GPU de grande taille en permettant aux GPU de partager leur mémoire et les calculs pour les workflows d'entraînement, d'inférence et de raisonnement. Par exemple, un unique GPU Blackwell prend en charge jusqu'à 18 connexions NVLink à 100 giga-octets par seconde (Go/s), soit une bande passante totale de 1,8 téraoctet par seconde (To/s), c'est-à-dire deux fois plus que la génération précédente et 14 fois plus qu'avec PCIe de 5ème génération. Cette technologie a permis à Nvidia de construire des systèmes rackables avec 72 GPU. Avec NVLink Fusion, le fournisseur a même ouvert sa technologie aux autres fournisseurs mais sa générosité a ses limites. Par exemple, AMD ne peut pas utiliser NVLink Fusion pour connecter son CPU EPYC à son GPU Instinct, puisqu’il faut au moins un produit Nvidia impliqué dans la connexion.  

Vers une interconnexion ouverte avec UALink  

Cela dit, face au NVLink, la concurrence s’active notamment le consortium UALink et sa spécification Ultra Accelerator Link 200G 1.0 récemment publiée. Cette dernière définit donc une interconnexion à faible latence et à large bande passante pour la communication entre les accélérateurs et les commutateurs dans les pods de calcul d'IA. Comme le rappelle Kurtis Bowman, directeur de l'architecture et de la stratégie chez AMD, le consortium UALink s'engage d’ailleurs à établir une norme ouverte et interopérable, permettant aux développeurs de choisir librement leur matériel et de créer des systèmes d'IA diversifiés et performants. AMD, membre du conseil d'administration d'UALink, va prochainement (sûrement en 2026) intégrer cette norme comme interconnexion dans sa nouvelle génération de rack Helios. « Dans Helios, nous connectons tous les GPU du rack, leur permettant de communiquer comme un système unifié, offrant ainsi des performances exceptionnelles à l'échelle de ce même rack », confirme AMD dans un article dédié sur son blog, un système donc similaire au NVL-72 de Nvidia. A noter que ce consortium, qui compte plus de 100 entreprises, est le fruit d'une alliance entre différents hyperscalers (AWS, Alibaba Cloud, Google, Microsoft, etc.), fournisseurs et fondeurs (Lenovo, Juniper, Cadence, Arm, Intel, AMD, etc.) alliés de circonstance depuis juin 2024, permettant ainsi de rivaliser avec la technologie propriétaire de Nvidia.  

Ethernet, toujours dans la course 

Cela dit, l’Ethernet n’a pas dit son dernier mot, au milieu de l'année 2023, plusieurs grands noms du secteur des réseaux, dont Cisco, Arista, HPE et Intel, se sont regroupés pour former l'Ultra Ethernet Consortium. « AMD préside aussi l'Ultra Ethernet Consortium. Alors que UALink se concentre sur la mise à l'échelle au sein d'un pod informatique IA, créant une connexion à haute vitesse, à faible latence et à mémoire sémantique, Ultra Ethernet gère la mise à l'échelle horizontale entre les clusters IA distribués et les centres de données. Il s'appuie sur l'Ethernet existant mais introduit des améliorations cruciales telles que le contrôle avancé de la congestion et la distribution efficace des paquets. Comme UALink, UEC fournit une base réseau complète, flexible et ouverte pour alimenter la prochaine génération d'infrastructures IA », explique Julien Ruiz, directeur des ventes Europe du Sud chez AMD. 

De son côté, Broadcom défend aussi l’Ethernet, il se positionne avec son framework SUE (Scale-Up Ethernet), porté par l'Open Compute Project (OCP), pour aider les fabricants de GPU et accélérateurs à optimiser leur interface réseau afin de disposer d’une communication haute performance et à faible latence. Selon Broadcom, la technologie SUE permettra de prendre en charge des systèmes évolutifs avec au moins 1 024 accélérateurs, quelle que soit la plateforme Ethernet. À titre de comparaison, Nvidia affirme que sa technologie de commutation NVLink peut prendre en charge 576 accélérateurs (leur déploiement ne dépassant pas pour l’instant les 72 accélérateurs). Selon Pete Del Vecchio, chef de produit pour la famille de commutateurs Tomahawk chez Broadcom, l'objectif est de faire de l’Ethernet une alternative viable et ouverte aux technologies d'interconnexion propriétaires comme le NVLink de Nvidia. Quant à UALink, le porte-parole estime qu’il n'y a pas encore de commutateur UALink sur le marché et probablement rien en production avant quelques années.  

Une adoption progressive de CXL qui passe en version 3.2 

L’adoption du protocole CXL (Compute Express Link) progresse, les trois principaux fournisseurs de puces pour serveurs AMD avec son EPYC Genoa, Intel avec son Xeon 6 et Arm (notamment dans les Google Axion), embarquent la version CXL 3.0. Selon une publication de la société d'études spécialisée dans les semi-conducteurs Objective Analysis, le marché des composants exploitant le protocole Compute Express Link (CXL) devrait croître rapidement pour atteindre près de 3,4 milliards de dollars d'ici à 2028, à mesure que les serveurs seront commercialisés avec cette technologie. Rappelons que CXL est une interconnexion CPU-vers-dispositif (SSD, GPU ou Ethernet) et CPU-vers-mémoire qui permet au processeur d'un serveur de communiquer directement avec la mémoire d'un autre serveur physique. Le CXL tente de résoudre un certain nombre de problèmes de mémoire, à commencer par celui de la RAM disponible dans un serveur. Par exemple, un serveur fortement sollicité peut manquer de mémoire. Dans ce cas, il peut se connecter via l'interface CXL à un autre serveur moins sollicité et lui emprunter la mémoire inutilisée. Si la version 3.0 a apporté plusieurs améliorations (doublement du débit des données, partage et mise en commun de mémoire pour une efficacité d'utilisation accrue ou encore une gestion optimisée de la matrice), la  dernière mise à jour, CXL 3.2, ajoute plusieurs fonctionnalités de surveillance et de gestion, notamment une unité de surveillance de page chaude CXL (CHMU) pour la hiérarchisation de la mémoire, un enregistrement d'événements communs, une compatibilité avec le transfert de messages de gestion PCIe (MMPT) et l'activation du micrologiciel en ligne CXL (FW). 

Les grands opérateurs, les services providers, surtout les hyperscalers et certaines entreprises cherchent des solutions pour rendre leurs datacenters plus économiques, plus écologiques et plus performants. Et l’une des grandes tendances qui y participe est l’emploi massif d’accélérateurs de type SmartNIC et autres DPU, permettant de décharger les traitements des processeurs centraux sur plusieurs tâches : mise en réseau, stockage, sécurité et même l’hyperviseur pour séparer davantage la couche de gestion de l’infrastructure du reste du serveur. En clair, il est plus opportun de conserver la virtualisation du calcul sur le CPU du serveur et de confier les fonctions entrée/sortie au niveau du réseau, du stockage et de la sécurité à une DPU ou à des processeurs dédiés embarqués sur la SmartNIC, une carte accélératrice réseau intelligente. Là aussi, dans ce domaine des smartNICs, les fondeurs se livrent une bataille acharnée. AMD, déjà, qui vient d’annoncer la smartNIC Pensando Pollara 400, laquelle est notamment conforme à la spécification Ultra Ethernet Consortium (UEC) 1.0. « Cette carte a été conçue pour accélérer les applications exécutées sur les nœuds IA dans les centres de données hyperscale, atteignant des vitesses Ethernet allant jusqu'à 400 Gigabits par seconde », souligne Julien Ruiz, directeur des ventes Europe du Sud chez AMD 

Pour les réseaux front-end, le DPU AMD Pensando Salina 400 est, de son côté, entièrement programmable et optimisé pour une consommation d'énergie minimale. Ce DPU de troisième génération d'AMD offre une efficacité énergétique exceptionnelle tout en permettant un débit important pour les pipelines P4. Rappelons que Pensando tout comme Xilinx ont été racheté par le fondeur en 2022 afin de mieux concurrencer les Nvidia (BlueField), Intel (smartNICs à base de FPGA), Marvell Technology (Octeon) et Broadcom (Stingray). De son côté, Nvidia, qui avait racheté Mellanox, possède le SuperNIC BlueField-3, un accélérateur réseau conçu pour améliorer les performances des charges de travail d’IA Hyperscale, il fournit un accès direct à la mémoire distante (RDMA) sur Ethernet convergé (RoCE) pouvant atteindre 400 Gbit/s entre les serveurs GPU. De ce SuperNic, Nvidia a créé la plateforme Spectrum-X800 Ethernet qui exploite aussi le commutateur Spectrum SN5600 800 Gbps. Quant au SuperNIC ConnectX-8, elle a donné naissance à la plateforme Quantum-X800 InfiniBand adossée aussi au commutateur Quantum 3400 laquelle offre un débit record de 14,4 téraflops. Face aux Spectrum-X et Quantum-X de Nvidia, Broadcom trouve la parade avec son Tomahawk Ultra, une puce réseau optimisée spécifiquement pour les applications de calcul à haute performance (HPC) et de mise à l'échelle de l'IA. Contrairement à la Tomahawk 6, l’Ultra de Broadcom n’est pas axée sur le débit : elle fournit jusqu'à 51,2 Tbps à pleine bande passante contre 102,4 Tbps pour la Tomahawk 6. Par contre, elle excelle dans la latence ultra-faible, avec une latence de commutation de 250 nanosecondes, et dans la performance des paquets qui peut atteindre 77 milliards de paquets par seconde. « Nous voulions que l’Ethernet standard dépasse l’InfiniBand, avec toutes ses caractéristiques et pour toutes les métriques importantes pour le HPC », avait récemment déclaré Pete Del Vecchio, chef de produit pour la famille de commutateurs Tomahawk chez Broadcom, à notre confrère Network World. En parallèle, Broadcom propose toujours des cartes Ethernet dont une 400G PCIe Gen 5.0 qui n’est pas en soi une SmartNIC dotée d’une grosse puce multi-cœurs mais qui s’apparente à une carte réseau traditionnelle à faible consommation d'énergie et optimisée pour l'IA.  

Enfin, chez Intel, les cartes accélératrices de type FPGA héritées du rachat d’Altera en 2015 est désormais une histoire ancienne puisque le fondeur a cédé 51 % de ses parts au fonds Silver Lake. Cela dit, la gamme Altera comprend plusieurs familles de produits dont les Agilex 7 qui se démarquent par leurs performances, les Agilex 5 pour le milieu de gamme et les Agilex 3, plutôt optimisés en termes de puissance et de coût.