Les accélérateurs viennent booster les datacenters

Quel est le point commun entre X-Dragon d’Alibaba Cloud, Nitro d’AWS, Monterey chezVMware  et AccelNet d’Azure ? Tous les quatre sont identifiés comme des SmartNIC ou des plateformes et projets qui exploitent ou exploiteront massivement les SmartNIC, ces fameux accélérateurs qui permettent de décharger les traitements des processeurs serveurs sur un certain nombre de tâches (mise en réseau, stockage, sécurité et même l’hyperviseur pour séparer davantage la couche de gestion de l’infrastructure du reste du serveur). À en croire nos interlocuteurs, ces SmartNIC apportent une grande valeur ajoutée dans les datacenters par l’accélération des communications entre les composants et les services. En effet, ces derniers étant de plus ne plus désagrégés (comme les microservices de type conteneurs), se crée alors une surcharge de communication logicielle qui a un impact énorme sur la disponibilité des cycles CPU du serveur, bref ils sont sursollicités. D’après des recherches effectuées par Google et Facebook (citées par Navin Shenoy, le responsable du Data Center Group d’Intel lors du Six Five Summit 2021), les communications des microservices monopolisent de 22 à 80 % des cycles du CPU. Cela signifie que les communications dans un grand déploiement Kubernetes pourraient consommer jusqu’à 80 % des cycles du CPU, ce qui ne laisserait que 20 % de cycles CPU pour le traitement réel.

Amazon et Microsoft, plus gros consommateurs de SmartNIC

Selon le cabinet d’études Dell’Oro, le marché des SmartNIC devrait dépasser les 600 millions de dollars et représenter 23 % du marché mondial des adaptateurs Ethernet d’ici 2024 (ce dernier étant estimé à 1,7 milliard de dollars en 2023 par Crehan Research). Ce sont d’ailleurs Amazon (notamment via Annapurna Labs avec Nitro) et Microsoft (dès 2015 via l’implémentation des SmartNIC Azure AccelNet dans les serveurs du groupe) qui ont propulsé le marché des SmartNIC. Plus généralement, les grands hyperscalers (les Gafam), les fournisseurs de services cloud et les opérateurs sont les plus gros clients de ces cartes accélératrices intelligentes. Pour le cabinet, au second trimestre 2021, Amazon et Microsoft, de par leurs besoins internes (liés aux déploiements de serveurs cloud toujours plus importants), contrôlaient 80 % du marché en termes de revenus. Pour 2022, Dell’Oro estime que les revenus des SmartNIC augmenteront de 19 % et que des fournisseurs/fondeurs comme Marvell, Napatech et Nvidia (suite au rachat de Mellanox en 2019) ne cessent de grignoter des parts de marché, Nvidia souhaitant aussi porter les SmartNIC dans l’entreprise et pas seulement chez les gros services providers et opérateurs, d’où sa participation au projet Monterey de VMware. « Les centres de données d’entreprise veulent et ont besoin des mêmes types de composabilité et de flexibilité déjà atteints par les fournisseurs de services cloud, et les SmartNIC sont essentielles pour atteindre cet objectif », note à ce titre Kevin Deierling, senior vice-président de Networking chez Nvidia.

Sur le terrain, les partenaires technologiques de Nvidia comme PNY voient effectivement leurs ventes augmenter. « Nous commercialisions déjà les cartes intelligentes Mellanox, et depuis avril 2021 suite au rachat, désormais celles de Nvidia Networking ; cette année, notre chiffre d’affaires sera multiplié par 4 à 5 », anticipe sur ce point Martin Jezequel, chef de produit Solutions Datacenter EMEA chez PNY Europe.

À la différence d’une carte contrôleur classique (NIC) qui assure simplement la communication entre des ordinateurs sur le même réseau local (LAN) et des réseaux plus larges via le protocole Internet (IP), une SmartNIC va plus loin. En plus du simple contrôleur Ethernet, une SmartNIC est équipée de processeurs multicœurs et d’accélérateurs de performances. Ces derniers libèrent ainsi de précieux cycles CPU qui peuvent être utilisés pour améliorer les performances des applications, ils déchargent donc le traitement des fonctions de mise en réseau, de sécurité et de stockage. Par exemple du côté réseau, ces tâches peuvent inclure le filtrage de paquets, l’horodatage, la déduplication, le shunt et la classification de flux, des fonctions qui ne sont pas assurées par une carte contrôleur classique, et même des fonctions plus complexes comme les protocoles de tunnellisation superposés tels que VxLAN.

Des DPU dans les baies de stockage

Dans le monde virtualisé du stockage, une SmartNIC fonctionne également comme un contrôleur gérant les disques durs et les SSD. Dans le cas d’un SSD, elle booste ainsi les vitesses de transfert de fichier en facilitant l’exécution de NVMe sur le protocole TCP/IP par exemple. De ce fait, la SmartNIC décharge l’intégralité de cette tâche d’accès à la mémoire du processeur et signifie que la mémoire flash n’a plus besoin d’être directement connectée au processeur. « Nous constatons d’ailleurs une forte demande sur le marché du stockage pour décharger le CPU de toutes les tâches intensives liées à la gestion des NVMe », confirme Eric Baissus, président du directoire de Kalray. Cette fonctionnalité NVMe ou, plus précisément, NVMe over Fabrics (NVMe-oF) est très souvent embarquée dans un DPU (data processing unit), un processeur programmable sophistiqué que l’on retrouve de plus en plus dans les baies de stockage Flash. C’est le cas de Fungible qui intègre ses propres DPU dans sa baie FS1600 ou de Kalray dans la baie Flashbox de Viking Enterprise Solutions, une entité de l’américain Sanmina.

Un DPU, une « super » SmartNIC 

Le DPU est une extension typique de la SmartNIC souvent intégré dans celle-ci même si, en soi, il est parfaitement autonome. Les DPU permettent d’accélérer un grand nombre de charges de travail grâce à leur flexibilité, leur programmabilité et leur facilité d’utilisation. « Nous identifions le DPU comme une SmartNIC encore plus évoluée avec un processeur programmable et des notions avancées de chiffrement », précise, de son côté, Martin Jezequel, chef de produit Solutions Datacenter EMEA chez PNY Europe. Un avis que confirme Kevin Deierling, senior vice-président du Networking chez Nvidia : « Les SmartNIC peuvent décharger et accélérer certaines charges de travail, cependant, elles ne sont pas aussi programmables que les DPU, ces derniers peuvent faire tout ce qu’une SmartNIC sait faire, c’est-à-dire décharger et accélérer les fonctions du plan de données du réseau, et en plus, exécuter des agents, des fonctions de plan de contrôle et des logiciels de gestion ou de sécurité. »

Des DPU/SmartNIC pour accélérer les traitements liés à la sécurité

Chez Intel, on ne parle pas de DPU, mais d’IPU (voir partie « match entre les acteurs »). Peu importe la dénomination, les DPU supportent, comme le mentionne Eric Baissus, bien d’autres tâches comme des fonctions de sécurité avancées (authentification des conteneurs, gestion du cycle de vie des applications, démarrage sécurisé, mises à niveau sécurisées, etc.), sans oublier le chiffrement. Peuvent ainsi être intégrés dans les DPU des moteurs de cryptage et d’infrastructure de clés, y compris un véritable générateur de nombres aléatoires, un moteur PKI et un magasin de clés sécurisé qui conserve les clés de session.

Bien sûr, des fonctions de sécurité comme l’accélération des services IPsec et SSL/TLS ne sont pas toujours formalisées à partir d’un DPU comme le font Nvidia avec son BlueField ou Kalray et son DPU Coolidge, Intel va par exemple proposer des cartes bâties sur un processeur Intel Atom (P5721 avec 8 coeurs ou P5742 avec 16 coeurs) ainsi qu’un adaptateur réseau maison Ethernet E810 pour exécuter ses tâches.

Des DPU en concurrence aux GPU et propices au déploiement de la 5G

Les DPU peuvent également inclure des bibliothèques de programmation pour prendre en charge les opérations gourmandes en calcul qui nécessitent un parallélisme et un débit élevés, parfois en concurrence avec les GPU. En outre, les SmartNIC peuvent aussi répondre à des usages autour des télécommunications ; par exemple, avec l’avènement de la 5G, certains DPU embarqués sur les SmartNIC prennent en charge les systèmes OpenRAN permettant de déployer cette 5G et d’en assurer l’interconnectivité et l’interopérabilité à très grande échelle. In fine, les SmartNIC/DPU distribuent toute l’intelligence dans tout le datacenter et fournissent un large éventail de fonctionnalités.

Vers une domination du protocole NVMe/TCP

Comme le mentionne Eric Burgener, vice-président de la recherche, groupe des systèmes d’infrastructure, des plateformes et des technologies chez IDC, le protocole TCP est omniprésent partout, c’est le protocole de base d’Internet, toutes les cartes NIC le prennent en charge. De ce constat, il est donc plus logique de porter le protocole NVMe sur une pile TCP.  De plus, il suit aisément l’évolution du réseau en fonction des commutateurs installés (de 10 à 100 Go) et offre donc des performances évolutives solides. À n’en pas douter que les fournisseurs de services cloud et les entreprises préfèrent tirer parti des investissements existants dans les technologies de réseau commuté déjà standardisées et disponibles auprès de nombreux équipementiers. En effet, le coût par port pour connecter plusieurs ports Ethernet commutés 10G par rapport à Infiniband ou Fibre Channel justifie à lui seul l’utilisation des implémentations de pile TCP de NVMe. De plus, le support de NVMe/TCP est aussi en marche chez les grands éditeurs comme le fait par exemple VMWare pour VSphere 7.  Bien sûr, si l’entreprise dispose toujours d’un héritage réseau de stockage de type SAN en Fiber Channel, il est plus simple d’exploiter des cartes accélératrices basées sur le protocole NVMe-FC. De plus, certaines applications présentes sur les serveurs sont toujours plus sensibles aux performances, de ce fait, elles fonctionnent mieux en exploitant cette couche NVMe-FC.

Une SmartNIC peut être basée sur diverses architectures ASIC, MPPA, FPGA, et/ou SoC (voir encadré). Elle peut par exemple contenir un ou plusieurs ASIC dédiés à des tâches prédéfinies. L’avantage de l’ASIC est qu’il répond de manière optimale au besoin à réaliser, de ce fait, il consomme moins et sa personnalisation lui confère une sécurité accrue. De par leurs performances sur leur tâche spécifique à faire et la sécurité qu’elle procure, l’ASIC est d’ailleurs très répandu dans le monde du minage des cryptomonnaies.

Cela dit, de nombreux acteurs s’accordent à dire que les ASIC n’offrent pas une programmabilité suffisante et les cœurs de processeurs intégrés n’offrent pas de performances évolutives. Les concepteurs d’ASIC sont par exemple obligés de multiplier les cœurs pour ajouter et gérer de nouvelles fonctionnalités, ce qui engendre des goulots d’étranglement et, par conséquent, grève les performances. De plus, ces cœurs sont programmés via des mises à jour embarquées sur la carte réseau et gérées par le concepteur, ce qui procure là aussi un effet de ralentissement.

FPGA, des composants reconfigurables

De ce fait, les acteurs se sont aussi tournés vers d’autres architectures dont le FPGA (Field-programmable gate array) comme Microsoft, par exemple, qui a fait le choix d’implémenter AccelNet (déchargement du réseau hôte) sur des cartes SmartNIC basées sur FPGA. Grâce à l’intégration de cellules logiques, les FPGA sont programmables et reprogrammables, ils offrent aussi des temps de latence faibles d’où l’intérêt croissant des FPGA dans le monde de l’IoT et la 5G dans divers secteurs (véhicules autonomes, capteurs IoT ou dans la finance pour le trading haute fréquence). En soi, la technologie FPGA est ancienne, mais elle séduit de plus en plus au vu de la prolifération des cas d’usages et d’applications. Selon le cabinet d’études Mordor Intelligence, le marché mondial des FPGA était évalué à 6958,1 millions USD en 2021, il devrait atteindre les 11 751,8 millions USD d’ici à 2027, enregistrant une croissance annuelle de 8,32 % sur la période 2022-2027.

Dans les années 2010, les deux leaders du secteur des FPGA étaient respectivement Xilinx et Altera, à eux deux, ils accaparaient 80 % du marché du FPGA. Depuis, ces deux acteurs ont été rachetés par Intel (pour Altera en 2015) et AMD (pour Xilinx en 2020). Les développements se poursuivent donc sous la houlette des deux principaux fondeurs. Reste que les FPGA demeurent complexes à programmer et sont, pour l’heure, plus coûteux. Cela dit, Intel met toutefois à la disposition de son IPU sur FPGA (Oak Springs Canyon) une infrastructure logicielle et matérielle (Intel Open FPGA Stack) évolutive et accessible à la source qui permet à ses partenaires et clients de personnaliser les solutions. « Oak Springs Canyon peut également être programmé à l’aide d’environnements logiciels existants et couramment déployés, notamment les kits DPDK et SPDK, qui ont été optimisés sur x86, cette plateforme étant construite sous un Intel Xeon-D et l’Agilex FPGA. À noter que ce dernier offre une flexibilité matérielle, permettant aux clients d’ajouter des fonctionnalités en cas de besoin ou de mettre en œuvre des protocoles nouveaux ou propriétaires pour accélérer les fonctions d’infrastructure basées sur l’hôte », précise Mikael Moreau en charge de la communication chez Intel France, faisant le relais des différentes personnes d’Intel que nous avons questionnées.

MPPA pour un traitement programmable massivement parallèle

Une alternative intéressante pour l’informatique reconfigurable qui consomme moins et plus facile à programmer est l’usage des matrices de processeurs massivement parallèles (MPPA). C’est la voie notamment choisie par Kalray pour son DPU Coolidge. « Il faut une architecture capable de traiter les données en temps réel et de programmer simplement tous les traitements », précise, à ce titre, Eric Baissus, président du directoire de Kalray. La troisième génération de MPPA de Kalray renferme donc 80 cœurs entièrement programmables pour une consommation ne dépassant pas les 20 watts. Kalray exploite son propre moteur pour faire de la manipulation de données, c’est en quelque sorte une évolution de l’architecture d’un DSP. Parmi les avantages du DPU MPPA, citons l’évolutivité des performances au sein d’une puce, d’une puce à l’autre ou de plusieurs puces, l’exécution en parallèle de dizaines de tâches critiques hétérogènes, y compris l’inférence IA, mais aussi la facilité de programmation.

Vers des FPGA SoC

Pour diminuer le nombre de composants et le nombre d’interconnexions et donc les coûts, certains acteurs comme Intel, Microsemi ou Xilinx (AMD) proposent des FPGA sur SoC, c’est-à-dire des dispositifs qui combinent une structure programmable FPGA couplée à un ou plusieurs processeurs embarqués (souvent un ou des cœurs ARM, Micrsoship vient toutefois de lancer un FPGA SoC sur un Risc-V). Les solutions FPGA SoC sont également moins chères, consomment moins d’énergie et sont plus faciles à intégrer dans une conception. Elles s’intègrent aussi mieux dans une SmartNIC à l’image de la SmartNIC Ethernet 25GE d’Asterfusion basée sur un Marvell Octeon TX CN9670 qui contient 24 cœurs ARM intégrés à plusieurs coprocesseurs d’accélération matérielle.

Dans cette galaxie des SmartNIC/DPU/FPGA, les fondeurs historiques de CPU et GPU Intel, AMD et Nvidia sont extrêmement prolifiques grâce à des développements internes, mais aussi aux nombreux rachats effectués. Déjà, Nvidia avait racheté Mellanox en 2020 pour ses solutions d’interconnexion (ConnectX). À noter que Nvidia et Mellanox étaient des partenaires technologiques très proches depuis des années dans le monde des supercalculateurs (HPC). Nvidia avait aussi racheté Cumulus Networks pour son système d’exploitation réseau Linux ouvert. (lien vers https://www.lemondeinformatique.fr/actualites/lire-apres-mellanox-nvidia-acquiert-cumulus-networks-79007.html). Enfin, Nvidia, tout comme Intel et AMD (via le rachat de Pensando), fait partie prenante du projet Monterey de VMware pour repenser les infrastructures sous VMWare Cloud Foundation (VMware vSphere, VMware vSAN et VMware NSX) dans les datacenters en utilisant les ressources des accélérateurs matériels. « Les annonces récentes de BlueField sont au cœur du projet Monterey de VMware. Désormais, certaines entreprises peuvent obtenir un accès immédiat au projet Monterey de VMware via BlueField sur Nvidia LaunchPad. LaunchPad permet aux administrateurs informatiques de déployer des applications basées sur les données pour des tests rapides et de prototyper des workflows sur cette même pile », indique Kevin Deierling, senior vice-président du Networking chez Nvidia. Concernant le DPU BlueField, la version 3 intègre la technologie d’adaptateur ConnectX-7 et est compatible PCI 5.0. « Cette nouvelle version apporte 5 fois plus de puissance de calcul et 4 fois plus d’accélérations cryptographiques par rapport à la génération précédente, tout en offrant une rétrocompatibilité totale via la plateforme Nvidia Doca », rapporte Kevin Deierling.

Intel, de son côté, est très présent sur ce marché notamment via ses développements internes avec le lancement de son IPU en 2021 (lien vers https://www.lemondeinformatique.fr/actualites/lire-intel-devoile-une-puce-d-acceleration-reseau-83313.html). Google déploie actuellement les plateformes IPU d’Intel basées sur des FPGA (en deuxième génération 200G). Rappelons que l’IPU basé sur FPGA d’Oak Springs Canyon décharge les fonctions de virtualisation du réseau telles que Open Virtual Switch (OVS) et les fonctions de stockage comme NVMe over Fabric, RoCE v2, et fournit un bloc de chiffrement renforcé offrant une connectivité Ethernet 2x100Gb plus sécurisée et à haut débit. Intel teste aussi un IPU ASIC (nom de code Mount Evans). « Notre premier IPU ASIC a été développé conjointement avec Google Cloud. Mount Evans a été conçu dès le départ avec des technologies clés. Par exemple, il fournit un moteur de traitement de paquets programmable pour les pare-feux et le routage virtuel. De plus, Mount Evans implémente une interface de stockage NVMe à accélération matérielle à partir de la technologie Intel Optane pour émuler les périphériques NVMe. Mount Evans offre aussi une accélération avancée de la cryptographie et de la compression en tirant parti de la technologie Quick Assist d’Intel », détaille Mikael Moreau en charge de la communication chez Intel France, faisant le relais des différentes personnes d’Intel que nous avons questionnées. Lors de son denier événement Intel Vision à Grapevine, au Texas en mai dernier, le fondeur a dévoilé sa future roadmap qui prévoit, dès 2023- 2024, des IPU de troisième génération de 400G et par la suite, sur la période 2025-2026, des IPU de 800G. Face à son rival, AMD a cassé sa tirelire en rachetant Xilinx en octobre 2020 pour la somme faramineuse de 35 Mds de dollars. Xilinx est notamment connu pour sa gamme complète Alveo. En avril dernier, AMD a continué ses emplettes et mis la main sur la prometteuse startup Pensando pour 1,9 milliard de dollars. À noter que Pensando compte parmi ses clients IBM Cloud et Oracle Cloud.

Des challengers en embuscade

Face à ces géants, il existe aussi des acteurs encore indépendants qui comptent bien se positionner sur le marché comme Fungible qui a développé ses propres DPU pour accélérer le traitement des requêtes NVMe/TCP. Le fabricant a même remplacé les cartes Mellanox par sa technologie dans sa baie FS1600. De son côté, le français Kalray (spin-off du CEA créée en 2008) commercialise sa carte accélératrice, la K200-LP, basée sur son DPU MPPA et qui supporte les protocoles NVMe et NVMe-oF sur TCP & RoCE. Techniquement, c’est une carte PCIe Gen4 offrant 2 ports de 100 Gb/s Ethernet, capable de délivrer plus de 2 MIOPS et 12 GB/s par carte (pour les protocoles TCP RoCE), avec une faible latence de 30 microsecondes. La gamme de baies de stockage FlashBox (développée par son partenaire technologique Viking Enterprise Solutions) en est d’ailleurs équipée. Précisons que Kalray, en complément de son offre hardware, fait aussi un pas dans le logiciel puisque le fondeur a annoncé en début d’année l’acquisition d’Arcapix spécialisé dans la gestion des grands volumes de données pour les applications de calculs intensifs. Arcapix permet donc d’ajouter cette couche logicielle qui vient au-dessus de ces cartes.

Enfin, les SmartNIC intéressent aussi les acteurs de la sécurité comme par exemple Palo Alto Networks qui équipe ses pare-feux virtuels de SmartNIC sous BlueField-2 de Nvidia pour mieux analyser les flux grâce à des fonctions évoluées de visibilité, de chiffrement, de firewalling et de micro-segmentation. Idem pour Aruba, mais avec, cette fois-ci, un DPU d’origine Pensando.