Grâce à l'intelligence intégrée dans son équipement de réseau Ethernet Spectrum-X, Nvidia met en avant une amélioration de près de 50 % de la bande passante en stockage, selon un post publié sur le blog du fournisseur. Spectrum-X est une combinaison du commutateur Ethernet Spectrum-4 et de la carte réseau  SuperNIC BlueField-3 de l'entreprise, qui prend en charge le protocole Roce v2 (RDMA over Converged Ethernet) pour un accès direct et plus rapide à la mémoire flash sur Ethernet. Le commutateur Spectrum-4 SN5000 dispose de 64 ports Ethernet à 800 Gbps pour une bande passante totale allant jusqu'à 51,2 Tbps. Nvidia déclare avoir ajouté des extensions Roce pour proposer un routage adaptatif et le contrôle de congestion, de sorte que les paquets de données sont envoyés via les routes réseau les moins encombrées pour réduire la congestion ou contourner une panne.   

Les paquets acheminés de manière adaptative peuvent arriver à destination dans un ordre désordonné, et l'unité de traitement de données (DPU) BlueField-3, qui connaît l'ordre correct des paquets, les réassemble correctement. Si les paquets arrivent à destination dans le désordre, "avec l'Ethernet traditionnel, de nombreux paquets devraient être retransmis", indique le blog. Parce que le routage adaptatif est capable de réduire les collisions de flux et d'augmenter l'efficacité de la bande passante, les performances du système de stockage sont bien supérieures à celles du Roce v2 standard, affirme Nvidia. "Avec Spectrum-X, la SuperNIC ou l'unité de traitement de données (DPU) dans l'hôte de destination connaît l'ordre correct des paquets, les place dans l'ordre dans la mémoire de l'hôte et rend le routage adaptatif transparent pour l'application. Cela permet une meilleure utilisation de la structure pour une bande passante effective plus élevée et des résultats prévisibles et cohérents pour les points de contrôle, la récupération des données, et plus encore", explique le blog.   

Accélérer le réseau pour booster le stockage 

Le stockage est un élément souvent négligé dans l'IA, éclipsé par l'accent mis sur les processeurs et les accélérateurs les GPU. Les grands modèles de langage (LLM) mesurent plusieurs téraoctets et tout cela doit être déplacé pour être traité. Ainsi, plus vous pouvez déplacer les données rapidement, mieux c'est, afin que les GPU ne restent pas inactifs en attendant que les données leurs soient fournies. Nvidia indique avoir testé les fonctionnalités du Spectrum-4 avec son supercalculateur IA Israel-1. Le processus de test a mesuré la bande passante en lecture et en écriture générée par les clients serveurs Nvidia HGX H100 accédant au stockage, d'abord avec le réseau configuré en tant avec le protocole Roce v2 standard, puis avec le routage adaptatif et le contrôle de congestion de Spectrum-X activés, a indiqué Nvidia.   

Les tests ont été effectués en utilisant une gamme de serveurs GPU comme clients, avec de 40 à 800 GPU. Dans chaque cas, le réseau Spectrum-X amélioré a surpassé la version standard, avec une bande passante en lecture améliorée de 20 % à 48 % et une bande passante d'écriture améliorée de 9 % à 41 % par rapport au réseau Roce standard, selon Nvidia. Une autre méthode pour améliorer l'efficacité est le point de contrôle (checkpointing), où l'état du travail de traitement est enregistré périodiquement afin que, si l'exécution de l'entraînement échoue pour une raison quelconque, elle puisse être redémarrée à partir d'un état de point de contrôle enregistré plutôt que de recommencer depuis le début. Les fournisseurs de stockage DDN, Vast Data et Weka s'associent à Nvidia pour intégrer et optimiser leurs solutions pour Spectrum-X.