Avec Jericho4, Broadcom accélère l'interconnexion des datacenters IA distants

Dans la gamme des puces réseaux pour datacenter, Broadcom est devenu une référence en ciblant les charges de travail HPC et IA. Le fournisseur vient de dévoiler la puce de commutation Ethernet Fabric Jericho4 capable de connecter plus d’un million de XPU (unités de traitement comprenant les GPU, TPU et autres accélérateurs d'IA). Ce composant vient compléter les Tomahawk 6 et Ultra annoncés en juin dernier pour des interconnexions à grande échelle. Gravé en 3 nm, la puce comprend plusieurs fonctionnalités intéressantes. Ainsi, elle intègre des ports (hyperport selon Broadcom) capable de gérer des débits de 3,2 Tbps (combinant 4 ports de 800 Gigabit Ethernet) entre différents sites. Un seul système Jericho4 peut évoluer jusqu'à 36 000 HyperPorts.

Elle comprend par ailleurs le support de HBM et une fonction de « mise en mémoire tampon profonde » pour gérer des séquences de données importantes sans perte de paquets et avec des performances importantes même en cas de congestion du réseau. Sur ce point, la puce prend en charge le RoCE (RDMA sur Ethernet convergé) pour une transmission de données fiable sur des distances supérieures à 100 kilomètres. Enfin la sécurité est assurée par le standard MACsec (Media Access Control Security) pour le chiffrement des données.

L'importance de la gestion du HBM soulignée

L’arrivée de Jericho4 n’a pas laissé indifférent les analystes. Pour Lian Jie Su de chez Omdia, l’usage de la HBM améliore les conceptions précédentes, car elle peut augmenter considérablement la capacité mémoire totale et réduire la consommation d'énergie de l'interface mémoire E/S. Cela entraîne un traitement des données plus rapide que les méthodes de mise en mémoire tampon traditionnelles. Même si cela peut accroître les coûts des interconnexions entre centres de données, l’analyste pense qu'un traitement et un transfert de données plus rapides peuvent supprimer les goulots d'étranglement et améliorer la répartition de la charge de travail de l'IA, augmentant ainsi l'utilisation des centres de données sur plusieurs sites. « Jericho4 est très différent de Jericho3 : Jericho4 est conçu pour les interconnexions longue distance, alors que Jericho3 se concentre sur les interconnexions au sein d'un même centre de données », a-t-il indiqué, ajoutant que « à mesure que les entreprises et les fournisseurs de services cloud déploient davantage de centres de données d’IA sur différents sites, ils ont besoin d'interconnexions stables pour répartir les charges de travail d’IA de manière hautement flexible et fiable. »

D'autres ont souligné que Jericho4, construit sur le processus à 3 nanomètres TSMC, augmente la densité des transistors pour prendre en charge davantage de ports, une mémoire intégrée et une plus grande efficacité énergétique, des caractéristiques qui peuvent s’avérer essentielles pour traiter d'importantes charges de travail liées à l'IA. « Jericho4 offre une évolutivité sans précédent, ce qui le rend idéal pour coordonner le traitement d’IA distribué sur de vastes fermes de GPU », a reconnu Manish Rawat, analyste en semi-conducteurs chez TechInsights. « La mémoire HBM intégrée facilite la gestion localisée et en temps réel de la congestion, ce qui évite de recourir à des signaux complexes entre les nœuds lors d'opérations d’IA à fort trafic. Le chiffrement amélioré sur puce garantit la sécurité du trafic entre les centres de données sans compromettre les performances. » Toujours selon lui, ces avancées font de Jericho4 bien plus qu'un commutateur haute performance : c’est une pierre angulaire potentielle pour les structures de réseau d’IA, y compris les topologies hyper-mesh et les superclusters GPU.

Un atout pour l'infrastructure IA distribuée des hyperscalers

Les analystes pensent que Jericho4 pourrait changer la conception des centres de données axés sur l'IA, en particulier pour les hyperscalers comme Amazon Web Services, Microsoft Azure et Google Cloud. Sa capacité à prendre en charge des interconnexions longue distance de plus de 100 km. En effet, la séparation des ressources de calcul et du stockage sur des distances à l'échelle d'une ville peut créer des zones d’IA régionales plus flexibles et plus résilientes. « L'intégration de la technologie HBM marque une transition vers les « commutateurs intelligents », qui intègrent directement le calcul, la mise en mémoire tampon et l'analyse en ligne dans la structure du réseau », a fait valoir Manish Rawat. « Jericho4 améliore également la sécurité en prenant en charge la commutation cryptée native, ouvrant ainsi la voie à un réseau zero trust au niveau matériel. Grâce à des interconnexions à haut débit résistantes à la congestion, il simplifie la mise à l'échelle de l'IA en réduisant la dépendance à l'égard de réseaux overlay complexes ou de structures propriétaires. »

De son côté, Lian Je Su fait remarquer que Broadcom exerce déjà une influence significative dans le domaine de l'interconnexion des centres de données. « La combinaison de Jericho4 avec ses autres puces, notamment Tomahawk Ultra et Tomahawk 6, permettra aux entreprises et aux hyperscalers d'investir dans davantage de centres de données hyperscale dans un plus grand nombre de zones géographiques », a pointé l’analyste. « Ces sociétés n'ont pas besoin de concentrer les charges de travail de l'IA dans un seul centre de données et peuvent s'appuyer sur un réseau de centres de données haute performance pour exécuter les charges de travail de formation et d'inférence de l'IA », a-t-il ajouté.