ArticleInfrastructure & Cloud
16 pétaflops pour le supercalculateur Jean Zay de l'Idris
Choisi sur appel d'offres il y a un an, le supercalculateur Jean Zay (un investissement de 25 millions d'euros) est ouvert depuis octobre 2019 à la communauté des chercheurs en simulation numérique et en intelligence artificielle. Installé à l'Idris, sur le plateau de Saclay, il fournit une puissance de 16 pétaflops.

C’est un nouveau cycle de calcul intensif, prometteur, qui s’est ouvert pour les chercheurs français avec le supercalculateur Jean Zay. Ce système SGI 8600 d’une puissance de 16 pétaflops, fourni par HPE, sera officiellement inauguré ce 24 janvier à l’Institut du développement et des ressources en informatique scientifique (Idris) du CNRS, sur le plateau de Saclay. Il héberge plus de 70 000 cœurs de calcul et, surtout, fait converger le monde du calcul intensif avec celui de la recherche en intelligence artificielle et de ses usages. Le système comporte une 1ère partition de 1528 nœuds de calcul (dotés de puces Xeon Gold 6248 sur architecture Cascade Lake) et une 2ème partition constituée de 261 nœuds convergés hybrides équipés de CPU et GPU (circuits graphiques Nvidia V100 SXM2 32 Go) pour des usages HPC et IA, décrit l’Idris, premier centre national à intégrer ces possibilités combinées. Chaque noeud dispose de 192 Go de mémoire, le stockage monte à 30 Po sur disques et 1 Po sur mémoire flash (bientôt 1,2 Po) et l’interconnexion repose sur un réseau Intel Omni-Path 100 Gb/s. La capacité de calcul du Jean Zay est multipliée par 10 par rapport au système Turing qu’il remplace. Au niveau mondial, le supercalculateur de l’Idris est 46e au classement Top500 des systèmes HPC les plus puissants.
« L’essentiel du surcroît de puissance vient des accélérateurs avec plus d’un millier de GPU qui apportent un facteur d’accélération considérable, de 2, 4 ou 10, si les applications savent en tirer parti », a pointé hier Denis Girou, directeur de l’Idris pendant 9 ans, qui vient tout juste de passer le témoin à Pierre-François Lavallée. L’un des chantiers engagé est justement de porter le code des applications pour qu’elles puissent pleinement exploiter ces GPU. Depuis son installation, le Jean Zay s’est déjà enrichi de 248 GPU supplémentaires, issus d’un don de 3 M€ de Facebook à l’Etat pour le programme IA for Humanity dont le supercalculateur fait partie. Le fournisseur du système, HPE, a été retenu après un appel d’offres extrêmement compétitif conduit par le CNRS et le Genci, ce dernier étant le propriétaire du système puisqu’il a la mission d’équiper à tour de rôle en ressources HPC les trois centres nationaux pour la simulation numérique (le CINES, le TGCC et l’Idris). Tous les 18 mois, l’un de ces centres renouvelle ses installations. « Le budget est déterminé à l’avance, nous choisissons la meilleure offre technique », a rappelé hier Denis Girou. Le contrat avec HPE a été signé il y a un an, pour un montant de 25 millions d’euros (auxquels s’ajouteront autant de coûts de fonctionnement sur 5 ou 6 ans). Les deux précédents ayant été remporté par IBM, le constructeur national Atos Bull équipant pour sa part les deux autres centres nationaux.
250 projets, un millier d'utilisateurs
Le Jean Zay a été installé entre avril et juillet 2019. Les phases de qualification ont ensuite démarré, le rôle de l’Idris étant de fournir une machine de production complètement stable avec un engagement de disponibilité de 98%. Cette période de qualification a permis à certains utilisateurs d’accéder aux ressources de la machine avant qu’elle soit entièrement stable et ouverte à tous. Trente-cinq projets sélectionnés ont ainsi pu pendant trois mois accéder de façon privilégiée au supercalculateur, en cours de stabilisation. L’ouverture à tous s’est faite en octobre. L’accès à ces ressources CPU et GPU est gratuit avec en contrepartie l’obligation de publier les résultats des recherches effectuées. Depuis un peu plus de trois mois, 250 projets et 1000 utilisateurs ont migré sur Jean Zay dont ceux de la communauté IA à laquelle une partie des ressources est dédiée avec de nouveaux modes d’allocation du temps de calcul sur la machine. Pour les projets en intelligence artificielle, cette allocation se fera « au fil de l’eau » sans recourir aux habituels appels à projet bi-annuels par lesquels passaient les utilisateurs de la simulation numérique et des applications massivement parallèles, notamment pour la recherche en climatologie, astrophysique ou mécanique des fluides.
Désormais, le Jean Zay « peut s’adapter à la volée aux deux communautés de chercheurs, HPC et IA », a souligné Jean-Philippe Proux, responsable des opérations chez Genci, lors d’un point presse, avant de donner la parole à quatre chercheurs qui ont présenté les projets engagés et les bénéfices qu’ils attendaient du système installé. Marc Baaden, directeur du Laboratoire de biochimie théorique du CNRS, travaille avec ses équipes sur la simulation et la visualisation des systèmes biologiques, des calculs très coûteux en temps. Grâce aux capacités offertes par le calcul intensif, « nous attendons une accélération d’un facteur 4 avec des résultats obtenus en une semaine au lieu d’un mois », a-t-il exposé. Dans ce domaine, 54% des demandes concernent ce type de calcul, essentiellement pour étudier le transport des molécules (nutriments, hormones, matériel génétique…) qui contiennent des neuro-transmetteurs, et comprendre les simulations. « Dans notre cas, cela revient à suivre des millions d’atomes à la trace », a indiqué le directeur de recherche. « Nous nous servons beaucoup de la visualisation, les modifications au niveau des molécules peuvent être assez minuscules, nous comptons beaucoup sur l’approche de l’IA pour montrer des schémas cachés dans les données ». Le programme de visualisation moléculaire UnityMol devrait permettre une exploration plus interactive et immersive dans les données. « Nous nous attendons à de nombreuses retombées pour la santé, les chercheurs sont assez confiants car il y a des précédents », a précisé Marc Baaden.
Météorologie, des applications encore axées CPU
« Le calcul intensif est un enjeu majeur pour la modélisation des climats et la compréhension des climats passés et futurs », a exposé de son côté la climatologue Sylvie Joussaume. Directrice de recherche au CNRS et spécialisée dans l’étude des mécanismes des changements climatiques, elle précise que ces applications utilisent « essentiellement des CPU ». Pour tirer parti des opportunités apportées par les processeurs graphiques en termes de performances, de coût énergétique et d’intelligence artificielle, il faudra porter les codes sur ces architectures, ce qui n’est pas le cas actuellement pour les applications liées à l’environnement sauf pour une brique. « L’accompagnement autour de ces codes avec l’aide de l’Idris, dans le cadre du contrat de progrès, est un enjeu important », a souligné Sylvie Joussaume. Pour l’instant, outre la brique de la communauté environnement, 5 autres codes ont été portés sur GPU, en astrophysique, mécanique des fluides (2 codes), en chimie, ainsi qu’un code de QCD en physique théorique, a rappelé hier Pierre-François Lavallée, directeur de l’Idris depuis le 1er janvier. HPE a contribué, en faisant intervenir des ingénieurs spécialisés, à préparer ces codes pour qu'ils puissent être utilisés sur une machine plus puissante.
Parmi les autres présentations faites hier à l’Idris, l’astrophysicien Tahar Amari, spécialiste du magnétisme solaire, a exposé les enjeux stratégiques d’une météorologie de l’espace, avec une feuille de route sur 15 ans. Directeur de recherche au CNRS au Centre de physique théorique, ses recherches portent sur les éruptions solaires, ce qui les déclenche et comment les anticiper. Il mène des projets avec la Nasa, l’ESA, la DGA et le CNES. « Notre approche du côté extrême du curseur c’est comprendre pour prévoir les impacts sociétaux », a-t-il indiqué en expliquant modéliser les atmosphères par la mécanique des fluides. A sa suite, Jamal Atif, est intervenu avec une double casquette, à la fois professeur à Paris Dauphine, au sein de Lamsade, et chargé de mission « Sciences des données et IA » à l’Institut des sciences de l’information du CNRS. La nouveauté en matière d’IA vient de la mise en données du monde : « des algorithmes que l’on connaissait avant ont tout à coup commencé à bien fonctionner », a-t-il rappelé. Il a abordé la certification des algorithmes IA face aux attaques adverses, ainsi que les limites de l’apprentissage profond : boîtes noires, difficultés d’interprétation des résultats, biais dans les données… Ce qu’apporte la puissance du Jean Zay, dans le cas d’une tâche de reconnaissance d’images par exemple, c’est de pouvoir entraîner un réseau profond sur 4 GPU, en 3 heures avec un jeu de données expérimental (comme Cifar-10), et en 3 jours sur un jeu de données réel (Imagenet). L’entrainement d’un réseau robuste sur 4 GPU se fait en quelques jours sur un jeu expérimental et en 30 à 90 jours sur des images réelles. Il est parfois nécessaire de lancer plus d’une centaine de modèles, précise Jamal Atif.
Un refroidissement par eau chaude
Pour les chercheurs, l’accès aux machines se fait en fonction des demandes. Tout est mis en oeuvre pour réduire l’attente au minimum. Aux pressés qui pourraient être tentés de se tourner vers les offres payantes d’un AWS, Jean-Philippe Proux du Genci rappelle que l’accès aux ressources souveraines du Jean Zay est complètement gratuit si la recherche est ouverte, avec le support d’une quinzaines d’ingénieurs. « S’il y a une priorité très importante, on peut faire de la place », pointe-t-il. A titre d’information, le coût d’utilisation est indiqué à la communauté, de l’ordre de 60 centimes l’heure pour un GPU et d’un peu moins de 2 centimes pour un CPU. Quant à la consommation électrique du Jean Zay, elle est de l’ordre de 1,4 Mw dont 1 Mw pour la partie calcul, le reste étant consommé par le stockage et le système de refroidissement par eau chaude qui permet de limiter le coût d’exploitation. Alors que son prédécesseur utilisait un système de refroidissement par eau froide (de 16 à 12 degrés), le Jean Zay se contente d’être refroidi à 32 degrés (42 en sortie). Le supercalculateur a été nommé en hommage au ministre de l'Education nationale et des Beaux-Arts (1936-1939), co-fondateur du CNRS.


