HPC : La course aux flops dopée aux GPU

Le K Computer (voir illustration principale) est actuellement le supercalculateur le plus puissant du monde selon le classement du Top500.org. Il est construit par Fujitsu pour le Riken Advanced Institute for Computational Science (AICS) situé à Köbe au Japon. Dans le détail, le K Computer affiche une puissance de calcul effective de 8 pétaflops, soit 8 millions de milliards d'opérations en virgule flottante par seconde, c'est-à-dire 3 fois celle du Tianhe 1-A chinois, le précédent champion du monde. À titre de comparaison, le supercalculateur Tera 100 du CEA en France et conçut par Bull pour les besoins de la simulation militaire nucléaire française, offre des performances de 1,05 pétaflops ce qui le classe quand même 9e du classement mondial et n°1 en Europe. Pour le site HPCWire, Bull a d'ailleurs été reconnu comme l'un des rares constructeurs au monde à concevoir et développer des supercalculateurs de quelques téraflops à plusieurs pétaflops et capables de fonctionner 24h/24. Cocorico ! Il faut dire que le marché du HPC est largement dominé par les Américains avec près de 50% de parts de marché, selon IDC, contre environ 30% pour les Européens. Cray Inc, SGI, IBM, HP (dont le centre d'expertise et de benchmark sur le HPC est basé à Grenoble) et Dell (dont le Solution Center HPC est situé à Saint-Denis) sont des acteurs très actifs sur ce juteux marché (voir encadré). HPC : du lobbying auprès des responsables européens Depuis peu, l'Europe se réveille. D'ailleurs, certains industriels et fournisseurs européens (Allinea, ARM, Bull, CAPS Entreprise, Eurotech, Partec, STMicroelectronics et Xyratex) unissent leurs forces pour créer la plateforme technologique européenne du calcul haute performance. Tous ces acteurs se sont associés à des organismes de recherches comme le BSC (Barcelona SuperComputer), le CEA, le CINECA, le Fraunhofer, Forschungszentrum Jülich et le LRZ HPC. « L'objectif de ce projet est de définir les programmes en matière de recherche en Europe de façon à développer des technologies européennes à chaque niveau de la chaîne de production des solutions HPC, on espère ainsi avoir des budgets d'un niveau supérieur pour développer des nouvelles technologies comme le projet Mont-Blanc (ndlr : plateforme embarquée CPU /GPU très puissante). C'est une démarche de lobbying auprès des politiques européennes» explique Jean Pierre Panziera, directeur technique de la Business Unit HPC chez Bull. Cette initiative est, toujours selon Bull, source d'emplois, de valeur ajoutée, et un stimulant pour les étudiants et les chercheurs universitaires du domaine. Le HPC, à la conquête des entreprises À la base, les supercalculateurs n'intéressaient que la communauté scientifique pour des calculs très pointus... Aujourd'hui, le HPC ne leur est plus exclusivement réservé. Il commence à séduire de plus en plus les grands comptes, les grosses PME et même les entreprises de taille moyenne dans tous les secteurs d'activités. «Le HPC commercial boosté surtout par l'écosystème applicatif dans de multiples domaines tels que l'industrie, la finance, la recherche pétrolière, la culture comme le cinéma est en forte croissance, tous ces secteurs ont besoin de puissance efficace. De plus, les prix deviennent accessibles...» constate Cyril Laurie, responsable technique chez AMD. Un avis que partage Stéphane Quentin, responsable communication pour Nvidia France et Belgique, qui indique que certaines banques (qui ne souhaitent pas être citées) françaises utilisent déjà des systèmes HPC à base de GPU (cartes Tesla conçues par Nvidia à moins de 2 000$) pour le calcul de la prise de risque dans les assurances. De même, on peut citer Dell qui a équipé l'université de Bordeaux, SGI qui a été choisi par Total pour une machine d'une puissance de 2,3 pétaflops pour augmenter la puissance de traitement du groupe ou encore Bull qui a fourni à Petrobas, un supercalculateur bullx pour développer de nouvelles techniques d'imagerie de la sub-surface pour l'exploration et la production pétrolière. Sans oublier Quinta, une société spécialisée dans la postproduction qui avait fait appel durant l'été 2011 au savoir-faire de HP pour répondre à ses besoins en matière d'effets spéciaux et d'intégration d'images 3D.
Enfin, IBM qui envisage de décliner sa plateforme Watson (à base de processeur Power 7 avec pas moins de 2880 coeurs) en France pour des métiers divers comme le corpus juridique, le trading financier et l'économie, mais surtout la santé. En effet, Watson pourrait assister des médecins pour affiner les diagnostics ou envisager des idées alternatives en analysant simplement les symptômes, les antécédents familiaux et les analyses médicales. «Le HPC, on le trouvera partout dans de nombreuses entreprises, les besoins sont importants. Chez Dell, le HPC est aussi une priorité, nous allons d'ici au mois d'avril créer une division dédiée qui va s'adresser aux entreprises de + 500 salariés et aux grands comptes, c'est un message fort» indique Christophe Leroy, responsable serveurs et réseaux chez Dell France. D'autre part, l'arrivée de distributeurs à forte valeur ajoutée comme Stordis (plutôt spécialisé sur l'infrastructure réseau avec des référencements comme Fujitsu et Myricom) sur le marché français montre bien l'intérêt des entreprises pour le HPC. Si le HPC séduit de nombreux acteurs, en revanche l'investissement est important en moyens techniques, humains et financiers surtout pour s'attaquer au marché haut de gamme (les centres nationaux), dominé par Bull et IBM en Europe.
Encadré : Le marché mondial du HPC en quelques chiffres

Selon le cabinet Intersect360 Research, le marché traditionnel du HPC (dominé par le calcul scientifique, aussi appelé High Performance Technical Computing) représentait encore, en 2011, 71 % du marché mondial. Quant au HPBC (High Performance Business Computing) qui répond plus aux besoins commerciaux et business à savoir les services financiers, les médias/divertissements, le traitement d'événements complexes, l'optimisation des processus métiers ou encore les environnements virtuels, il s'accapare 29 % du marché global du HPC. À ce titre, ce dernier marché est appelé à se développer fortement. Toujours selon Intersect360 Research, le chiffre d'affaires global du marché HPC est en hausse de 22,4 % depuis la crise de 2009, atteignant 25,6 milliards de dollars en 2010. Ce chiffre d'affaires correspond essentiellement aux serveurs, au stockage, aux logiciels, aux services et aux produits réseau, les serveurs restant le principal segment, malgré un léger fléchissement. L'Amérique du Nord conserve la tête avec 46,6 % (en 2011), mais ce continent voit sa part se réduire légèrement, tandis que les régions EMEA (30,8 %) et Asie-Pacifique (20 %) s'affichent en croissance.

Aujourd'hui, deux approches s'affrontent autour des microarchitectures HPC. L'approche classique CPU (processeur central) et la deuxième qui se concentre sur une architecture à base de GPU (processeur graphique). Dans ce match, chacun défend ses positions : Nvidia et ses GPU Tesla, AMD et ses puces Opteron 6200 (couplés à ses GPU d'origine ATI) et Intel avec ses processeurs Xeon E5 et ses cartes baptisées MIC (Many Integrated Core).

«Pour l'heure, le GPU est perçu comme un accélérateur au processeur central pour le calcul massivement parallèle» affirme à juste titre Bruno Stefanizzi, ingénieur spécialisé dans les cartes graphiques chez AMD. En effet, les fabricants mettent en avant le CPU car les applications (sans arithmétiques dédiées à l'époque comme la double précision) ont d'abord été conçues sous ce type de plateforme (du code x86 pour la majorité). « C'est historique en quelque sorte, l'Europe a massivement investi dans le HPC autour du CPU depuis des années, contrairement aux pays émergents plus enclins à adopter rapidement  le GPU car ils n'ont pas cet héritage » reconnaît Stéphane Quentin, responsable communication France et Belgique pour Nvidia. Aujourd'hui, les GPU sont capables de fournir plus de puissance de calcul, mais surtout pour des consommations inférieures (voir encadré).

Le GPU en passe de devenir la référence ?

«À l'avenir, il est possible que la tendance s'inverse. Les applications tourneront sur des GPU et feront appel aux CPU pour du code généraliste » souligne Pierre Panziera. Un exemple : le film Avatar où Weta R&D et Nvidia Research ont développé une solution logicielle de ray tracing pouvant prendre en charge les milliards de polygones requis dans les séquences complexes d'Avatar. De ce fait est né un nouveau moteur de prétraitement, nommé PantaRay qui, avec une exécution sur des GPU, s'est révélé 25 fois plus rapide que sur des CPU. Par exemple, la scène d'un hélicoptère survolant un gigantesque troupeau de centaines de créatures qui volent au-dessus de l'eau, avec une montagne recouverte d'arbres en arrière-plan, a été prétraitée en seulement un jour et demi grâce à PantaRay. Cette même scène aurait requis une semaine avec les méthodes précédentes. «Effectivement le GPU accélère certains algorithmes spécifiques, mais il existe pour l'heure peu de fonctions dans les applications qui sont adaptées aux GPU », souligne Bruno Stefanizzi. En effet, l'efficience est toujours meilleure sur le CPU, 90% contre 60% environ pour le GPU. Mais de nombreux partenaires comme l'INRIA ou ClusterVision et les fondeurs travaillent à l'amélioration des algorithmes pour augmenter le rendement du GPU.

Aujourd'hui, le marché de la production se partage entre CPU, 90%, et GPU, 10 %. La tendance actuelle est peut-être une combinaison des deux approches qui permet d'améliorer le rendement énergétique. Curie, le premier grand supercalculateur hybride installé en France au Très Grand Centre de Calcul (TGCC) géré par le CEA et conçu par Bull, en est un parfait exemple en combinant GPU et CPU via une extension récente de 288 GPU Nvidia M2090 installés dans 144 lames Bull B505. On le voit bien, le GPU de Nvidia pousse ses pions face à Intel et AMD et leurs processeurs x86. Il faut dire que Nvidia a, depuis des années, beaucoup investi dans son architecture Tesla et surtout dans sa plateforme de développement Cuda (voir dernière partie).

MIC, un cluster de CPU pour contrer les GPU

Pour contrecarrer les plans de Nvidia, Intel compte sur son projet MIC (Many Integrated Core), le « petit dernier » d'Intel présenté au dernier salon Supercomputing à Hamburg. «MIC, connu sous le nom de code Knight Corner, se présente sous la forme d'une carte sur laquelle seront regroupés plus de cinquante coeurs de traitement x86 sur une même puce gravée en 22 nanomètres (nm)» résume Stephan Gillich, directeur HPC et Workstation EMEA d'Intel. Le fondeur précise que sa puce est la première à atteindre 1 téraflops en double précision (64 bits), ce qui donnera des résultats plus précis. Cette carte, pilotée par un OS Linux, a d'abord été conçue pour accélérer certaines applications très parallélisées (au-delà du Teraflop pour la double précision). L'enveloppe thermique devrait être assez faible, et ce en incluant de la mémoire DDR5. Et avec les directives OpenMP (Open Multi-Processing), il sera possible de forcer la main au système pour décharger les processeurs du serveur et exploiter directement les cartes MIC. Lors du salon à Hamburg, Intel avait dévoilé un châssis bi socket Xeon équipé de huit cartes MIC délivrant une puissance de calcul de 7,3 Gigaflops.

D'autre part, Intel investit sur le superordinateur appelé Stampede qui sera déployé en 2013 au Texas Advanced Computing Center de l'Université du Texas. Le supercalculateur disposera d'une performance de 10 pétaflops (10 millions de milliards d'opérations par seconde). Les processeurs E5 (microarchitecture Sandy Bridge offrant le double de performance par rapport  au processeur Xeon 5600) assument 20% de la performance du supercalculateur, tandis que les puces Knight Corner contribuent aux 80% restant, soit environ 8 Pétaflops. Pour l'heure, Intel ne communique pas les détails exacts sur la consommation d'énergie et sur la disponibilité des cartes MIC mais elles sont attendues dans 9 à 15 mois chez les partenaires OEM. Elles feront alors face au GPU (nom de code Kepler) de Nvidia qui sera gravé en 28nm, soit environ trois fois plus puissant et efficace que les actuels GPU (nom de code Fermi). En 2012, la bataille s'engage donc entre Nvidia et ses GPU et Intel et AMD et leurs CPU X86. Et après ? Pour l'heure, il est assez difficile de se projeter sur les projets futurs de chaque fondeur. Néanmoins, si AMD parle de son projet Fusion (GPU et CPU dans le même coeur) à l'horizon 2015, Nvidia, pour sa part, évoque son plan baptisé Denver qui intégrerait l'architecture ARM pour la partie CPU dans un GPU.

Encadré : En route vers l'exaflopique

« À l'horizon des cinq années à venir, les demandes en terme de performance vont croître bien plus rapidement que la croissance annuelle du chiffre d'affaires du HPC estimé à 10% » indique Jean Pierre Panziera, directeur technique de la Business Unit HPC chez Bull. D'ici à 2020, on approchera l'exaflops, soit une puissance de calcul 1 000 fois supérieure à celle d'aujourd'hui, le pétaflops. Conséquence de cela, il faudra repenser les architectures actuelles du HPC largement dominé par le classique CPU. D'autant que deux autres paramètres rentrent en jeu, ce sont la densité et surtout la consommation énergétique à maîtriser. « En Europe, on s'est fixé l'objectif ambitieux de ne pas dépasser les 10 MWatts en terme de consommation, aux États unis, c'est 20 MWatts », remarque Jean-Pierre Panziera. Il faudra donc intégrer plus de performance dans des emplacements identiques avec une maîtrise de la consommation énergétique, un défi stratégique ! À ce titre, notons que le Commissariat à l'Energie Atomique (CEA), le Grand Equipement National de Calcul intensif (GENCI), Intel et l'Université de Versailles Saint-Quentin-en-Yvelines (UVSQ) ont créé en 2009 un laboratoire qui travaille sur la recherche exascale.

Déjà, des fournisseurs comme Bull ou IBM travaillent sur des supercalculateurs plus économes en énergie. IBM va d'ailleurs mettre cette année en service un supercalculateur construit pour le Lawrence Livermore National Laboratory, un laboratoire du Département de l'Énergie. En terme de puissance, ce système sera capable d'atteindre les 20 pétaflops (20 millions de milliards d'opérations par seconde). Ce sera l'un des plus grands supercalculateurs au monde, mais aussi l'un des plus économes en énergie. Il consommera toujours entre 7 à 8 MW, selon IBM ! Mais pour Nvidia, l'objectif de 20 MW aux États-Unis demandé par le département américain de l'Énergie (DOE) peut être atteint en 2022. Mais pour atteindre ce niveau d'efficacité, il faudra améliorer l'usage énergétique de 50 fois et, pour ce faire, obtenir des moyens financiers importants du privé et du public, et ce au niveau mondial.

« Au-delà des performances intrinsèques des architectures GPU/CPU, c'est la plateforme de développement qui fera la différence » annonce Jean-Pierre Panziera, directeur technique de la Business Unit HPC chez Bull. Un avis que partage Christophe Leroy, responsable serveurs et réseaux chez Dell France, qui met aussi en avant le long processus de validation d'une application sur une architecture HPC. Et depuis quelque temps, les approches se multiplient pour tirer parti le plus possible de la puissance brute des GPU, une technique appelée GPGPU pour General-Purpose Computation on Graphics Processing Unit.

Déjà, Microsoft avec son API DirectCompute compte bien tirer parti des avantages de la puissance de parallélisation des processus sur les GPU. Tout comme Open CL (Open Computing Language), soutenu entre autres par AMD. D'ailleurs, Open CL fait figure de pierre angulaire comme le rappelle Cyril Laurie, responsable technique d'AMD. C'est un standard (offert par Apple à la communauté sous l'égide du Khronos Group) de programmation véritablement ouvert et libre de redevance pour les calculs d'ordre général sur des architectures hétérogènes (processeurs CPU et GPU). De nombreux éditeurs (Autodesk, Dassault Systèmes, Optis, etc.) l'utilisent.

Cuda, une plateforme complexe mais aboutie

Pour Nvidia, Open CL est certes un standard, mais il prend le plus petit dénominateur commun. C'est pourquoi Nvidia pousse de son côté sa plateforme Cuda, en quelque sorte une extension évoluée d'OpenCL pour les GPU. «Cela fait des années que nous travaillons et investissons  pour proposer notre plateforme de traitement parallèle Cuda aux développeurs» résume Stéphane Quentin, responsable communication France et Belgique pour Nvidia. En outre, Cuda s'est récemment enrichie de trois principales améliorations avec déjà la révision de l'outil Visual Profiler (analyse de performance automatisée), ce qui ouvre une voie plus facile pour l'accélération des applications. Ensuite, Cuda renferme un nouveau compilateur, basé sur l'infrastructure du compilateur Open Source très répandu LLVM (Low Level Virtual Machine). Ce compilateur augmente, selon le fondeur, jusqu'à 10 % la vitesse de performance des applications. Enfin, la taille de la bibliothèque Nvidia Performance Primitives (NPP) a doublé avec des centaines de nouvelles fonctions d'imagerie et de traitement du signal. Preuve du succès de Cuda, selon Nvidia, plus de 470 universités et institutions dans le monde enseignent ce mode de programmation dans leurs programmes d'étude. D'autre part, la plateforme Cuda compte aujourd'hui plus de 1,2 million de téléchargements.

Plus simple de travailler avec du code x86 pour MIC

Face à Cuda, Intel avec MIC met en avant sa compatibilité x86 et donc une approche beaucoup plus simple pour les développeurs qui veulent porter leurs applications. «MIC prône la rupture dans les calculs parallélisés au sein des architectures de processeurs traditionnels, car vous pouvez réutiliser une grande partie du code» indique Stephan Gillich, directeur HPC et Workstation EMEA. En effet, l'architecture MIC est exploitable avec les mêmes outils de développement (C, C++ et Fortran) que ceux destinés aux puces x86. L'objectif d'Intel : proposer une plateforme aussi performante que le GPU mais beaucoup plus facile à programmer.

Précisons enfin qu'AMD travaille sur une spécification baptisée HSA (Heterogeneous Systems Architecture) de bas niveau qui permet de distribuer des taches à différents niveaux de processeurs CPU et GPU, Open CL devrait en tirer parti.

Encadré : Linux domine, mais Microsoft avance... autour du HPC Cloud.

C'est un constat, Linux domine le marché du HPC, il suffit de voir le site Top500.org qui classe les 500 supercalculateurs, les plus puissants dans le monde. Plus de 90% de ces machines et clusters fonctionnent sous Linux soit environ 455 machines parmi les 500 supercalculateurs répertoriés. Prenons par exemple les derniers clusters x86 SGI Ice X (basés sur des processeurs Xeon E5, nom de code Sandybridge et sous une architecture Infiniband), ils fonctionnent au choix sous Suse Linux Enterprise ou Red Hate Entreprise. Les serveurs HPC d'IBM (de type SystemX ou BladeCenter), de leur côté, sont également souvent associés à Linux (distribution Red Hat, Suze, Oracle ou Asianux) ou à AIX (Unix) et IBM i (ex I5/OS).

De même, Bull qui commercialise ces systèmes au choix sous Red Hat Enterprise Server, Suse Linux Enterprise server et bullx Linux. À ce titre, Bull intègre et contribue à de nombreuses communautés Open Source (comme BonitaSoft, eXo, JBoss, JOnAS, Nagios, OpenLDAP, PHP, PostgreSQL, Samba, Tomcat, WebMin...) pour créer des infrastructures et des applications sans oublier la plateforme NovaForge (ensemble d'outils Open Source) dont l'objectif est de réduire la charge globale de développement, d'optimiser la gestion des coûts et des délais et d'améliorer la qualité des livrables. Face à cette hégémonie de Linux dans le monde du HPC, Microsoft est bien présent avec Windows HPC Server 2008. À l'instar de Dell (certains modèles dans la gamme PowerEdge) et HP (certains modèles dans la gamme Proliant), les clusters Bullx peuvent être d'ailleurs livrés sous Windows HPCS préinstallé. Depuis quelque temps, les développeurs peuvent utiliser Windows Azure (via le SDK Windows Azure HPC) Scheduler dans Windows HPCS. Microsoft apporte, en quelque sorte, le HPC dans le cloud et met en avant l'initiative de l'entreprise Pixar (avec son moteur de rendu « RenderMan » disponible en mode cloud via Windows Azure). Pour ce faire, l'éditeur de Redmond propose des outils pour créer et gérer des applications qui relient de manière transparente les clusters locaux et Windows Azure. Le SDK Windows Azure HPC Scheduler permet, en effet, de transmettre des applications HPC (ou des charges de travail en général très parallélisées) à un service Azure.