ArticleInfrastructure & Cloud
Les NCP défient les hyperscalers pour les charges de travail IA
CoreWeave, Crusoe, Fluidstack, Lambda Labs, Nebius et Scaleway sont des néocloud providers (NCP) qui rivalisent avec des hyperscalers tels qu'AWS, Azure et Google pour offrir des services de traitement GPU à la demande.

L'acronyme NCP désigne, en fonction de son interlocuteur, un neocloud provider, un national cloud provider ou un new cloud provider. Pour une question de simplicité, et à titre totalement arbitraire, nous nous en tiendrons à la première définition. Les néocloud providers sont en fait des fournisseurs qui proposent des services de traitement GPU en tant que service (GPUaaS). Certains sont des start-ups. Certains ont commencé à agréger des GPU pour le minage de cryptoactifs avant de se tourner vers le GPUaaS. D'autres ont pour activité principale la construction et l'exploitation de centres de données. Ils espèrent tous tirer parti de la demande croissante en matière d'IA, d'apprentissage automatique, d'analyse de données et d'autres cas d'utilisation qui nécessitent des calculs haute performance. Ils évoluent également dans un contexte économique où le capital-risque est facilement accessible pour tout ce qui touche à l'IA.
5 points clefs sur les néocloud providers
Les NCP sont des fournisseurs de cloud spécialisés, entièrement axés sur les GPU haute performance, qui offrent une infrastructure spécialement optimisée pour les charges de travail IA/ML exigeantes. Les responsables réseau doivent se préparer aux exigences uniques de ces environnements centrés sur l'IA, qui nécessitent une bande passante élevée et une faible latence. Ces fournisseurs proposent souvent des prix plus compétitifs et une disponibilité plus rapide pour les GPU de pointe face aux hyperscalers. Les responsables réseau doivent tenir compte des coûts de sortie des données et des performances de connectivité afin de garantir la réalisation des économies globales sur les coûts de calcul de l'IA. Les NCP utilisent des structures réseau avancées à haut débit (telles que InfiniBand ou RoCEv2 Ethernet) essentielles pour les performances des clusters d'IA. Les responsables réseau doivent s'assurer que les interconnexions de leur réseau d'entreprise sont capables de répondre à ces exigences strictes en matière de débit et de latence. Bien que sécurisés, les néocloud providers peuvent offrir moins de services de sécurité intégrés que les hyperscalers, ce qui confère à l'entreprise une plus grande responsabilité en matière de contrôle de la sécurité du réseau. Il est essentiel de vérifier minutieusement leurs certifications de conformité et de mettre en œuvre une gestion des identités et des accès (IAM) robuste pour les charges de travail IA. Les NCP seront probablement intégrés à une stratégie multicloud existante, servant de hub spécialisé pour la formation IA. Les responsables réseau doivent concevoir des architectures flexibles pour gérer de manière transparente les flux de données et les politiques de sécurité dans cet écosystème cloud plus diversifié.
Emmenés par CoreWeave, Crusoe, Fluidstack, Lambda Labs, Nebius et même Scaleway, les néocloud providers concurrencent les hyperscalers généralistes (AWS, Azure et Google) qui proposent également des services GPUaaS. La différence réside dans le fait que les NCP sont des fournisseurs spécialisés qui se font concurrence sur les prix et la spécialisation technologique. Selon Fortune Business Insights, le marché mondial du GPU-as-a-service représentait 3,23 milliards de dollars en 2023 et devrait atteindre 49,84 milliards de dollars d'ici 2032, soit un taux de croissance de 36 %. (Cette estimation inclut à la fois les hyperscalers et les néoclouds.)
Neoclouds vs hyperscalers
Pratiquement toutes les entreprises ont une relation de travail solide avec au moins un hyperscaler, et probablement plusieurs si l'on inclut Oracle et IBM. Alors, si tous proposent des GPU en tant que service, pourquoi choisir un néocloud provider ? Selon Owen Rogers, directeur de recherche senior pour le cloud computing à l'Uptime Institute, la réponse est simple : le prix. En agrégeant les chiffres des trois hyperscalers et des trois prinicpaux NCP, Uptime calcule que le coût horaire moyen d'une instance Nvidia DGX H100 achetée à la demande auprès d'un hyperscaler était de 98 dollars. Lorsqu'une instance équivalente est achetée auprès d'un néocloud, le coût unitaire tombe à 34 dollars, soit une économie de 66 %. M. Rogers explique : « Les néocloud providers peuvent bénéficier de coûts moins élevés car ils n'ont pas besoin de maintenir une grande variété d'infrastructures nouvelles et anciennes. Les hyperscalers, en revanche, fournissent une gamme diversifiée de processeurs, de cartes graphiques et d'équipements spécialisés pour divers cas d'utilisation à plus grande échelle, qu'il s'agisse d'infrastructures, de plateformes ou de services logiciels. Les clouds hyperscalers proposent généralement des dizaines de produits, avec des millions d'articles individuels à la vente. En revanche, les NCP ne proposent qu'une poignée de gammes de produits, avec quelques dizaines de variantes. Cette spécialisation leur permet de fonctionner avec un personnel moins diversifié, d'optimiser un parc informatique homogène à grande échelle et de réduire les frais généraux de gestion. Ces économies peuvent ensuite être répercutées sur les clients sous forme de prix plus bas. »
Les hyperscalers pourraient, s'ils le souhaitaient, réduire le prix de leurs offres GPUaaS afin de concurrencer les néocloud providers sur le plan tarifaire, ajoute M. Rogers. Mais ils n'y sont pas obligés. Les entreprises qui envisagent d'adopter un NCP doivent peser tous les autres facteurs qui jouent généralement en faveur des acteurs historiques. Les centres de données hyperscale sont sécurisés, conformes aux réglementations, fournissent un ensemble d'outils de gestion et de surveillance familiers aux services informatiques des entreprises et ne nécessitent pas la négociation d'un nouveau contrat avec un nouveau fournisseur. « Les hyperscalers disposent d'une base d'utilisateurs captive. Pour de nombreux clients, il est plus simple de payer plus cher pour utiliser leur hyperscaler existant pour les instances GPU que de trouver une alternative moins coûteuse », explique M. Rogers.
Coût par heure et par serveur en fonction de l'utilisation pour les hyperscalers par rapport aux NCP

Selon l'Uptime Institute, lorsqu'on fait appel à un fournisseur de cloud établi, une infrastructure dédiée est moins coûteuse que le cloud public si les niveaux d'utilisation moyens sont maintenus à 22 % ou plus. Ce chiffre passe à 66 % lorsqu'on utilise un NCP. (Crédit Uptime Institute)
NCP par rapport à l'infrastructure dédiée sur site
Uptime a également calculé la différence de prix entre une infrastructure GPU dédiée sur site, un hyperscaler et un NCP. Uptime a déterminé que si une entreprise atteignait et maintenait un taux d'utilisation de 22 % d'un cluster d'infrastructure dédié au fil du temps, elle réaliserait des économies par rapport à un hyperscaler. Toutefois, pour réaliser des économies par rapport à un néocloud provider, l'entreprise devrait atteindre un taux d'utilisation de 66 %. « Franchir le seuil des 66 % serait difficile pour tous, sauf pour les déploiements d'IA les plus efficaces. Dans ce scénario, de nombreuses entreprises réaliseraient des économies en utilisant un NCP plutôt qu'en déployant leur propre infrastructure », selon Uptime.
Avantages et inconvénients du néocloud
Les néocloud providers offrent de nombreux avantages en plus de leur prix : leurs centres de données sont à la pointe de la technologie en matière de refroidissement liquide, de réseau Infiniband, de GPU Nvidia de dernière génération, d'évolutivité pour répondre aux besoins des entreprises et de flexibilité à la demande. Pour les entreprises qui se lancent dans l'IA, les NCP constituent un moyen d'expérimenter l'IA sans investir massivement dans un centre de données sur site. Ils offrent également une mise sur le marché rapide. Cependant, d'autres facteurs doivent être pris en compte :
-
Accès aux GPU : Dans le contexte actuel de ruée vers l'IA, la demande en accélérateurs dépasse l'offre. Non seulement les NCP se font concurrence pour obtenir la dernière version des puces Nvidia, mais ils sont également en concurrence avec les hyperscalers et les entreprises. Les clients doivent s'assurer que le néocloud provider dispose d'un approvisionnement garanti en accélérateurs de dernière génération.
-
Course vers le bas : Les néocloud providers se font actuellement concurrence sur les prix, ce qui entraîne une course vers le bas qui n'est pas viable. Les prix sont déjà passés d'environ 8 dollars de l'heure par GPU à moins de 2 dollars de l'heure. Par exemple, Nebius propose un GPU Nvidia H200 à 3,50 dollars de l'heure, un Nvidia H100 à 2,95 dollars et un GPU Nvidia L40S à 1,55 dollar de l'heure. Les NCP devraient commencer à proposer des services supplémentaires afin d'augmenter leurs sources de revenus.
-
Consolidation des fournisseurs : comme c'est souvent le cas dans le secteur informatique, les entreprises se font concurrence tout en coopérant. Nvidia, qui domine le marché des GPU (du moins pour l'instant), investit dans de nombreux NCP. Si Nvidia n’a pas investi financièrement dans Scaleway, les deux entreprises entretiennent un partenariat stratégique très étroit. Scaleway a été sélectionnée par Nvidia pour intégrer la plateforme mondiale DGX Cloud Lepton, permettant ainsi aux clients européens d’accéder à des clusters de GPU via une infrastructure souveraine et conforme aux exigences européennes. Microsoft et Google sont à la fois des hyperscalers et des clients de CoreWeave. Il est probable que le marché commencera à sélectionner les gagnants et les perdants, et que la consolidation des fournisseurs suivra.
IA en tant que service : lorsque les entreprises élaborent leur stratégie en matière d'IA, la location de puissance de calcul GPU brute auprès des néoclouds est une solution envisageable. Mais cela nécessite toujours que l'entreprise effectue le travail hautement complexe et technique requis pour créer et exploiter l'application d'IA. À l'instar de la transition des services cloud de l'infrastructure en tant que service vers le logiciel en tant que service, un certain nombre de fournisseurs proposent désormais l'IA en tant que service, dans le cadre de laquelle ils fournissent des modèles pré-entraînés qui permettent aux entreprises de lancer leurs projets d'IA plus rapidement et plus facilement. Tous les hyperscalers proposent l'IA en tant que service, tout comme des fournisseurs tels que DataRobot, Debut InfoTech, C3.ai et Palantir.


