Les entreprises utilisatrices d'IA sont confrontées à une réévaluation de leurs infrastructures, car les DSI et responsables financiers prennent conscience que les prévisions budgétaires classiques ne sont pas adaptées aux projets d'IA gourmands en ressources de calcul, explique Jevin Jensen, vice-président de la recherche sur les infrastructures et les opérations chez IDC. Selon le cabinet d'étude, les 1 000 plus grandes entreprises dans le monde sous-estimeront en moyenne leurs coûts d'infrastructure d'IA de 30% d'ici 2027.

Le coût de la mise en oeuvre de projets IA est fondamentalement différent de celui d'une nouvelle solution ERP ou d'autres systèmes informatiques que les entreprises déploient depuis des décennies, souligne Jevin Jensen. Calculer le coût des GPU, de l'inférence, du réseau et des tokens peut s'avérer beaucoup plus complexe que d'établir un budget pour un système plus traditionnel, et les DSI doivent également prendre en compte les coûts liés à la sécurité, à la gouvernance et à la formation des employés.

« L'IA est coûteuse, imprévisible, radicalement différente des projets informatiques traditionnels et sa croissance dépasse largement les capacités budgétaires habituelles, écrit l'analyste dans un billet de blog. Les applications basées sur l'IA sont souvent gourmandes en ressources, leurs modèles de consommation sont opaques et débordent du cadre des prévisions budgétaires informatiques classiques. » Les responsables informatiques sous-estiment souvent la complexité de la tarification liée au passage à l'échelle de l'IA, écrit encore Jevin Jensen. Et d'expliquer en guise d'illustration : « les modèles qui doublent de taille peuvent consommer dix fois plus de puissance de calcul. Les charges de travail d'inférence s'exécutent en continu, consommant des cycles de GPU longtemps après la fin de l'entraînement. Ce qui semblait hier un poste de dépense maîtrisé se comporte aujourd'hui comme un organisme vivant : il grandit, s'adapte et consomme des ressources de manière imprévisible. »

Impossible rentabilisation des investissements ?

Alors que les DSI peinent à estimer les coûts de l'IA, la frénésie de dépenses des grands fournisseurs d'IA tels qu'OpenAI et Anthropic devrait renforcer leur volonté de rentabiliser ces investissements, selon certains critiques. Lors d'une récente intervention dans le podcast Decoder, Arvind Krishna, PDG d'IBM, a ainsi mis en garde contre le coût de construction de 100 gigawatts de capacité de datacenters, estimé à environ 8 000 Md$, soit la puissance nécessaire pour alimenter les ambitions des grands fournisseurs en matière d'IA. « À mon avis, il est impossible de rentabiliser un tel investissement, car 8 000 Md$ de dépenses d'investissement impliquent des bénéfices d'environ 800 Md$ (par an, NDLR) rien que pour couvrir les intérêts », raille Arvind Krishna.

« L'équation est impossible », renchérit Barry Baker, directeur des opérations d'IBM Infrastructure et directeur général d'IBM Systems. À court terme, un seul datacenter d'un gigawatt coûtera probablement plus de 75 Md$, explique-t-il. « Une grande partie de ces investissements se font en parallèle, ce qui entraîne une demande supérieure à l'offre et une flambée des prix pour chaque élément de l'équation des coûts : main-d'oeuvre, béton, semi-conducteurs... », ajoute Barry Baker.

Baisse de prix des GPU en vue

Dans le même temps, la durée de vie du matériel dans les datacenters d'IA est limitée, souligne encore le responsable d'IBM. « À ces chiffres impressionnants s'ajoute le fait que les ressources de calcul devront être remplacées tous les deux ou trois ans, créant ainsi un cycle de réinvestissement continu que de nombreuses organisations n'ont pas suffisamment intégré dans leur plan à long terme », dit-il.

Jevin Jensen d'IDC reconnaît que les investissements massifs des fournisseurs et des hyperscalers, tels qu'AWS, Microsoft Azure et Google Cloud, dans l'IA pourraient maintenir les prix élevés à court terme. Après 2027, cependant, les prix des infrastructures d'IA devraient baisser, prédit-il. Les prix des GPU de fabricants comme Nvidia devraient diminuer, et les hyperscalers et les fournisseurs d'IA pourraient à terme baisser leurs prix pour stimuler la demande et tenter de récupérer leurs mises.

Le coût des systèmes support oublié

Au-delà des discussions sur les dépenses colossales consacrées aux datacenters et aux GPU, de nombreux responsables informatiques d'entreprises consommatrices de services d'infrastructure d'IA éprouvent des difficultés à estimer les coûts, selon certains experts. Nik Kale, ingénieur principal en expérience client, sécurité du cloud et plateformes d'IA chez Cisco, estime ainsi plausible, voire prudente, la prédiction d'IDC concernant la sous-estimation des coûts. De nombreuses organisations projettent leurs coûts d'infrastructure d'IA comme s'il s'agissait de workloads cloud prévisibles, ajoute-t-il. « L'utilisation se développe rapidement une fois les modèles intégrés à l'entreprise, explique-t-il. Un workflow conçu pour une seule équipe devient souvent un service partagé à l'échelle de l'entreprise, ce qui entraîne une augmentation significative de la demande non prise en compte dans le modèle de coûts initial. »

Par ailleurs, les systèmes nécessaires à la réduction des risques liés à l'exécution de l'IA, notamment le monitoring, la détection des dérives, la journalisation et les contrôles de validation, peuvent consommer plus de puissance de calcul que prévu, ajoute Nik Kale. « Dans plusieurs entreprises, le coût de ces systèmes de support a atteint, voire dépassé, celui de l'inférence du modèle elle-même », précise-t-il.

L'intérêt du FinOps

Les DSI doivent donc se montrer prudents lorsqu'ils évaluent les coûts de leur infrastructure d'IA. Pour Jevin Jensen, d'IDC, cela se traduit notamment par une dépendance croissante aux solutions FinOps, dont l'adoption n'est plus une option. Les DSI en seront la plupart du temps responsables, les équipes FinOps leur étant souvent rattachées.

Les pratiques FinOps sont essentielles pour identifier les solutions les mieux adaptées aux projets d'IA au sein des entreprises, souligne l'analyste. Les bonnes pratiques FinOps obligeront les DSI à se concentrer sur les projets d'IA présentant les meilleures probabilités de retour sur investissement, à mieux comprendre les coûts d'infrastructure et à s'adapter à l'évolution de la situation, ajoute-t-il. « L'IA a transformé les dépenses technologiques, qui passent d'une logique de consommation prévisible à un comportement probabiliste, explique Jevin Jensen. Cela signifie que la visibilité financière doit devenir continue, et non plus ponctuelle. »

Les DSI cherchent à privilégier les projets d'IA les plus faciles à rentabiliser, mais ceux-ci varient d'une organisation à l'autre, précise l'analyste ; un projet d'IA relativement simple dans une entreprise peut s'avérer impossible dans une autre. « Si vous avez une idée de projet, mais que votre concurrent y perd de l'argent, laissez-le continuer à en perdre, conseille-t-il. Si cela ne fonctionne pas, il faut changer de stratégie. »

Mesurer le rapport bénéfices/coûts

Adopter les pratiques FinOps est un bon début, mais les responsables informatiques devront aller plus loin, affirme Nik Kale de Cisco. Les FinOps fournissent traditionnellement un mécanisme de suivi des dépenses et d'allocation des coûts en fonction des ressources utilisées. Cependant, avec l'IA, les équipes de contrôle des coûts devront comprendre les performances des modèles et identifier les sources de consommation inutile de ressources au sein de leur organisation, explique-t-il. Les équipes FinOps devraient également utiliser des outils d'analyse opérationnelle permettant à l'organisation de visualiser non seulement les dépenses, mais aussi le fonctionnement des charges de travail, précise-t-il.

« Une stratégie efficace pour limiter l'utilisation inutile des ressources consiste à inciter les équipes à utiliser les modèles de taille minimale disponibles pour chaque tâche spécifique, ajoute l'ingénieur. Souvent, les requêtes peuvent être redirigées vers des modèles plus petits ou simplifiés sans impacter l'expérience utilisateur. »

Les équipes FinOps devraient également évaluer la conception de leurs systèmes de RAG, de leurs pipelines de validation et de leurs contrôles afin de garantir l'indépendance de leur fonctionnement et l'adaptation de leur fréquence d'exécution aux besoins, recommande Nik Kale. Sans oublier d'être attentives à l'utilisation des GPU. « Fréquemment, les noeuds GPU fonctionnent à une fraction de leur capacité totale en raison d'une mauvaise planification et d'un manque de gestion consolidée des charges de travail, dit-il. Une orchestration et un placement optimisés des charges de travail peuvent générer des économies substantielles. »

Éviter la dépendance à un fournisseur unique

Selon Barry Baker d'IBM, les entreprises adoptent des architectures hybrides afin d'éviter de s'engager de manière excessive auprès d'un unique fournisseur d'infrastructure d'IA. « Un investissement judicieux dans les technologies d'IA offre des opportunités d'économies importantes, ajoute-t-il. Tous les problèmes ne nécessitent pas le modèle le plus volumineux ni le temps de réponse le plus rapide. »

Les entreprises devraient envisager des techniques de quantification et de compression et déployer des modèles plus petits, optimisés pour des tâches spécifiques, plutôt que de grands modèles de langage à usage générique, reprend Barry Baker. « Privilégiez les ressources de calcul adaptées plutôt que d'opter systématiquement pour l'option la plus puissante disponible. » De nombreuses organisations peuvent également tirer profit d'une forme de patience stratégique, ajoute-t-il. « Éviter d'investir dans des capacités qui ne sont pas encore nécessaires permet aux organisations d'apprendre des pionniers qui subissent les conséquences d'une adoption trop hâtive », explique le responsable d'IBM.