Pour de nombreux DSI, le défi de la mise à l'échelle de l'IA ne réside plus dans la création d'applications, mais dans la compréhension de leur coût. La tarification des modèles par tokens répond à des structures complexes, et les entreprises qui déploient une IA multi-agents sont confrontées à des dépenses en forte croissance et souvent opaques, rendant plus difficile la comparaison des fournisseurs, la mesure de l'efficacité et la justification du retour sur investissement de l'IA. Pour remédier à ce problème, la Linux Foundation a annoncé son intention de lancer la Tokenomics Foundation, une entité indépendante des fournisseurs qui développera des normes ouvertes, des benchmarks et des bonnes pratiques pour la gestion des coûts de l'IA. Plutôt que de travailler seule, la structure collaborera avec la FinOps Foundation, une autre initiative de la Linux Foundation visant à faire progresser la discipline de la gestion financière du cloud et de la gestion de la valeur IT. L'extension de la spécification FinOps Open Cost and Usage Specification (Focus), une norme ouverte initialement développée pour normaliser les données de dépenses et d'utilisation du cloud entre les différents fournisseurs, sera un élément clé de cette collaboration.

« Les deux fondations prévoient d'adapter la spécification afin de prendre en compte la consommation IA basée sur des tokens, créant ainsi un cadre commun pour mesurer, comparer et réguler les coûts IA entre les différents modèles et plateformes », a indiqué la Linux Foundation dans un communiqué. « Alors que le conseil d'administration de la Tokenomics Foundation aidera à définir les priorités stratégiques et à allouer les fonds à cette initiative, son comité technique travaillera avec les contributeurs de la FinOps Foundation pour développer les spécifications, les benchmarks et les cadres de référence nécessaires à l'intégration de l'utilisation des tokens IA dans Focus », a-t-elle ajouté. L’entité créée a déjà reçu le soutien de plusieurs sociétés notamment Accenture, Booking.com, Flexera, Google Cloud, IBM, JPMorganChase, KPMG, Microsoft, Oracle, Salesforce, SAP et ServiceNow.

Des normes communes pour mesurer les coûts et l’efficacité de l’IA

La décision de lancer une structure ad hoc visant à normaliser les indicateurs relatifs à l’utilisation des tokens comble un fossé croissant dans le déploiement de l’IA en entreprise dans les cas d’usage en production. « Le secteur manque de normes communes pour mesurer les coûts et l’efficacité de l’IA. Les DSI ont du mal à comparer les modèles et les fournisseurs, ce qui complique le suivi du retour sur investissement, l’optimisation des dépenses ou le choix des modèles offrant la meilleure valeur », a déclaré Pareekh Jain, analyste principal chez Pareekh Consulting. « En revanche, un organisme neutre peut contribuer à définir une terminologie commune, des critères de référence et des cadres comptables, à l’instar de ce qu’a fait le FinOps pour rationaliser les dépenses liées au cloud. La normalisation peut permettre aux DSI de bénéficier d’une plus grande transparence et d’une meilleure comparabilité des coûts IA entre les différents fournisseurs », a fait valoir M. Jain.

« Le défi ne réside pas seulement dans la gestion des coûts IA, mais aussi dans la manière dont les entreprises conçoivent, déploient et gèrent les applications IA à grande échelle, même si le prix par token continue de baisser », a souligné Yugal Joshi, associé chez Everest Group. « La facture brute de l’IA pour les entreprises continue d’augmenter en raison de mauvaises pratiques de conception, notamment l’application de modèles inadaptés à des problèmes spécifiques. De plus, un même flux de travail finit par coûter différemment selon les requêtes saisies et les prompts utilisateur », a fait remarquer M. Joshi. « Aucun DSI ne peut prendre de décisions budgétaires éclairées ni calculer le retour sur investissement de ces flux de travail, ce qui complique le choix des charges de travail susceptibles de générer les meilleurs résultats avec le moins d’investissement possible », a-t-il expliqué. « L’accent mis par la Tokenomics Foundation sur les normes et les bonnes pratiques pourrait aider les DSI à prendre des décisions plus éclairées concernant la conception des charges de travail », a encore noté l’analyste.

Choisir le modèle le plus rentable

Cependant, la gouvernance des coûts et les meilleures pratiques de conception ne constituent qu’une partie de l’équation. « Un autre défi auquel sont confrontés les DSI consiste à déterminer quand les modèles open source sont plus rentables que les alternatives propriétaires », explique Pareekh Jain. « Lorsque les entreprises utilisent des modèles comme Llama ou Mistral sur leur propre infrastructure, les coûts ne sont plus calculés au token, mais en fonction des GPU, de la consommation électrique et de l’utilisation de l’infrastructure », souligne-t-il. « Le défi à long terme pour la Tokenomics Foundation consistera à créer un cadre commun permettant aux DSI de comparer le coût réel des modèles auto-hébergés à celui des API IA commerciales. Déterminer le seuil à partir duquel il devient plus économique d’exploiter une plateforme IA privée plutôt que de consommer l’IA en tant que service pourrait devenir l’une des décisions financières les plus importantes en matière d’IA d’entreprise », a ajouté M. Jain.

Même si l’initiative a été dévoilée, aucune date n’a été annoncée pour le lancement officiel de la Tokenomics Foundation.