ArticleDonnées & IA
Red Hat ambitionne de devenir la plateforme de l'IA des entreprises
Exploitant les LLM ouverts Granite d'IBM, Red Hat pousse la GenAI dans ses solutions RHEL et Openshift pour mieux relier l'IA aux applications et aux infrastructures cloud hybrides.
La semaine dernière, lors de son sommet annuel (du 12 au 15 mai à Orlando, Floride), Red Hat a misé gros sur l'IA générative, offrant une large gamme d'outils pour les équipes opérationnelles et de développement afin de les aider à créer et déployer des systèmes d'IA générative. Cela inclut des outils pour créer et gérer un jardin de modèles, entraîner et ajuster les modèles, construire des applications, et déployer l'IA générative à grande échelle dans une architecture hybride. L’éditeur n'a pas publié son propre modèle de fondation d'IA générative la semaine dernière. Au lieu de cela, elle s'est associée à IBM pour présenter les modèles de la famille Granite comme une option par défaut dans ses ensembles d'outils et comme base pour ses produits Lightspeed. Mais Red Hat avait tout le reste. Elle a livré une version de Linux - Red Hat Enterprise Linux AI - optimisée pour l'IA, InstructLab pour l'affinement des modèles, et Podman AI Lab pour la construction et les tests d'applications alimentées par l'IA.
Le fournisseur a également amélioré OpenShift AI, une plateforme lancée l'année dernière pour déployer des applications d'IA générative à grande échelle. Ces améliorations incluent la capacité de servir des modèles d'IA à la périphérie et un meilleur développement de modèles. Red Hat a également annoncé que Lightspeed, un outil d'IA générative déjà intégré comme assistant dans la plateforme d'automatisation Ansible, est étendu à OpenShift et Red Hat Enterprise Linux (RHEL). En fait, la conférence de Red Hat la semaine dernière, comme tant d'autres conférences technologiques de nos jours, était entièrement consacrée à l'IA. Bien sûr, d'autres fournisseurs proposent déjà une grande partie de ce que nous avons vu la semaine dernière :
Les modèles Granite récemment open source d'IBM ? D'autres entreprises ont également publié des IA génératives open source, y compris Databricks et Snowflake, ainsi que Meta et Microsoft - même X et Apple sont de la partie. Des assistants alimentés par l'IA ? Presque tous les fournisseurs technologiques les ajoutent à presque tous les produits. Des laboratoires de modèles d'IA ? Les data scientists ont plusieurs options. Des plateformes de déploiement d'IA ? Chaque hyperscaler en a une.
Mais deux choses distinguent principalement l'approche de Red Hat de ce que nous avons vu auparavant. Tout d'abord, les outils et plateformes de l’éditeur sont axés sur les développeurs, et pas seulement sur les équipes de data science. Cela signifie que les entreprises n'auront pas besoin de trouver des talents en IA rares et coûteux pour construire leurs systèmes. Au lieu de cela, leurs développeurs existants peuvent utiliser les outils qu'ils connaissent et aiment déjà. Deuxièmement, Red Hat se concentre sur l'indépendance de la plateforme. Les entreprises peuvent déployer sur site, dans des clouds privés, ou dans n'importe quel cloud public, et utiliser les modèles Granite d'IBM, ou l'un des modèles vérifiés par Red Hat et sa communauté, ou tout autre modèle d'IA disponible. L'objectif est de rendre plus facile, moins cher et plus rapide pour les entreprises de construire et déployer des solutions de GenAI.
Focus sur les développeurs
Il fut un temps où l'IA était l'apanage exclusif des data scientists. Créer, affiner et gérer des modèles nécessitait des compétences pointues en statistiques et en analyse de données ainsi que l'utilisation de plateformes et de langages spécialisés en data science. Cela faisait sens à l'époque du machine learning classique, lorsque les entreprises construisaient généralement leurs modèles à partir de zéro. Cela a bien changé. « Il y a peut-être eu une certaine confusion l'année dernière sur le rôle des data scientists par rapport aux développeurs concernant l'essai et la construction de prototypes d'applications utilisant des modèles de fondation », explique Michele Rosen, analyste chez IDC. « Maintenant, je pense que nous voyons le pendule se balancer vers les développeurs d'applications. »
Au lieu de construire un modèle à partir de zéro, les développeurs prennent un modèle de fondation existant, le personnalisent, et construisent un pipeline ou une application pour répondre à des cas d'utilisation spécifiques de l'entreprise, dit-elle. « Google, Amazon, etc., ont aussi diverses versions de ces stratégies de prototypage, sandboxing, expérimentation, et autres, ciblant les développeurs », dit-elle. « Mais ce que j'ai trouvé intéressant dans la stratégie de Red Hat, c'est qu'ils insistent vraiment pour que cela soit intégré dans le cycle de vie du développement logiciel existant. » Red Hat offre aux développeurs un moyen d'utiliser leur expertise actuelle pour construire des applications d'IA générative, au lieu de devoir apprendre tout un nouvel ensemble d'outils, dit-elle.
Le modèle Granite au coeur de la proposition GenAI de Red Hat
C'est presque comme si Red Hat construisait un nouveau système d'exploitation avec RHEL AI, mais pour l'IA. « C'est une plateforme de fondation », déclare Tushar Katarki, directeur principal de la gestion de produits pour l'unité des plateformes hybrides chez Red Hat. « Pensez à RHEL AI comme cela. Il y a un modèle de fondation dedans, puis par-dessus, vous avez tous ces outils et utilitaires pour aider à améliorer ce modèle, et ajouter vos propres personnalisations. Et vous pouvez contribuer à la communauté open source ou simplement le garder pour vous, si vous avez des secrets commerciaux propriétaires. » Le modèle de fondation au cœur de RHEL AI est le modèle Granite d'IBM, distribué sous la licence open source Apache 2. C'est une licence plus favorable aux entreprises que beaucoup d'autres modèles d'IA générative open source. Le modèle Llama de Meta, par exemple, utilise une licence unique qui limite la manière dont le modèle peut être utilisé et, selon certains, ne se qualifie pas comme une licence open source. De plus, IBM place également en open source ses ensembles de données d'entraînement, indique M. Katarki. « C'est encore un espace émergent, mais je pense que ce sont les modèles les plus ouverts à l'heure actuelle », dit-il. Puis il y a InstructLab, un ensemble d'outils conviviaux pour les développeurs qui permet aux non-data scientists de personnaliser le modèle. En fait, c'est pour « tout type d'expert de domaine qui veut ajouter des compétences spécifiques à son domaine », précise M. Katarki. Les utilisateurs soumettent des connaissances et des compétences dans une taxonomie plus facile à comprendre pour les humains, dit-il. « C'est l'innovation que les chercheurs d'IBM ont conçue. »
Les modèles sont généralement entraînés avec des paires question-réponse. OpenAI, par exemple, exige que les utilisateurs soumettent au moins 50 paires pour ajuster ChatGPT, mais il faut souvent des milliers de ces questions pour créer quelque chose d'utile. InstructLab utilise un ensemble de questions échantillons - quelques-unes peuvent suffire - puis examine la taxonomie des connaissances pour générer plus de paires question-réponse du même type. « Cela amplifie les données de haute qualité, les connaissances et compétences que l'utilisateur a entrées », a souligné Tushar Katarki. Ensuite, ces nouvelles paires question-réponse sont utilisées pour ajuster le modèle, pour en créer un conçu généralement pour répondre aux exigences d'une entreprise. Ce nouveau modèle ajusté peut alors être exécuté sur RHEL AI pour prototyper ou pour de petits cas d'utilisation, ou déployé via OpenShift AI à grande échelle. Si de nouvelles données arrivent et qu'une entreprise ne veut pas réentraîner le modèle, elle peut ajouter les nouvelles informations sous forme de génération augmentée par récupération, ou RAG. Cela est typiquement une base de données vectorielle ou un graphe de connaissances utilisé pour ajouter du contexte à une requête d'IA générative. Les modèles d'IA n'ont actuellement pas de contrôles d'accès intégrés - ils ne savent pas qu'ils doivent répondre à certaines questions pour certains utilisateurs et pas pour d'autres. Donc, RAG est aussi utilisé pour contenir des informations qui ne devraient pas faire partie de l'entraînement de base d'un modèle d'IA.
Ensuite, RHEL AI dispose des outils dont les développeurs ont besoin pour créer des contrôles d'identité et d'accès autour des modèles et des systèmes qui y accèdent et, encore une fois, OpenShift AI peut être utilisé pour déployer ces applications et contrôles à grande échelle. « Et tout cela vient avec un support d'entreprise et une indemnisation de la propriété intellectuelle, non seulement pour le logiciel, mais aussi pour le modèle », poursuit Tushar Katarki. Microsoft, Google, AWS, Adobe, Canva, et d'autres fournisseurs offrent également une garantie juridique pour les utilisateurs de leurs modèles d'IA. Mais ceux-ci sont principalement des modèles commerciaux et fonctionnent dans l'environnement du fournisseur. La garantie de Red Hat couvre les modèles open source Granite où qu'ils soient déployés. « C'est vraiment une valeur importante que nous apportons au client », ajoute M. Katarki.
Futur de l'IA hybride
Les petites entreprises pourraient être satisfaites d'attendre que leurs fournisseurs ajoutent l'IA générative à leurs plateformes, ou de choisir une seule plateforme d'IA cloud et de s'y tenir. Mais les grandes entreprises, ou les entreprises qui voient l'IA générative comme un avantage concurrentiel, ou celles avec des exigences réglementaires spécifiques à gérer, ou qui pourraient vouloir développer leurs projets d'IA générative sans payer les coûts élevés des API des fournisseurs commerciaux, pourraient préférer plus de contrôle et de flexibilité. « Les clients savent qu'ils ont besoin d'une histoire d'IA hybride, à travers le cloud, on-prem et la périphérie », déclare Stephen Huels, vice-président et directeur général de l'unité d'affaires IA de Red Hat. « L'IA est devenue la charge de travail hybride ultime. »
« Il y a une volonté parmi les entreprises de prendre davantage possession des actifs qui entrent dans la construction des résultats de l'IA générative », confirme Bradley Shimmin, analyste en chef pour les plateformes d'IA, l'analyse et la gestion des données chez Omdia. « Une grande partie de cela consiste à pouvoir optimiser les dépenses - et c'est vraiment là où Red Hat excelle. » Une partie de ce qui rend cela possible est la containerisation, ajoute-t-il. Les conteneurs permettent aux entreprises de déplacer facilement les charges de travail entre les centres de données sur site, le cloud privé et les clouds publics, en fonction des besoins, et facilitent la mise à l'échelle de l'infrastructure. Avec la plateforme de conteneurs OpenShift et l'automatisation Ansible, Red Hat simplifie la création, le déploiement et la gestion d'architectures complexes, comme celles requises par l'IA générative, précise Bradley Shimmin.
« Red Hat répond à un besoin évident dans les communautés de data scientists et de développeurs », dit-il. « Tant les data scientists chevronnés que les développeurs d'applications expérimentés cherchent à construire avec l'IA générative, mais pour bien le faire, et à grande échelle, vous devez travailler dans des environnements containerisés. » C'est ce qui fait ressortir la série d'offres d'IA générative de Red Hat, dit-il. D'autres fournisseurs proposent également les outils nécessaires pour construire ou personnaliser des modèles. « Sur le front de l'IA générative et de l'IA prédictive, Red Hat concurrence Vertex AI de Google Cloud, Bedrock d'Amazon, Azure AI, DataRobot, Dataiku, Databricks... » indique M. Shimmin. « Ce qui est unique chez Red Hat, cependant, c'est qu'il intègre verticalement la pile de data science à travers OS, cloud et data science. »
Fenêtre de contexte plus petite, modèles plus petits
Une des principales limitations de la stratégie IA de Red Hat aujourd'hui est que les modèles Granite particuliers que l'éditeur utilise dans RHEL AI et pour son assistant Lightspeed ont une taille de fenêtre de contexte de 8 192 tokens. La fenêtre de contexte est la quantité de mémoire qu'un modèle a dans une seule session de requêtes et réponses. La fenêtre de contexte de Granite est juste assez grande pour 24 pages de texte. En comparaison, GTP-4 d'OpenAI peut gérer jusqu'à 128 000 tokens et Claude 3 d'Anthropic en a 200 000. Cela signifie que vous pouvez télécharger un roman entier dans Claude AI. Et le dernier modèle Gemini de Google peut gérer 1 million de tokens, suffisant pour plusieurs livres Harry Potter à la fois.
Pour les entreprises cherchant à résumer ou analyser de longs documents ou de grands blocs de code, une fenêtre de contexte plus longue est extrêmement utile. Une fenêtre de contexte de 8 192 tokens est « évidemment une contrainte », poursuit Michele Rosen de IDC. « Si vous faites des choses qui impliquent beaucoup de code ou de texte, ce serait un problème. » Mais il y a de nombreux cas d'utilisation où une petite fenêtre de contexte fera l'affaire, ajoute-t-elle. « Si vous utilisez cela pour des questions et réponses, c'est un cas d'utilisation horizontal qui s'applique à de nombreux contextes », dit-elle. Les informations de base que le modèle doit avoir pour répondre aux questions, comme la base de connaissances d'une entreprise, peuvent être ajoutées au modèle via un ajustement ou un embedding RAG, dit-elle. Les modèles Granite sont également plus petits en taille que certains de leurs concurrents, entraînés sur 3 milliards à 34 milliards de paramètres. En comparaison, GPT 3.5 d'OpenAI a environ 175 milliards de paramètres et GPT-4 en aurait plus d'un trillion. Llama 3 de Meta existe en tailles de 8 milliards et 70 milliards de paramètres, avec un modèle de 400 milliards de paramètres actuellement en cours d'entraînement.
Support des agents attendu
Certains modèles plus petits peuvent parfois fonctionner aussi bien ou mieux que les plus grands, mais, en général, plus un modèle est entraîné avec de paramètres, plus il est intelligent. Néanmoins, il existe des cas d'utilisation dans lesquels un modèle plus petit peut fonctionner parfaitement - et être significativement plus rapide et moins cher. « J'ai entendu quelques clients à la conférence mentionner que le modèle allait être suffisamment bon », dit M. Rosen d'IDC, qui a assisté au sommet Red Hat. « Un client a dit : ‘Un modèle de 70 milliards de paramètres ne nous est pas utile. Nous ne pouvons pas le gérer. Nous sommes une organisation de santé et nous n'avons pas les ressources pour exécuter ce modèle plus grand.’ » Enfin, la dernière pièce manquante du puzzle de l'IA est les agents. Ces derniers sont un développement plus récent dans le domaine de l'IA générative, et sont utilisés pour gérer des flux de travail complexes en plusieurs étapes impliquant la planification, la délégation, les tests et l'itération. AutoDev de Microsoft, par exemple, utilise des agents IA autonomes pour créer un cadre de développement logiciel entièrement automatisé. Si Red Hat prend en charge les agents à un moment donné, ce serait dans OpenShift AI, qui est la plateforme MLOps, précise Tushar Katarki de Red Hat. « C'est là que je dirais que vos agents IA vivraient et seraient connectés pour effectuer divers types de flux de travail d'agents », dit-il.


