Depuis plus d'une décennie, les architectures cloud ont été conçues autour d'une séparation délibérée entre le stockage et le calcul. Dans ce modèle, le stockage est devenu un simple lieu de conservation des données, tandis que l'intelligence résidait entièrement dans la couche de calcul. Cette conception fonctionnait bien pour les tâches d'analyse traditionnelles opérant sur des données structurées et tabulaires. Ces charges de travail sont prévisibles, s'exécutent souvent selon un calendrier défini et impliquent un nombre réduit de moteurs de calcul opérant sur les ensembles de données. Mais à mesure que l'IA remodèle l'infrastructure et les exigences des charges de travail des entreprises, qui orientent le traitement des données vers des volumes massifs de données non structurées, ce modèle s'effondre. Ce qui était autrefois un avantage en termes d'efficacité devient de plus en plus un coût structurel.

Pourquoi l'IA met en évidence le coût de la séparation

L'IA introduit des exigences fondamentalement différentes de celles auxquelles les entreprises sont habituées en ce qui concerne les charges de travail analytiques. Au lieu de tables et de lignes traitées par lots par un moteur, les pipelines d'IA modernes traitent désormais de grandes quantités de données non structurées et multimodales, tout en générant de grands volumes d'intégrations, de vecteurs et de métadonnées. Dans le même temps, le traitement est de plus en plus continu, de nombreux moteurs de calcul accédant à plusieurs reprises aux mêmes données, chacun extrayant les données du stockage et les modifiant selon ses propres besoins. Le résultat n'est pas seulement un transfert accru de données entre le stockage et le calcul, mais aussi un travail redondant supplémentaire. Le même ensemble de données peut être lu à partir du stockage, transformé pour l'entraînement du modèle, puis relu et remodelé pour l'inférence, et encore une fois pour les tests et la validation, en engageant chaque fois le coût total du transfert et de la transformation des données. Dans ces conditions, il n'est pas surprenant que les data scientists consacrent jusqu'à 80 % de leur temps à la préparation et au traitement des données, plutôt qu'à la création de modèles ou à l'amélioration des performances.

Si l’on peut facilement ignorer ces inefficacités à petite échelle, celles-ci deviennent rapidement une contrainte économique majeure à mesure que les charges de travail liées à l'IA augmentent, car elles se traduisent non seulement par des heures perdues, mais aussi par des coûts d'infrastructure réels. Par exemple, 93 % des entreprises déclarent aujourd'hui que leurs GPU sont sous-utilisés. Les GPU haut de gamme coûtant plusieurs dollars de l'heure sur les principales plateformes cloud, cette sous-utilisation peut rapidement se traduire par des dizaines de millions de dollars de calcul payant gaspillés. Les GPU occupant une place de plus en plus importante dans les budgets d'infrastructure, les architectures où les GPU sont en attente d'E/S deviennent de plus en plus difficiles à justifier.

Du stockage passif au stockage intelligent

Les inefficacités mises en évidence par les charges de travail liées à l'IA indiquent un changement fondamental dans la manière dont le stockage et le calcul doivent interagir. Le stockage ne peut plus exister uniquement en tant que système d'enregistrement passif. Pour prendre en charge efficacement les charges de travail liées à l'IA moderne et tirer le meilleur parti des données dont disposent les entreprises, le calcul doit se rapprocher de l'endroit où se trouvent déjà les données. L'économie du secteur le montre clairement. Un téraoctet de données stocké dans un système de stockage traditionnel représente en grande partie un centre de coûts. Lorsque ces mêmes données sont transférées vers une plateforme dotée d'une couche de calcul intégrée, leur valeur économique est multipliée. Les données elles-mêmes n'ont pas changé : la seule différence réside dans la présence d'un système de calcul capable de transformer ces données et de les présenter sous une forme utile. Plutôt que de continuer à déplacer les données pour capturer cette valeur, la solution consiste à rapprocher le calcul des données. La préparation des données doit avoir lieu une seule fois, là où se trouvent les données, et être réutilisée dans tous les pipelines. Dans ce modèle, le stockage devient une couche active où les données sont transformées, organisées et fournies sous des formes optimisées pour les systèmes en aval.

Ce changement modifie à la fois les performances et l'économie. Les pipelines sont plus rapides car les données sont pré-préparées. Le matériel reste plus productif car les GPU passent moins de temps à attendre des E/S redondantes. Les coûts liés à la préparation répétée des données commencent à disparaître. Dans ce nouveau modèle, le « stockage intelligent » transforme les données, qui ne sont plus simplement stockées, mais deviennent une ressource continuellement comprise, enrichie et prête à être utilisée dans tous les systèmes IA. Au lieu de laisser les données brutes enfermées dans des référentiels passifs et de s'appuyer sur des pipelines externes pour les interpréter, le stockage intelligent applique des calculs directement dans la couche de données pour générer des transformations persistantes, des métadonnées et des représentations optimisées à mesure que les données arrivent. En préparant les données une seule fois et en les réutilisant dans tous les workflows, les entreprises permettent au stockage de devenir une plateforme active plutôt qu'un goulot d'étranglement. Sans ce changement, les entreprises restent prisonnières de cycles de traitement redondant des données, de remodelage constant et de coûts d'infrastructure croissants.

Se préparer à l'infrastructure de l'ère de l'IA

La séparation du stockage et du calcul dans le cloud était la bonne décision architecturale à l'époque. Mais les charges de travail de l'IA ont fondamentalement changé l'économie des données et révélé les limites de cette approche, une contrainte qui, d'après mon expérience, a tué de nombreuses initiatives d'IA en entreprise. Et c’est l'une des principales raisons pour lesquelles j'ai fondé DataPelago. Alors que le secteur a commencé à se concentrer sur l'accélération des différentes étapes du pipeline de données, l'efficacité ne se mesure plus à l'aune des gains marginaux tirés des architectures existantes. Elle se mesure désormais à l'aune de la création de nouvelles architectures qui rendent les données utilisables sans préparation répétée, sans mouvement excessif et sans gaspillage de puissance de calcul. À mesure que les exigences de l'IA se précisent, il apparaît de plus en plus clairement que la prochaine génération d'infrastructures sera définie par la manière dont le stockage et le calcul seront intelligemment associés. Les entreprises qui réussiront seront celles qui feront du stockage intelligent le fondement de leur stratégie d'IA.