Databricks a dévoilé Open Sharing, un protocole open source conçu pour que les entreprises partagent des modèles IA, des compétences d’agents, des tableaux de bord et des données non structurées sans avoir à copier ni déplacer ces ressources. Ce projet est en fait une évolution d’un projet né en 2021 baptisé Delta Sharing et qui avait pour ambition de créer un protocole ouvert pour un partage de sécurisé en temps réel entre entreprises, indépendant de la plateforme où les données résident. Il s’appuyait sur Delta Lakehouse et prenait en charge le format de stockage en colonnes Apache Parquet. De son côté, Open Sharing prend en charge les tables Iceberg de plus en plus utilisées dans le cadre de l’IA.

Concrètement, Open Sharing facilite le partage de ressources IA sans qu’il soit nécessaire de copier, déplacer ou répliquer les ressources elles-mêmes. L’accès se fait de manière sécurisée avec un système d’identifiants temporaires. L’échange peut se faire sur différents environnements (on premise, cloud privé ou public). Databricks a d'ailleurs noué des partenariats avec les fournisseurs de stockage (Everpure, Minio, Qumulo et Vast pour intégrer un connecteur Open Sharing. A noter que le protocole open source est placé sous l’égide la Fondation Linux et sa division LF Data & IA.

Une réduction des coûts d’intégration pour les entreprises

La capacité de partage des ressources IA sans créer de copies dupliquées pourrait contribuer à réduire la complexité de l'intégration, à améliorer la gouvernance et à limiter les coûts opérationnels liés à la mise en œuvre des systèmes IA dans différents environnements pour les DSI, a déclaré Ashish Chaturvedi, responsable de la recherche chez HFS Research. « Toutes les organisations qui développent des IA, comme les systèmes multi-agents, se heurtent au même obstacle : le modèle, la compétence et l'utilisateur résident sur trois plateformes différentes. Le coût d'intégration est énorme et croît de façon exponentielle avec chaque nouveau partenaire, client ou équipe interne », observe l’analyste.

Dans le même esprit, Dion Hinchcliffe, responsable du pôle DSI chez The Futurum Group, a souligné que la réduction des frais généraux opérationnels pourrait aider les DSI à réduire les coûts cachés de l'intégration liés aux déploiements IA : « Aujourd'hui, les coûts cachés ne se limitent pas au développement du modèle. Ils englobent les efforts constants de packaging, de traduction, de synchronisation et de gouvernance nécessaires à l'opérationnalisation des ressources IA au-delà des frontières organisationnelles. »

Les ressources IA deviennent des actifs

Cette réduction des coûts devient d'autant plus importante que les entreprises commencent à considérer les ressources IA comme des actifs métiers à partager, a déclaré Stephanie Walter, responsable du pôle IA chez HyperFrame Research. « Les entreprises prennent rapidement conscience que la valeur ne réside plus uniquement dans les données elles-mêmes. Elle réside dans le contexte, la logique et l'intelligence qui les sous-tendent. Les approches existantes permettent un partage efficace des données, mais elles ne prennent souvent pas en compte l'ensemble des aspects liés à l'IA », a déclaré l’analyste. Elle ajoute, « Open Sharing s'inscrit pleinement dans cette évolution, car il étend le modèle de partage au-delà des tables et des fichiers pour inclure les artefacts qui alimentent les flux de travail IA ». Pour Hinchcliffe, cet alignement devrait être un atout pour les DSI qui cherchent à déployer l'IA dans l'ensemble de leurs systèmes : « Ils privilégient de plus en plus les chaînes d'approvisionnement IA aux lacs de données isolés d'auparavant. »

Par ailleurs, Ashish Chaturvedi a souligné que ce protocole peut aider les DSI à accélérer la monétisation de leurs investissements en IA. Pour les DSI, la rapidité avec laquelle ils peuvent partager les ressources d'IA entre partenaires, filiales et clients détermine la rapidité avec laquelle ils peuvent rentabiliser leurs investissements en IA. Si le partage d'une compétence d'agent nécessite six semaines d'intégration, l'opportunité est perdue. Si un simple appel de protocole suffit, l'IA se transforme en une activité de distribution, a-t-il déclaré.

Une amélioration de la productivité des développeurs

Pour bénéficier de ces avantages, les développeurs devront toutefois déplacer plus efficacement les ressources IA entre différentes plateformes. Les analystes ont souligné que la capacité d'OpenSharing à réduire la complexité de l'intégration pourrait améliorer considérablement la productivité des développeurs. « Ils ne veulent pas recréer la même ressource pour chaque environnement utilisateur, et les entreprises ne souhaitent pas que chaque interaction avec un partenaire ou un client se transforme en discussion sur la migration de plateforme », explique Stéphanie Walter.

De fait, Ashih Chaturvedi considère ce protocole comme unique dans le secteur, car « aucun autre protocole ouvert ne couvre les compétences d'agents et les modèles IA en tant qu'objets partageables et gouvernés ». Stéphanie Walter, en revanche, perçoit l'ouverture du protocole comme une nouveauté : « Ce qui est plus intéressant, c'est la combinaison : un protocole ouvert, l'interopérabilité multiplateforme, la gouvernance de la Linux Foundation et un modèle d'actifs plus large qui s'étend au-delà des ensembles de données pour inclure les modèles IA, les compétences des agents, les tableaux de bord, les applications et les données non structurées.» Elle ajoute « la nouveauté ne réside pas dans le fait que Databricks ait inventé le partage, l'accès sans copie ou la distribution de type marketplace. Ces fonctionnalités existent déjà sous diverses formes sur le marché », en citant les offres de Snowflake, telles que les intégrations Zero-Copy.  La différence, cependant, a noté l'analyste, est que Snowflake n'autorise la copie des données que si le fournisseur et le destinataire utilisent tous deux Snowflake.