Databricks a dégainé une salve de fonctions et de mises à jour pour aider les entreprises à mieux contrôler le développement de leurs agents et applications d’IA générative. Parmi elles la fonctionnalité Centralized Governance, proposée actuellement en preview publique, pour gouverner les grands modèles de langage, qu'ils soient de source ouverte ou fermée, au sein de Mosaic AI Gateway. « Notre étude montre que la gouvernance est l'une des principales préoccupations des entreprises concernant leurs initiatives IA, compliquée par le fait que le processus comporte de multiples composantes », a expliqué David Menninger, directeur exécutif du cabinet-conseil ISG. Selon Doug MacWilliams, directeur de la technologie et de l'expérience client de la société de conseil West Monroe, la capacité de gouvernance centralisée Centralized Governance simplifie grandement les choses. « Elle garantit la cohérence de la sécurité, des contrôles d'accès et de la conformité, tout en réduisant les coûts, en supprimant les doublons et en rationalisant les frais de licence. En outre, elle facilite le suivi et la résolution de problèmes de dérive ou de partialité », a expliqué M. MacWilliams. « Dans l'ensemble, la fonctionnalité devrait aussi simplifier le processus d'approbation pour les équipes juridiques, de conformité et de sécurité, en leur permettant d'examiner et d'approuver les modèles par le biais d'une interface unique. »

Une seule requête SQL pour exécuter l'inférence par lots 

Une autre capacité pour faciliter le déploiement d'agents IA est provision-less batch inference pour aider les entreprises à exécuter une requête d'IA sans avoir à mettre en place une infrastructure dédiée. Également proposée en preview publique, cette capacité permet d'exécuter une inférence par lot via Mosaic AI avec une seule requête SQL et les entreprises paient pour l'infrastructure qu'elles utilisent », a indiqué le fournisseur. « L'inférence par lots sans provision est un grand pas en avant pour le déploiement de l'IA, car elle facilite la mise à l'échelle de l'IA et elle réduit les coûts parce qu'elle n'utilise les ressources qu'en cas de besoin », a précisé M. MacWilliams. De son côté, M. Menninger qualifie cette capacité de fonction serverless parce qu'elle évite d’avoir à configurer les choses à l'avance. « Sans cette capacité, les développeurs doivent faire un travail supplémentaire, notamment provisionner ou mettre en place certaines ressources pour traiter les demandes d'inférence », a encore expliqué M. Menninger. M. MacWilliams estime par ailleurs que l'interface basée sur SQL rend l'inférence par lots accessible aux analystes de données n'ayant pas d'expertise MLOps. « Cela ouvre de nouvelles possibilités, comme le traitement de millions de tickets de support client pendant la nuit pour repérer les tendances, l'enrichissement des données du catalogue de produits avec des descriptions générées par l'IA, l'exécution de contrôles de conformité réguliers et l'évaluation hebdomadaire des bases de données clients pour le risque de désabonnement, et tout cela sans nécessiter d'infrastructure particulière », a poursuivi M. MacWilliams.  

Le fournisseur en solutions data store a également mis à jour son application AI Agent Evaluation apportant désormais aux experts de domaine une capacité pour fournir des évaluations, d'étiquetage et de labellisation de données et définir des critères d'évaluation personnalisés, sans avoir besoin de feuilles de calcul ou d'applications personnalisées. « En facilitant la collecte de commentaires structurés, les équipes peuvent affiner en permanence les performances des agents IA et améliorer systématiquement leur précision », a fait valoir l'entreprise. Genie est un outil no-code dont l'interface permet aux utilisateurs d'analyser des données en posant des questions en langage naturel. L'outil est capable de produire des visualisations pour expliquer les données. « Avec l'API Genie, les utilisateurs peuvent soumettre des questions de manière programmatique et recevoir des informations tout comme ils le feraient dans l'interface utilisateur Genie. L'API a un état si bien qu’elle peut conserver le contexte à travers de multiples questions de suivi dans un fil de conversation », a écrit le fournisseur dans un billet de blog. 

Selon Arnal Dayaratna, vice-président de la recherche d'IDC, l'API augmente non seulement l'extensibilité des assistants conversationnels qui exploitent les données de Databricks, mais elle comble également le fossé entre la disponibilité et l'accessibilité des données, ce qui permet d'obtenir plus rapidement des informations exploitables. Un autre avantage de l'API est qu'elle démocratise l'accès aux données en permettant aux utilisateurs professionnels d'interagir avec les données à l’aide du langage naturel, si bien qu’il n’y a plus de barrières techniques pour l'expertise SQL par exemple. « Par ailleurs, l'API réduit la charge de travail des développeurs en offrant des fonctions de conversation préconstruites, et ils peuvent ainsi se concentrer sur d'autres tâches importantes au lieu de construire ces interfaces à partir de zéro », a pointé M. MacWilliams de West Monroe. En comparant l'API Genie à l'API Salesforce Agentforce récemment publiée, M. MacWilliams a déclaré que la version de Databricks était plus intégrée à leur lac de données et à leurs outils de BI, ce qui rendait l'analyse un peu plus conversationnelle par rapport à l'approche de Salesforce qui consiste à créer des agents autonomes. Selon Jason Andersen, analyste principal chez Moor Insights and Strategy, cette approche est très similaire à celle adoptée par AWS avec Amazon Bedrock. 

Une stratégie pour percer dans les agents

Les analystes pensent également que ces mises à jour ont pour objectif de rapprocher Databricks des utilisateurs professionnels et de rendre ses offres plus attractives. « En unifiant le pipeline des données à l'IA, Databricks crée une plateforme qui gère tout, des données brutes à l'IA opérationnelle, sans avoir besoin d'autres produits », a estimé M. MacWilliams de West Monroe, ajoutant que cette stratégie rend leur plateforme plus solide, qu’elle réduit le taux de désaffection des clients et augmente les revenus en élargissant la base d'utilisateurs au sein des entreprises. Dans le domaine des agents d’IA, M. Menninger de l'ISG pense que Databricks a un avantage sur les autres, car son approche est plus technique, « ce qui permet la création d'agents plus complexes qui automatisent potentiellement des activités » dans n'importe quel domaine en rapport avec les données. Mais M. Menninger pense que cet avantage se fait au détriment de ceux qui peuvent créer ces agents, parmi lesquels il y a probablement peu d’utilisateurs professionnels. « Dans cette guerre autour des agents, tous les fournisseurs essaient de prendre le dessus. Cependant, une grande partie de ce qui se passe aujourd'hui se limite à « des pseudos agents » que l’on peut appeler des chatbots d’agents. La véritable capacité d’un agent reste compliquée et technique. Elle nécessite de la programmation », a rappelé M. Menninger. « Et si Salesforce et ServiceNow semblent se concentrer sur les capacités conversationnelles, pour faciliter la création d'agents, cela se fait peut-être au détriment des types de tâches que les agents peuvent accomplir », a relevé M. Menninger.