Un défi lié aux systèmes IA autonomes consiste à maintenir des performances fiables en production. Pour remédier à cet enjeu, Databricks a acquis Quotient AI, une start-up spécialisée dans l'évaluation et l'apprentissage par renforcement des agents IA. Sa technologie analyse en continue leur comportement et détecter les écarts susceptibles d'entrainer des défaillances. Cette jeune pousse a été co-fondée en 2023 par Julia Neagu (CEO) et Freddie Vargus (CTO) à Boston dans le Massachusetts, tous deux ayant précédemment travaillé chez GitHub respectivement en tant que directrice data science et ingénieur ML senior pour Copilot. Quotient AI indique avoir conclu des partenariats avec des entreprises incluant aussi bien des start-ups que des plus grandes entreprises (Fortune 500) sans pour autant citer de références. « Elles ont utilisé Quotient pour surveiller les systèmes IA en production, s'assurer que leurs agents respectaient les politiques strictes de l'entreprise et affiner le réglage des agents afin d'obtenir des gains de performance à deux chiffres de manière constante », explique la start-up.

Avec ce rachat, Databricks va renforcer les capacités de surveillance des agents dans ses solutions Agent Bricks et Genie ainsi que dans son tout dernier outil, Genie Code. « Databricks fournit déjà des outils puissants pour évaluer et améliorer les agents IA. Avec Quotient, nous renforçons ces capacités sur l'ensemble de notre plateforme grâce à une couche d'évaluation et d'amélioration continue qui surveille le comportement des agents en production, détecte les problèmes tels que les hallucinations et les raisonnements erronés avant les utilisateurs, et utilise ces signaux pour améliorer continuellement les performances au fil du temps », explique le spécialiste en datastore.

Genie Code pour les data ingénieurs

En parallèle du rachat de Quotient AI, Databricks a donc également annoncé Genie Code, un agent IA orienté data engineering et data science pour réaliser de manière autonome des tâches complexes telles que la construction de pipelines, le débogage des pannes et la maintenance des systèmes de production. Par exemple, à partir d'un seul prompt, Genie Code est capable d'explorer des ensembles de données, former un modèle d'apprentissage automatique, créer un pipeline de données, et générer un tableau de bord décisionnel.

Genie Code s'adresse aux data ingénieurs et data scientist. (Crédit Databricks)

« Contrairement aux agents qui se concentrent uniquement sur l'écriture de code, Genie Code fonctionne également comme un agent de production proactif. Il surveille vos pipelines Lakeflow et vos modèles IA en arrière-plan, trie les défaillances, gère les mises à niveau des runtimes de routine et enquête sur les anomalies avant même que votre équipe ne s'en aperçoive », assure le fournisseur. « Pour ce faire, il s'intègre profondément à Unity Catalog afin de comprendre les données, la sémantique et les politiques de gouvernance de votre entreprise. Genie Code surpasse largement un agent de codage leader en termes de performances, avec des résultats plus de deux fois supérieurs dans des tâches concrètes de datascience. » Selon l'éditeur, pour des tâches de data science, son produit surpasse les principaux agents de codage en termes de qualité de code avec un score de 77,1 % contre 32,1 %.