L’agent Cortex Code CLI de Snowflake, récemment dévoilé, est dorénavant compatible avec dbt et Apache Airflow afin les experts des données à rationaliser les workflows d'ingénierie. « Grâce à ce support étendu, les développeurs bénéficient d'une assistance IA sécurisée et contextuelle au sein de leurs systèmes d'ingénierie des données préférés, de sorte que les équipes peuvent travailler avec les données où qu'elles se trouvent et créer, gérer et optimiser plus efficacement des workflows de niveau production », a indiqué le fournisseur dans un communiqué.
Les composants Apache Airflow et dbt sont largement utilisés dans les piles de données d'entreprise. Alors que dbt fournit un framework basé sur SQL pour transformer les données brutes des entrepôts en modèles prêts à être analysés avec des tests et un contrôle de version, Airflow orchestre et planifie des pipelines de données complexes entre les systèmes.
Éviter le changement de contexte
Cette évolution pourrait être une aubaine pour les professionnels des données et les développeurs. « Ces deux éléments (dbt et Airflow) constituent les plans de contrôle des piles de données modernes. L'intégration directe de l'assistance IA dans les couches de transformation et d'orchestration réduit les frictions, accélère le développement et améliore la gouvernance », a déclaré Phil Fersht, directeur général de HFS Research. Expliquant plus en détail comment l'intégration de Cortex Code CLI réduit les tensions et accélère le développement, Stephanie Walter, responsable de l’activité IA chez HyperFrame Research, a fait remarquer que les développeurs peuvent désormais éviter les changements de contexte, considérés comme un fléau pour la productivité.
Avant l'intégration, les développeurs pouvaient accéder à Cortex Code CLI via des outils tels que VS Code et Cursor, mais l'assistance IA restait « essentiellement centrée sur Snowflake », offrant peu d'informations sur la structure des modèles dbt ou des graphes acycliques dirigés (Directed Acyclic Graph, DAG) Airflow, selon Mme Walter. « Les développeurs et les professionnels des données devaient ainsi générer du code dans un environnement, le copier dans dbt ou Airflow, puis le retravailler manuellement pour l'adapter à la logique de transformation ou d'orchestration qu'ils maintenaient », a encore expliqué l’analyste, ajoutant qu'il s'agissait d'un flux de travail inefficace et fragmenté qui maintenait l'assistance IA déconnectée des pipelines de production réels.
S'approprier l'expérience des développeurs
On peut considérer cette intégration comme une décision stratégique de Snowflake de s'approprier l'expérience des développeurs en matière de flux de données. « Snowflake veut être la couche d'intelligence de la pile de données moderne, même lorsque les composants se trouvent en dehors de sa plateforme centrale. L'objectif final est la gravité de la plateforme. Si les développeurs s'appuient sur Cortex pour créer et maintenir des pipelines, Snowflake renforce son contrôle stratégique sur la logique des données, la gouvernance et l’habilitation de l'IA, quel que soit l'emplacement physique des données brutes », a souligné M. Fersht.
Selon lui, cette décision devrait intensifier la concurrence autour de la pile de données IA native : « Databricks se positionne depuis longtemps sur l'ouverture et la flexibilité du data lakehouse. En transférant Cortex Code CLI vers dbt et Airflow, Snowflake réduit cette différenciation en signalant qu'il peut fonctionner dans des environnements hétérogènes. » Le fournisseur a également introduit un plan d'abonnement pour Cortex Code CLI afin de permettre aux clients qui ne disposent pas encore d'une charge de travail Snowflake d'essayer l'agent de codage IA dans leurs flux de données. Il n’a cependant pas donner de détails sur cette offre.