ArticleIT & Direction
Comment répondre au défi de l'intégration des données ?
La transformation digitale a connu un fort coup d'accélérateur ces derniers mois avec l'essor sans précédent de l'utilisation de solutions SaaS ou Cloud, notamment dans des situations de télétravail. Ces solutions génèrent d'importants volumes de données, qu'il est indispensable d'intégrer afin de pouvoir les analyser. Quels sont les ressorts de l'intégration des données, comment les centraliser sans gaspiller de précieuses ressources ?
Des sources multiples qui complexifient les processus
La prolifération des applications et services hébergés sur le cloud et la démocratisation des objets connectés dans de nombreux secteurs a provoqué une véritable explosion des volumes de données.
Les sources de ces données sont multiples : elles peuvent émaner de contenus publiés sur les réseaux sociaux, de sites web, mais aussi de codes-barres lus aux caisses d’un magasin ou de formulaires administratifs saisis manuellement. 52% des entreprises ont même recours à plus de 11 sources de données différentes[1] !
Les analystes de données pâtissent de cet éparpillement : 92% d’entre eux sont contraints de s’occuper de l’intégration des données, et la même proportion d’entre eux estiment que ces sources ne sont pas toujours fiables.
Plus inquiétant encore, cette fragmentation génère des silos entre les services, dont les outils habituels n’offrent pas de visibilité unifiée. Ainsi, le code utilisé pour des publicités display d’un service marketing ne sera pas forcément compatible avec les outils de workflow d’un service commercial, ou avec les fichiers CSV d’un service financier. Ceci engendre également une redondance des outils d’intégration, et donc une hausse des coûts et de la complexité.
La centralisation des données est un passage obligé
Il existe des flux d’API qui permettent aux applications de communiquer entre elles, mais la centralisation des données est un processus fastidieux, quelle que soit l’approche adoptée.
Elle nécessite de passer par plusieurs phases, qu’il faut respecter pour garantir la qualité des données :
• Collecte des données à la source • Audit • Nettoyage des données • Modélisation et normalisation • Validation de conformité • Stockage dans un Data Warehouse.
Cette centralisation nécessite également une maintenance continue, car de nombreux évènements peuvent venir interrompre ce processus : modification ou migration de schémas, ou encore récupération après une panne.
La gestion d’un pipeline de données complexe représente donc une charge de travail considérable pour les analystes : ils consacrent en moyenne 40% de leurs ressources de pipeline à la maintenance. Leurs compétences d’analyse et de révélation du potentiel des données pour aider à la prise de décision sont ainsi trop souvent gaspillées dans des tâches chronophages.
SelonNate Spohn, General Manager de Fivetran pour la zone EMEA : « les outils habituels d’extractions de données via des API requièrent des opérations manuelles qui sont sources de nombreuses erreurs ».
L’approche ETL traditionnelle est gourmande en ressources
Il existe un débat sur les flux de travail à adopter pour produire un pipeline de données. Le flux de travail ETL (Extract, Transform, Load), habituellement utilisé, consiste à :
• Extraire des données des différentes sources • Les modéliser conformément aux besoins des analystes et des utilisateurs finaux • Les charger dans un Data Warehouse • Les synthétiser et visualiser dans un outil de BI
Ce processus comporte plusieurs inconvénients majeurs :
• Le code doit être personnalisé pour chaque transformation, ce qui engendre de la complexité • Cette personnalisation entraîne une instabilité de la base de code, et rend difficile des ajustements rapides • Il nécessite de mobiliser des ingénieurs de données dédiés, et entraîne donc des coûts importants, notamment pour les PME
Nate Spohn ajoute par ailleurs que « cette approche limitait vraiment l’aptitude des analystes à traiter de grandes quantités de données ».
L’approche automatisée ELT génère des bénéfices substantiels
L’approche Modern Data Stack de l’intégration des données est quant à elle basée sur la séquence ELT (Extract, Load, Transform), et repose sur des solutions SaaS Cloud Native. Pour Nate Spohn : « les processus d’intégration des données basés sur le cloud ont permis une standardisation devenue indispensable ».
C’est la permutation des étapes de chargement et de transformation qui permet d’éliminer la majeure partie des inconvénients cités plus haut :
• L’envoi initial des schémas standard vers un Data Warehouse évite d’avoir recours à des ingénieurs de données • Le pipeline est à la fois plus résilient et plus fiable, car les transformations ne sont appliquées qu’aux données déjà stockées • Il est également plus accessible, et sa gestion nécessite beaucoup moins de maintenance
Les gains de temps offerts par le processus ELT automatisé permettent de libérer les ingénieurs de données des tâches chronophages citées plus haut afin de se consacrer à des projets à forte valeur ajoutée comme le développement d’outils d’apprentissage automatique.
Nate Spohn évoque ainsi le cas d’uneentreprise française spécialisée dans la gestion des dépenses professionnelles, qui souhaitait synchroniser des données provenant de sources multiples dans un Data Warehouse : « Fivetran leur a permis de le faire simplement, de réduire les erreurs, et de faire gagner 40h par semaine à ses analystes de données en éliminant les tâches de maintenance ! ».
Quels outils adopter pour automatiser l’intégration des données ?
La plateforme Fivetran intègre :
• Plus de 180 connecteurs qui permettent d’extraire des données de toutes les sources • Des schémas prêts pour l’analyse • Des migrations de schémas et d’API automatiques • Une capture des données modifiées • Une disponibilité SLA de 99,9 % • Un service entièrement managé
Nate Spohn en conclut que « Fivetran est le seul pipeline de données entièrement automatisé sur le marché ».