Alors même qu'une majorité d'entreprises souhaite être davantage pilotée par les données, les organisations se heurtent à des difficultés persistantes pour rendre leurs données exploitables dans des analyses. Des chiffres extraits d'une enquête IDC, réalisée auprès de 1117 travailleurs de la donnée dans le monde et sponsorisée par l'éditeur Alteryx, viennent illustrer l'ampleur du problème. Ainsi, selon cette étude, les travailleurs de la donnée perdent près de 62,4 milliards d'heures chaque année à cause de la complexité des traitements de données et du manque d'automatisation.

L'étude souligne l'omniprésence des feuilles de calcul dans le quotidien des travailleurs de la donnée. Les tableurs sont à chaque fois l'outil le plus cité, devant les solutions commerciales ou open source spécialisées, qu'il s'agisse de collecter et préparer les données (94%, contre 52% d'outils du marché et 25% d'outils open source), de les décrire ou d'effectuer des analyses diagnostiques (92%, versus 54% et 28%) et même de faire de la data science (58%, versus 45% et 32%)). Seul le développement d'applications basées sur les données fait exception, les tableurs ne servant alors qu'à 7% des répondants, 52% utilisant des solutions commerciales et 33% des outils open source. En se basant sur les résultats, IDC estime que 78 millions de travailleurs de la donnée sont des utilisateurs avancés des tableurs. Les répondants passent en moyenne 54% de leur temps sur des feuilles de calcul, mais 27% de ce temps consiste à répéter des tâches identiques chaque fois qu'une source de données est mise à jour, une perte de temps évaluée à 7 heures par semaine en moyenne (soit 800 heures par an et par employé).

Des défis multiples, sur les données et les outils

L'enquête montre aussi que près de neuf entreprises sur dix (88%) rencontrent des contraintes d'ordre technologique pour l'exploitation et l'analyse de données. Parmi les répondants, 45% aimeraient notamment gagner en efficacité sur la préparation des données et tout autant sur la collecte, tandis que 44% aimeraient bénéficier d'automatisation dans leurs feuilles de calcul. Conséquence, transformer des données en analyse exploitable demeure un défi pour 95% des organisations interrogées. Certaines difficultés sont liées aux données elles-mêmes, comme la gestion de la complexité des données (citée par 45%), la connaissance des scores de qualité des données (38%) et l'identification et l'accès à des données extérieures (32%). D'autres enjeux dépendent davantage de l'environnement de travail, comme le temps passé sur la préparation des données (39%), la complexité des outils analytiques (32%) ou la compréhension des analyses avancées (30%). À cela s'ajoutent des compétences insuffisantes. Ainsi, 44% des sondés estiment que leur organisation manque de compétences pour écrire des scripts avancés dans les feuilles de calcul. Autant pointent un déficit de compétences analytiques et statistiques avancées (machine learning / analyse prédictive et descriptive) ou un manque de compétences en développement d'application.