3 conseils pour éviter de transformer un data lake en marécage de données

Pendant des années, à l’aide de technologies comme Apache Hadoop, les entreprises ont voulu construire des data lakes, ces plates-formes de gestion de données à l'échelle de l'entreprise pour stocker toutes les informations dans leur format natif. En théorie, les data lakes servent à résoudre la question des silos d'information en concentrant dans un entrepôt unique toutes les données de l’entreprise pour les rendre accessibles à tous les utilisateurs, aussi bien pour faire de l'analyse commerciale que de l'exploration de données. Et souvent, les data lakes bruts et non réglementés ont été présentés comme la solution big data pour tout collecter et régler tous les problèmes.

Mais, ce n’est pas le constat fait par Avi Perez, CTO de Pyramid Analytics, un éditeur spécialisé en business intelligence (BI). Selon lui, les data lakes de beaucoup de clients et de prospects se sont transformés en marécages de données, c’est à dire en dépôts massifs de données totalement inaccessibles aux utilisateurs finaux. « Les bases de données coûtent vraiment cher. Et fondamentalement, le data lake répond à ce problème ». Toujours d’après Avi Peretz, si la pression du marché est la première raison qui pousse à l’adoption du data lake et s’il est à l’origine de toutes les initiatives big data, l’autre motif d’adoption d’un data lake est lié aux générateurs de données du monde réel qui génèrent des masses énormes de données qu’il faut bien stocker quelque part. « Sauf que, en réalité, cela revient pour l’entreprise à collecter des déchets. Car, au final, ces données seront jetées. L’entreprise dépense donc de l’argent pour récolter des masses de données qui ne servent à rien ».

Eviter se noyer dans son data lake

Cela ne veut pas dire que les data lake sont inutiles. Avi Perez est même convaincu que toutes les entreprises en auront besoin un jour ou l’autre. Mais, pourquoi créer un data lake qui n’apportera rien aux utilisateurs finaux ? La question se pose. Afin d’éviter que l’entreprise ne se noie dans son propre data lake, voici les trois recommandations du CTO de Pyramid Analytics :

1 - Collecter moins de données, au moins au début

Selon Avi Perez, l'une des plus grandes erreurs des entreprises est de collecter trop de données, simplement parce qu'elles en ont la capacité. C’est comme les gens qui prennent des centaines ou des milliers de photos avec leur smartphone. « Certains ont peut-être un milliard d'images sur leur téléphone, dont 99 % sont probablement bonnes à jeter et dont ils pourraient se débarrasser en un clic », a-t-il déclaré. « C’est tellement facile de prendre des photos avec son téléphone, et ça ne coûte rien ». Ces utilisateurs envisagent probablement de faire le ménage « un de ces jours ». Mais, évidemment, personne ne le fait jamais. Ils collectent des quantités énormes d’informations qui ne seront jamais utilisées de manière efficace. « Et quand ils veulent montrer une photographie particulière à quelqu'un, ils devront faire défiler des centaines de photos avant d’arriver à la bonne image », a déclaré le CTO. « C’est la même chose avec les data lake: le stockage de données dans Hadoop ne coûte pas très cher, au point qu’il est souvent considéré comme gratuit. Mais cette accumulation de données finit par compliquer l'accès effectif aux données qui pourraient contenir des informations précieuses », a-t-il poursuivi.

2 - Adopter une stratégie d'apprentissage machine

Même si l’entreprise cible un ensemble de données particulières, le recours à l’automatisation est plus que nécessaire pour extraire des données pertinentes. « Déjà, l’entreprise a besoin d’automatiser l’opération de nettoyage », explique Avi Pérez. « Qu’on appelle ceIa intelligence artificielle, apprentissage machine, ou deep learning, c'est la solution magique pour naviguer dans les données. Je pense que le moyen le plus simple d’extraire de la valeur d’un énorme data lake de 5 Po est de définir le processus qui va permettre à l’entreprise de valoriser ses données. Pour commencer, elle peut choisir un ensemble de données qu’elle connaît bien et opter pour une technique d'apprentissage machine pour l’analyser ». Selon lui, l’entreprise devra probablement acquérir de nouvelles compétences pour réaliser un travail efficace, soit en formant son personnel, soit en recrutant un personnel qualifié. « L'apprentissage machine est un domaine un peu opaque. Il n'est pas à la portée de tout le monde et nécessite des compétences très spécifiques ».

3 - Bien définir la question à résoudre

Nous revoilà au cœur du problème : il est important que l’entreprise ait, dès le départ, une vision claire du problème métier qu’elle envisage de résoudre. Avec cet objectif bien précis en tête, elle pourra supprimer facilement de sa liste les données qu’elle n’a pas besoin de collecter et choisir la technique d'apprentissage machine la plus adaptée pour extraire des informations de ces données. Par exemple, les très gros détaillants auront peut-être envie de savoir quel type de clients viennent dans leurs magasins. Ils peuvent photographier les clients qui fréquentent leurs espaces, et utiliser un réseau neural complexe (CNN) - un réseau neuronal d'apprentissage profond très performant pour résoudre les problèmes de reconnaissance d’image - pour traiter ces photos. Le réseau neural pourrait déterminer si le visiteur est un homme ou une femme, un enfant ou un adulte, un enfant et un adulte, un adolescent et un vieillard, etc. « Une fois ce travail terminé, il est nécessaire de le combiner avec un objectif commercial et d’offrir ces analyses aux utilisateurs professionnels », explique Avi Pérez. Au final, l’entreprise pourrait savoir si elle doit proposer plus de produits pour les hommes afin d’attirer plus de clients masculins. « Il est vraiment important de bien définir sa stratégie dès le départ. Sinon, la collecte tous azimuts devient un poids énorme, contreproductif pour extraire efficacement des données pertinentes ».