Le décisionnel à l'heure du big data

Ce n'est plus une surprise, le concept de big data devrait avoir la part belle des investissements en 2012. Et pour cause, ce phénomène est la réponse à la multiplication des données à traiter, surtout celles qui ne sont pas ou peu structurées en provenance des réseaux sociaux, des sites de vidéos en ligne, des emails, etc. «La consumérisation IT a fortement contribué à l'explosion des données dans les entreprises et donc du big data » indique à juste titre Fabrice Endlicher, directeur des ventes Europe du Sud et Benelux du distributeur à valeur ajoutée Stordis.

En 2011, 1,8 zétabytes de données se sont échangés selon le cabinet d'études américain IDC, ce qui équivaut à remplir 57,5 milliards d'iPad d'une capacité de 32 Go. L'augmentation effrénée des volumes de données est aussi à mettre en parallèle avec l'explosion de la data mobile (usage intensif des smartphones), des usages convergents et multi-terminaux en entreprise. Bref, selon IDC, d'ici à 2020, l'accroissement du volume d'information à gérer sera 50 fois supérieur.

Fort de ce constat, on comprend mieux le phénomène du big data. Mais, cette croissance exponentielle des données interpelle sur la gestion de leur cycle de vie, leur qualité, leur sécurité et surtout leur traitement. Selon une étude menée par l'éditeur LogLogic et le cabinet de conseil Echelon One en janvier-février auprès d'un panel international de 207 entreprises, 67% de ces dernières avouent que la gestion de toutes ces données représente un enjeu important voire sensible. Sensible car les données semi-structurées et non structurées sont problématiques à exploiter contrairement aux informations transactionnelles du système d'information.

Les entreprises sont et seront confrontées aux limites des systèmes existants de base de données relationnelles qui ne sont plus à même de traiter et d'être ainsi rentables pour faire face à ces volumes énormes de données non structurées. « Il y a 10 ans, les données étaient à 70% structurées pour 30% d'informations non structurées. Demain ça serait l'inverse. Cela signifie que le datawarehouse risque de s'isoler de plus des 2/3 des données. Ce n'est donc plus acceptable » s'alarme Gilles André, directeur général de Polyspot. De plus, le poids de la donnée non structurée est extrêmement important ce qui dégrade les performances. Par exemple, l'exécution de certaines ressources et requêtes (plusieurs milliards de lignes) critiques pour l'activité de l'entreprise peut réclamer plusieurs heures à partir des systèmes traditionnels alors qu'il faut au mieux quelques secondes sur des plateformes nouvelles générations très évolutives de type «big data ».

Parallèlement à la vétusté des systèmes déjà existants en interne, les entreprises font aussi face à un déficit en compétences nécessaires pour exploiter les possibilités qu'offre le croisement des big data avec l'analyse de données. Il faut dire que les opérations à réaliser (chargement de données, extraction, transformation, traitement, etc.) réclament une certaine expertise dans ce domaine. D'ailleurs, selon les résultats d'une enquête effectuée par le groupe EMC auprès d'environ 500 data scientists, un spécialiste du big data, au niveau mondial, la majeure partie des entreprises aujourd'hui souffrent de cette carence en compétences. Ainsi, 32% des personnes interrogées estiment qu'elles manquent de compétences et de formation, 32% d'entre elles confient un manque de budget ou de ressources, 14% des entreprises avouent qu'elles n'ont pas une structure organisationnelle adaptée et 10% des personnes relèvent une pénurie d'outils et de technologies.

Un nouvel eldorado pour les éditeurs

Globalement, le big bata reprend les mêmes problématiques que le décisionnel (Business Intelligence) même si, théoriquement, la BI se concentre davantage à l'exploitation de données à des fins de monitoring et d'aide à la décision, alors que le big data, s'ouvrant en plus à des informations présentes à l'extérieur de l'entreprise, est plus focalisé sur l'utilisation d'outils d'analyse et d'algorithmes afin de générer des données prospectives devant mener à l'innovation. Cela dit, big data ou Business Intelligence, tous deux ont pour objectif des analyses de données pertinentes et en temps réel de préférence.

Ainsi, tous les acteurs spécialisés dans l'analytique, l'intégration, l'extraction et l'analyse de données s'intéressent à ce nouvel eldorado pour pousser leurs offres. On peut citer Japersoft, Pentaho ou Quantum 4D pour leur solution décisionnel mais aussi Terradata avec Aster Data Analytic Platform, EMC avec Greenplum Data Appliance Computing, Oracle avec Exadata, HP avec Vertica Analytics Platform, IBM avec Netezza et BigInsights, SAS avec Business Analytics, SAP avec Sybase IQ VLDP, Talend Open Studio for big data, etc.

Du côté des entreprises, elles se montrent attentives. « Nos clients confirment leur intérêt pour le big data, avec des Business Cases confirmés par les pilotes en cours dans les secteurs du retail, de la logistique et autour des usages du social média qui va constituer une vraie rupture technologique. Néanmoins, les technologies sont toutes encore assez récentes, et il est encore tôt pour confirmer qu'elles seront les solutions majeures dans 3-5 ans » reconnait Eric Blum, le CTO de BMC Software pour l'Europe et le Moyen Orient.

« Pour relever le défi du big data, il faut un changement radical et aller vers des bases de données en colonne ou en parallèle» affirme Eric Blum, CTO de BMC Software. Pour Patrice Gommy, directeur marketing de SGI, si l'on prend le cas précis du tableur Excel avec des milliards de lignes à traiter, c'est impossible de les gérer avec les bases de données relationnelles. « Avec 10 Go de données par jour, vous pouvez fonctionner avec l'existant, avec 1 To d'informations quotidiennes, ce n'est plus possible » ajoute Patrice Gommy. En finir donc avec la suprématie des bases de données relationnelles ? Surement, celles-ci laisseront leur place à des bases orientées colonnes (Columnar Databases), documents et massivement parallèles (MPP pour Massive Parallel Processing), bref des bases de type No SQL. A ce titre, on peut citer les bases Vertica, Apache HBase, Coach DB, MongoDB.

Prenons l'exemple d'Amazon de Google, de Yahoo ou de Facebook, ils ont été confrontés très tôt à des volumes hors du commun et ont donc cherché des solutions à leur besoin de stockage qui dépassaient les capacités des SGBD traditionnelles et en particulier des bases de données relationnelles. Ils ont ainsi développé puis mis à disposition des communautés en licence Open Source telles que Cassandra, HBase, etc...Ce type de base de données est plus économique que la base de données traditionnelle car elle est adaptée au big data. De ce fait, elle absorbe mieux les pics de charge et de temps de réponse sans oublier la gestion du fail-over. «La force d'une base de données Greenplum est son modèle d'architecture massivement parallèle qui permet d'atteindre des performances nettement supérieures à une base de données classique» constate Jean Yves Pronier, directeur marketing d'EMC France.

Hadoop, l'outil universel de traitement des hauts volumes de données

Le big data doit aussi répondre à une architecture distribuée au niveau du traitement des données non structurées, c'est-à-dire le besoin de répartir la charge sur un grand nombre de serveurs (cluster de serveurs) grâce à une abstraction totale des mécanismes de parallélisation sous-jacents, c'est le principe du Map Reduce qu'utilise Google ou encore les réseaux sociaux de type Facebook ou Linkedin. Ces grands sites disposent de volumes de données monumentaux à analyser et ne peuvent ainsi pas se contenter d'une approche de type « bases de données centric ». Map Reduce est donc un framework initialement utilisé par Google pour effectuer des recherches sur le web. Il est aujourd'hui disponible en Open Source au travers du projet Apache appelé Hadoop.

Ce framework Java, est particulièrement indiqué quand le volume total des données dépasse les capacités des bases de données relationnelles traditionnelles. De Hadoop est né plusieurs distribution dont celles  de Hortonworks (spin-off de Yahoo !), de MapR ou encore de Cloudera. C'est d'ailleurs chez Cloudera que travaille aujourd'hui le créateur de Hadoop, Doug Cutting, que nous avons pu rencontrer fin mars à Palo Alto. Ce dernier nous a expliqué d'ou venait le nom Hadoop. Il s'agit tout simplement du surnom que son petit garçon avait donné à sa peluche : un petit éléphant jaune qui symbolise désormais le framework Hadoop.

D'un point de vue technique, Hadoop n'est pas une solution de stockage de données mais un modèle de traitement de données. « La force de Hadoop ne tient pas dans ses performances mais dans sa linéarité et sa scabilité que ne font pas les outils traditionnels » souligne Fabrice Bonan, co-fondateur et directeur R&D chez Talend dont l'éditeur a récemment dévoilé le support d'Hadoop pour ses solutions d'intégration de données Open Source for big data (pour la version gratuite) et Enterprise Data Integrator for big data (pour la version payante).

Des compétences rares en France

Hadoop dispose d'une implémentation complète de l'algorithme de MapReduce et utilise le système de fichiers HDFS (Hadoop Distributed File System), un système inspiré du Google File System et une base de données orientée colonne HBase. L'architecture de Hadoop comprend aussi Hive, un logiciel d'analyse de données, développé initialement par Facebook permettant d'utiliser Hadoop avec une syntaxe proche du SQL. Si Hadoop est attrayant d'un point de vue économique (Open Source), il est très complexe à maîtriser surtout le langage MapReduce même si certains acteurs comme IBM apportent des langages (IBM Big Sheets) plus simples capable de générer du code MapReduce. «Je ne suis pas loin du compte si je dis que la France compte seulement une cinquantaine de personnes à maitriser le langage Map Reduce à l'intérieur de Hadoop» déclare Fabrice Bonan.

Pour Guy Chesnot, architecte senior autour du stockage chez SGI, il y a plus de 300 paramètres dans Hadoop qu'il faut être capable de programmer pour son application. Pas si simple... «Quelles sont les écoles en France qui forment aujourd'hui des datascientists ? Car il est fort à parier que la demande de profils spécialisés sera supérieure à l'offre de talents disponibles d'ici 5 ans» renchérit Jean Yves Pronier. IDC estime qu'en 2020 les départements informatiques du monde entier connaîtront un effectif de professionnels informatiques dédiés à la gestion des données qui sera 1,5 fois supérieur.

De nombreux secteurs d'activités concernés par la puissance de traitement

Malgré le manque de compétences, de nombreuses applications peuvent bénéficier de Hadoop dans les entreprises. Par exemple, la banque JPMorgan Chase emploie cette technologie pour la gestion des risques et la détection de fraudes. Ebay, de son côté, utilise Hadoop pour construire un nouveau moteur de recherche pour son service de vente aux enchères. Hadoop trouve aussi sa place chez des opérateurs de téléphonie mobile pour tester les nouveaux forfaits chez les clients, dans le monde financier et administratif pour des calculs complexes (détection de fraudes, calculs de primes, facturation, etc.) ou dans l'industrie (pour les tags RFID qui produisent énormément de données).

Même le New York Times exploite Hadoop pour générer des fichiers PDF à partir de ses archives. En raison de son coût extrêmement compétitif, Hadoop attire aussi bon nombre d'éditeurs et de fournisseurs IT en général. Déjà IBM a incorporé Hadoop dans son outil InfoSphere BigInsights pour l'analyse de paquets de données, et Microsoft a inclus une version (Hortonworks) de Hadoop à SQL Server 2012 et à sa plateforme Cloud Windows Azure, suite à l'abandon de son projet Dryad (plateforme LINQ to HPC). Précisons même que les utilisateurs d'Excel pourront analyser les données récupérées depuis Hadoop via Hive.

De même, les éditeurs et des fournisseurs comme Informatica, Pentaho, Terradata, Talend, VMware, IBM, Oracle, EMC/Greenplum ou encore Sybase ont ajouté le support Hadoop à leur offre big data. Face à Hadoop, il n'y a pas vraiment de concurrence. Seul un concurrent LexisNexis avec le HPCC (High Performance Computing and Communications) pense avoir abouti à une meilleure solution, plus mature que la technologie Hadoop. Aujourd'hui, LexisNexis veut contribuer à étendre l'utilisation de cette technologie, baptisée HPCC Systems, à d'autres marchés, même si elle sait clairement que Hadoop s'est déjà imposé et dispose d'une forte implantation. LexisNexis a donc rendu sa plateforme HPCC Open Source et revendique un vivier d'environ 1 000 développeurs spécialisés dans les systèmes HPCC dans le monde, dont la plupart ont été formés depuis le mois de juin 2011, date à laquelle LexisNexis a livré sa plateforme au monde du logiciel libre.

« Avec le big data, la Business Intelligence va au-delà du reporting graphique, elle offre d'avantage de possibilités algorithmiques qui permettent de mieux traiter les données, plus rapidement et de mieux les modéliser » résume Jérôme Cornillet, responsable Business solutions au département marketing chez SAS (en illustration ci-contre). En effet, aujourd'hui, avec les outils dits traditionnels de Business Intelligence, les entreprises souffrent dans le traitement et l'analyse de données. « En soi, les méthodes d'analyses des outils décisionnels ne changent pas avec l'arrivée des big data, c'est juste les capacités à calculer des hauts volumes de données multi-structurées qui ne sont plus à la hauteur. Les outils doivent donc s'adapter à la puissance que réclament les environnements big data» reconnaît Jerôme Cornillet.

Un avis que partage en partie Gilles André, directeur général de Polyspot, qui insiste sur le fait que l'outil décisionnel n'est pas le problème en soi, c'est la préparation des données qui fait défaut. «Le rôle d'une solution de Business Intelligence est simplement d'aller chercher une donnée déjà préparée, je ne suis donc pas d'accord avec l'idée de jeter les outils actuels de BI à la poubelle » explique Gilles André. A ce titre, la solution InfoWarehouse de Polyspot est de regrouper les données brutes dans un entrepôt afin de les préparer (transformation et enrichissement). La capacité à calculer des hauts volumes de données multi structurées n'est pas une chose nouvelle puisque Oracle, IBM et Teradata avec leurs appliances ou encore SAP/Sybase savent en partie le faire avec des solutions classiques, mais ces dernières sont très coûteuses car propriétaires et pas forcément simple d'utilisation. En revanche, avec ces appliances, le traitement a gagné en vitesse, ce qui prenait plusieurs heures auparavant, s'exécute en moins d'une minute.

Des appliances dédiées à Hadoop

Mais, l'intérêt croissant des entreprises pour les solutions Hadoop a changé les choses car Hadoop permet de capturer et d'analyser rapidement de très grandes quantités de données non structurées. «Hadoop est plus souple car les données sont dans des fichiers, c'est une approche intéressante quant on ne sait pas trop ce que l'on va chercher. Avec notre plateforme Watson, on utilise Hadoop, nous n'avons pas mis les données dans une base de données relationnelles» explique Philippe Bournhonesque, directeur de la stratégie Software chez IBM. Et ce, avec un coût beaucoup plus compétitif... D'ailleurs Teradata et Oracle travaillent respectivement avec Hortonworks et Cloudera, pour offrir des appliances « Hadoop ready » dédiées aux big data.

Pour EMC, la Business Intelligence actuellement déployée dans les entreprises va subsister. Elle se fera aux côtés des environnements big data. «A mon avis, les entreprises garderont les outils existants et elles créeront des compléments pour ses besoins de traitement d'importants volumes de données, c'est une combinaison des deux approches qui s'imposera » souligne Jean Yves Pronier, directeur marketing d'EMC. Un point de vue que partage bon nombre de nos interlocuteurs qui n'imaginent même pas les entreprises éradiquer l'existant en un claquement de doigt.

La technologie In Memory à la rescousse

« Les entreprises qui disposent de forts volumes de données auront besoin de fournir des informations en temps réel, c'est le cas du centre de recherche de l'Ifremer, par exemple qui reçoit une multitude de données en temps réel via ses balises un peu partout dans le monde. Un autre exemple, un site marchand comme ebay qui fait de la détection de fraude au niveau des cartes bleues doit tester la validité de la carte bancaire en temps réel» constate Patrice Gommy, directeur marketing de SGI. A ce titre, SGI a conclu, à la fin de l'année 2011, des partenariats techniques avec quatre éditeurs de solutions de BI (Business Intelligence), Kitenga, Datameer, Pentaho et Quantum4D pour proposer des serveurs Hadoop pré-configurés visant notamment les domaines où l'on traite des gros volumes de données comme la finance, les réseaux sociaux et les télécommunications.

Pour que l'environnement applicatif autour du big data réponde au mieux aux exigences du temps réel, il est aidé en cela par l'infrastructure à mémoire partagée (technologie In memory) qui permet de traiter des volumes de données importants en mémoire. Ainsi le traitement In Memory tire parti au mieux des ressources matérielles (processeurs multicoeurs, architecture multiparallèle) et fournit des réponses plus rapidement qu'un système sur disque traditionnel, entre 10 à 1000 fois plus rapide. SAS utilise la technologie In Memory avec sa fonctionnalité SAS In Memory Analytics, Oracle, également avec Cohérence ou encore SAP avec Hana. Gartner estime que 30% des applications analytiques pourraient reposer sur la technologie In Memory. «Avec In Memory, la grande distribution peut traiter et croiser plus rapidement des millions de tickets de caisse, par exemple, avec des données clients pour proposer des réponses stratégiques en temps réel » résume Patrice Gommy.

Un soucis du temps réel qui touche tous les acteurs de la Business Intelligence de Japersoft à Informatica qui vient de conclure un partenariat avec la distribution Hadoop de MapR. L'objectif étant d'analyser les données en même temps qu'elles seront diffusées depuis leur source, et ce grâce à un connecteur dont la fonction sera d'ingérer les données émises en streaming depuis l'application Ultra Messaging d'Informatica dans une implémentation Hadoop de MapR. Ultra Messaging sera chargé de copier des volumes importants d'entrées de log, d'informations liées aux transactions et d'autres types de contenu mis à jour en continu, sur un système de bus de messages, de façon à ce que les données puissent être réutilisées et analysées par d'autres systèmes. De son côté, IBM met en avant son approche temps réel via le streaming avec sa solution InfoSphere Streams. « L'idée est de préparer et de recombiner les données de tout type en temps réel » conclut Philippe Bournhonesque. D'autres mettent en avant la puissance du moteur sémantique notamment pour analyser le web en temps réel...

Le métier de l'entreprise américaine Comscore est l'analyse de données web (mesure et analyse des comportements du public et les tendances du marché), c'est l'équivalent de Médiamétrie mais à plus grande échelle. « Comscore utilise une batterie de machine pour analyser les millions de logs de navigation web des internautes consommateurs et pour obtenir des informations pertinentes et raffinées, la société exploite pour cela notre solution Sybase IQ» résume François Guérin, responsable avant-ventes de Sybase. En effet, face à un volume de traitement de données de plus en plus lourd que l'on peut qualifier de big data, Comscore combine Hadoop (distribution MapR) et la base de données en colonne Sybase IQ appartenant au groupe SAP. Cette dernière embarque 40 To de données compressées. La capacité de compression de Sybase IQ est un avantage clé, le taux de compression sur une partie des données est proche de 40%, de ce fait, l'entreprise arrive à réduire son coût de stockage.

Diffuser des données en temps réel ou presque

C'est primordial d'autant qu'en moyenne Comscore ajoute 150 Go de données supplémentaires par semaine, il est donc important dans le déploiement d'un projet big data de prendre en compte la croissance exponentielle des données. Quant à la distribution Hadoop de MapR, elle permet à Comscore d'accélérer sensiblement les processus de gestion big data et de diffuser des traitements de données en temps réel ou presque au fur et à mesure que de nouvelles données arrivent. Dans ce projet, au-delà de l'accélération du traitement des données, il était important d'assurer une compatibilité avec le système existant. «On est dans une complémentarité avec le système d'information de l'entreprise. En quelque sorte, on a fait du traitement batch pour des données structurées » conclut François Guérin.