Plateforme de collecte et de gestion des logs couramment utilisée comme SIEM pour gérer les événements de sécurité, Splunk s’utilise bien plus largement pour de multiples cas d’usage, en particulier pour suivre la performance des applications métiers. La solution a déjà été retenue par près de 14 000 clients dont, en France, la Caisse des Dépôts, Sephora, Ubisoft ou encore Generali qui a témoigné l’an dernier lors du rendez-vous annuel Splunk Live. Pour l’édition 2017 de sa conférence, qui se tenait aujourd’hui à Paris, l’éditeur a notamment fait intervenir Engie Global Markets (EGM). Cette filiale d’Engie, qui emploie 400 personnes dans le monde, est la plateforme de trading d’énergie du groupe français. C’est dans le cadre d’une démarche DevOps que la mise à disposition d’une plateforme de collecte des données machine a été décidée, notamment afin de faciliter le dialogue entre les développeurs et les équipes chargées de l'infrastructure. L’objectif était de pouvoir « exposer un service de logs management », a expliqué ce matin Gabriel Dausque, administrateur Splunk chez Engie Global Markets, qui a testé la solution et suivi le projet.

Plusieurs critères ont déterminé le choix du produit : « C’est une plateforme extensible, qui propose une hétérogénéité de formats, de médias et de modes de connexion, et qui permet une montée en compétences rapide », a indiqué l'administrateur Splunk (auparavant développeur) en mentionnant l’importante documentation fournie par l'éditeur du logiciel sur son site web. Il rappelle aussi que le produit est soutenu par une communauté d'utilisateurs très active. « En moins d’une demi-journée, j’avais réalisé un dashboard », soit beaucoup plus rapidement qu’avec d’autres solutions, selon lui. Autre point souligné, la capacité à démarrer avec un petit projet. « Ce qui a été notre cas, nous sommes partis sur une infrastructure light au départ et nous avons maintenant 4 indexeurs dont un gérant 25 To de données. Nous sommes actuellement en phase d’industrialisation », a indiqué Gabriel Dausque.

Quelques chiffres-clés sur l'utilisation de Splunk chez Engie Global Markets, présentés sur Splunk Live Paris 2017. (crédit : D.R.)

Des dashboards mis en place en trois semaines

L'administrateur Splunk chez EGM s'est arrêté sur un cas d’usage plus marquant, celui de Chronos. Il s'agissait de réécrire une application de salle de marché, très critique pour le trading. Celle-ci se présentait sous la forme d'un système distribué avec une forte concentration de logs, nécessitant d’effectuer du reporting. (màj) Les dashboards ont été installés « en trois semaines ». La mise en production était conditionnée à la capacité de suivre avec Chronos ce qui se faisait jusque-là avec l’ancien produit. La plateforme de collecte de données machine a été utilisée comme un outil commun pour fournir des données aux développeurs métiers, accélérer l’investigation et permettre un dialogue entre développeurs et équipes chargées de l’infrastructure.

Pour illustrer son propos, Gabriel Dausque a évoqué un exemple de confrontation intervenue entre les équipes devops autour d’un problème de crashes récurrents sur la construction dynamique de cubes BI. L’équipe d’infrastructure et les développeurs se renvoyaient la balle. « Avec une requête rapide sur Splunk, on a repéré une tentative de connexion avec de mauvais credentials. La corrélation entre logs applications et eventlogs infrastructure a révélé un problème de configuration des connexions. » En facilitant l’approche collaborative, la plateforme a favorisé un changement de mentalité. « Des outils de spécialistes peuvent persister, mais pour dialoguer avec le même langage, il y a Splunk », souligne l'administrateur. « Le partage des données permet de démocratiser les données du spécialiste et d’apporter du contexte en donnant de la visibilité sur les dépendances ».

Une montée en charge par itérations

Pour surveiller ses services, Engie General Markets recourt à IT Service Intelligence (ITSI) de Splunk. Cette solution fournit des outils efficaces de drilldown et de glass tables, a indiqué Gabriel Dausque en expliquant que les glass tables visaient à démontrer l’état de santé général des infrastructures. « Nous avons commencé de façon simple et fait des itérations. C’est un point essentiel dans la montée en charge de Splunk. On peut corriger et revenir sur la donnée initiale si on s’est trompé dans le format ». Chez EGM, le projet Splunk a moins d’un an. Pour convaincre d’autres services de l’utiliser, « mon approche est de démontrer l’efficacité par l’exemple, c’est essentiel de démontrer que ça marche pour améliorer l’infrastructure », explique l’administrateur. « Ce qui va intéresser les utilisateurs métiers, c’est de visualiser eux-mêmes leurs propres dashboards avec un certain niveau d’autonomie ». Pour lui, il faut voir la plateforme comme une boîte à outils, extensible. « Cela a été très simple d’ajouter les capacités de machine learning pour un développeur. C’est une plateforme extensible sur laquelle on peut étendre les commandes, les datavisualisations, les fonctionnalités. L'objectif est aussi de faire évoluer la perception de l'outil en interne.

« Ce n’est pas simplement un outil de logs management. Splunk est un outil de big data », ajoute par ailleurs Gabriel Dausque, en rappelant que le logiciel est efficace sur les questions d’hétérogénéité des données et sur l’aspect normalisation de la donnée. « Il y a des champs, des clés et des valeurs et, si l’on se trompe, on ne perd pas ses extractions. C’est un système de gestion d’événements que l’on normalise et stocke en grande quantité. C’est un outil qui peut facilement s’étendre aux métiers. On pourrait se servir de Splunk comme outil prédictif sur le P&L de certains traders », conclut-il.