Audi prépare une infrastructure open source big data pour suivre les usages

Audi a rassemblé une série de technologies open source big data pour collecter de multiples données à partir de ses derniers modèles de véhicules et de ses installations de production. Lors du sommet Dataworks qui se tenait mi-avril à Berlin, Matthias Graunitz et Carsten Herbe, deux architectes de données de premier plan d’Audi, ont expliqué comment ils avaient organisé le backend pour stocker ces nouvelles sources de données, et les enseignements qu’ils en avaient tirés.

Pile open source

Audi est un gros utilisateur de Hadoop, et depuis 2015, le constructeur stocke ses données dans le format Hadoop Distributed File System (HDFS). « Tout a démarré fin 2015 avec un petit cluster. Ensuite, nous nous sommes demandé comment construire et exploiter le système et s'il répondait aux exigences de l'entreprise. Nous avons alors démarré une petite plate-forme de données Hortonworks (HDP) de 4 nœuds, 96 cœurs et 160 To de capacité brute », a déclaré Matthias Graunitz, reprenant l’historique de la feuille de route. Aujourd'hui, le cluster Hadoop en production offre 1 pétabyte de capacité de stockage, compte 288 cœurs répartis sur 12 nœuds et 6 To de RAM. L’ensemble est associé à un cluster Kafka en production comportant 4 nœuds, 128 Go de RAM et 16 térabytes de capacité brute. Pour autant, cela ne signifie pas que l'intégration s'est faite sans difficulté, comme l’a rappelé Carsten Herbe : « L’introduction de Hadoop dans un environnement d'entreprise existant représente un certain nombre de défis, autant pour l'intégration avec les systèmes métiers que pour se conformer à des exigences de sécurité ».

Il a fallu aussi établir deux preuves de concepts pour la base de données, l'une sur l’usage des tournevis dans les installations de production et l'autre pour les données d’usages transmises par les unités de contrôle depuis les véhicules. Concernant les tournevis, « nous voulions savoir si le processus mis en place dans les installations de production fonctionnait bien ou si nous pouvions prédire tout problème dans les opérations de maintenance », a déclaré M. Graunitz. Pour ce qui est des données remontées des véhicules, les dernières Audi transmettent environ 25 000 signaux par voie hertzienne vers une base HDFS qui sont ensuite analysés par le personnel de l'entreprise. Des outils de BI comme Tableau installés en surcouche permettent à d’autres utilisateurs de l’entreprise d'accéder à ces informations pour améliorer les designs des futurs modèles. « Nous avons dû repenser la propriété et la gouvernance des données pour établir un modèle de domaine pour les données avec des responsabilités claires dans chaque domaine », a encore expliqué Matthias Graunitz. « Étant donné que nous fournissons chaque service partagé dans un environnement multitenant, nous avons besoin de gérer le cycle de vie de chaque service et d'une étroite collaboration entre les projets qui utilisent ce service. Bien sûr, nous avons aussi besoin d’accords de niveau de service bien définis, par exemple la disponibilité 24/7 et différents cycles de développement ».

Pour la dernière A8 pour commencer

La technologie a d'abord été testée avec des données anonymes provenant d'une flotte de véhicules d’essai avant d'être déployée sur l’Audi A8, dernier modèle du constructeur. L’architecte Matthias Graunitz admet que, chez Audi, le cloud est la « pièce manquante ». « Tout ce que nous avons présenté aujourd'hui est construit sur site ou dans notre cloud privé. Compte tenu de la nature critique des données et des contraintes règlementaires, nous devons nous rapprocher des véhicules et du lieu où sont produites les données. C’est pour cette raison que nous avons mis en place un autre processus qui consiste à envoyer d’abord les données dans un environnement cloud et, pour avoir une approche hybride, nous avons décidé d'utiliser une connexion cloud directe pour envoyer les données vers notre infrastructure sur site, puisque nos processus métiers sont traités sur site, dans notre siège social ».

Pour réaliser cette tâche, Audi a opté pour le connecteur HDFS du fournisseur tiers Confluent, lequel permet de diriger les données via les pipelines Kafka en HDFS. Ces données sont accompagnées d’un catalogue de métadonnées également établi dans le cloud qui permet de localiser les données dans l’unité de stockage où elles se trouvent. On ne sait pas encore ce que Audi fait de ces données, mais il est fort probable que les données d’usage remontées des unités de contrôle des modèles A8 seront utilisées pour améliorer ses futurs modèles.