Comment Netflix pilote l'efficience du cloud avec la data

L’histoire de Netflix et du cloud public remonte à 2008 où celui qui était encore vendeur de DVD a eu une panne dans un de ses datacenters. L’idée de migrer alors vers le cloud et en particulier celui d’AWS a été prise et l’aventure a duré près de 7 ans avant d’être finalisée. Aujourd’hui, le partenariat continue mais Netflix a du mal à identifier les ressources utilisées chez le fournisseur et à en comprendre les coûts.

Dans un blog, Jenifer Han et Pallavi Phadnis, respectivement ingénieur senior en analytique et data chez Netflix, ont partagé la manière dont le site de streaming arrive à piloter l’efficience du cloud. En préambule, elles rappellent que Netflix se sert d’AWS pour ses besoins en infrastructures cloud (calcul, stockage, réseau) et que les développeurs disposent d’une plateforme libre-service pour créer et de déployer des applications. Pour les deux ingénieurs, « ce paysage technologique génère des données nombreuses et riches provenant de diverses entités d'infrastructure. » Il est donc crucial pour elles de trouver un moyen « de démocratisation de sources de données très documentées qui mettent en lumière les schémas d'utilisation et de coûts dans les services et les équipes de Netflix. »

Deux outils pour piloter les coûts et l’efficacité du cloud

Pour cela, la société a mis en place une équipe de data scientists afin de créer des outils à destination des ingénieurs « pour comprendre les ressources qu’ils utilisent, leur efficacité, ainsi que le coût associé ». Dans ce cadre, deux outils ont été développés. Le premier est une plateforme de données fondamentales (FDP), fournissant « une couche de données centralisée » agrégeant « des informations d’inventaire, de propriété et d’utilisation » provenant des plusieurs fournisseurs de plateforme de données. L’objectif étant d’avoir « des modèles de données cohérents et des traitements normalisés. »

FDP centralise les données collectées sur différentes plateformes de données. (Crédit Photo : Netflix)

Le second outil, baptisé CEA (Cloud Efficiency Analytics), est construit au-dessus de FDP qui se sert des données centralisées (via Apache Spark) et applique « des logiques métiers pour fixer des coûts et des attributions de propriétés de manière très granulaire ». Cette méthode apporte de la transparence, soulignent les ingénieurs : « Nous voulons que les clients en aval comprennent pourquoi ils voient des ressources apparaître sous leur nom/organisme et comment ces coûts sont calculés. » Avec à la clé aussi un autre avantage, à savoir « la capacité à s’adapter en cas de changement ou de nouvelles logiques métiers. »

Le CEA réconcilie les données fondamentales en y ajoutant du contexte métier et les coûts du cloud. (Crédit Photo : Netflix)

De multiples défis à relever

Si les outils existent, la tâche de l’équipe des data scientists est difficile. En effet, les jeux de données de Netflix sont très complexes « en raison de l'ampleur et de la portée de l'infrastructure commerciale et des caractéristiques spécifiques de la plateforme. » Jenifer Han et Pallavi Phadnis observent que « les services peuvent avoir plusieurs propriétaires, l'heuristique des coûts est propre à chaque plateforme et l'échelle des données d'infrastructure est importante. » En conséquence, elles doivent relever plusieurs défis.

Le premier est de prendre en compte la personnalisation des plateformes de Netflix, le second réside dans l'exactitude et la fiabilité des données avec la mise en place d’audit régulier. Enfin le troisième défi a trait au shadow IT, avec la présence de solutions SaaS à façon créées par des développeurs pour d’autres parties de l’entreprise. « Bien que cela favorise l'innovation et améliore la vitesse de développement, cela peut créer un problème lorsqu'il s'agit de comprendre et d'interpréter les modèles d'utilisation et d'attribuer les coûts d'une manière qui a du sens pour l'entreprise et le client final », assurent les deux ingénieurs.

Le futur se décline en prédictif et machine learning

A court-terme, l’équipe de data scientists va poursuivre l’intégration des deux outils FDP et CEA, pour « obtenir une couverture presque complète des coûts au cours de l'année à venir. » Ce qui signifie a contrario que - comme beaucoup d’entreprises - Netflix a du mal à connaître exactement l’usage de ses ressources et les coûts du cloud. A long-terme, la plateforme de données fondamentales devrait s’étendre à d’autres domaines comme la sécurité et la disponibilité.

Dans le futur, le groupe va se pencher sur « des approches proactives via l'analyse prédictive et le machine learning pour optimiser l'utilisation des outils et détecter les anomalies dans les coûts. » En attendant, il faudra attendre quelques mois pour avoir des retours chiffrés sur le pilotage de l’efficience du cloud chez Netflix.