Earthdata Cloud : un projet cloud trop coûteux à terme pour la NASA

Pour la NASA, migrer dans le cloud d’AWS ses données d’observation de la Terre pourrait générer des coûts trop élevés à terme. Le volume d'images progresse de façon exponentielle et l’agence spatiale prévoit de devoir stocker 247 pétaoctets d’ici 2025 contre 32 actuellement lorsque des missions à fort volume de données telles que NISAR et Swot seront activées. A la suite d’un audit, un rapport de l’inspection générale de l’agence spatiale - repéré par The Register - demande maintenant d’analyser soigneusement l’ensemble des coûts associés à cette opération de migration vers le cloud pour réduire les risques d’incertitude. Il s'agit de s’assurer de la capacité à gérer les données de façon efficace à long terme dans une enveloppe budgétaire contrôlée.

Les données satellitaires et autres informations collectées par la NASA sur le climat et les phénomènes terrestres naturels sont actuellement gérées et stockées dans 12 centres d’archives distribués, les DAAC (distributed active archive centers), implantés sur différents sites (universités, agences gouvernementales, etc.). En 2014, le projet ESDIS, Earth Science Data and Information System, a diligenté une étude indépendante pour étudier l’intérêt de recourir au cloud pour les stocker. Celle-ci a débouché sur l’initiative de stockage Earthdata Cloud et le choix d’AWS pour permettre à des utilisateurs finaux de travailler sur différents jeux de données volumineux gérés par différents DAAC sans devoir transmettre les données. Ce que pointe principalement le rapport de l’inspection générale de la NASA, ce sont les coûts de sortie des données du cloud qui risquent de grimper fortement avec l’accroissement des volumes stockés. « Actuellement, lorsque des utilisateurs finaux accèdent et sortent des données d’un DAAC, il n’y a pas de coût additionnel pour la NASA autre que le maintien de l’infrastructure actuelle. En revanche, lorsque les utilisateurs téléchargeront des données depuis Earthdata Cloud, l’Agence, et non l’utilisateur, sera facturée à chaque fois que les données sortiront », note le rapport d’audit. A la fin, ESDIS devra à la fois assumer les coûts opérationnels des 12 DAAC et ceux liés au cloud (dont ceux liés à la sortie des données). En 2019, le budget d’ESDI s’est élevé à 173 M$ au sein duquel les DAAC ont pesé 45,6% sur un budget total de 1,9 Md$ pour la division Earth Science.

Un risque de voir se réduire la disponibilité des données

« En outre, ESDIS n’a pas encore déterminé quels jeux de données vont passer sur Earthdata Cloud, ni n’a développé de modèles de coûts basés sur une expérience opérationnelle ou de métriques pour l’usage et les sorties [des données] », souligne le rapport. Les projections actuelles de coûts pourraient donc être plus basses que ce qu’il faudra réellement débourser et l’adoption du cloud pourrait devenir plus difficile à gérer. Collectivement, cela présente un risque potentiel que les données scientifiques deviennent moins disponibles aux utilisateurs finaux si la NASA impose des limites sur le volume de sortie des données pour des raisons de coûts, estime le bureau de l'Inspecteur général. D’où la nécessité de réévaluer les conditions du projet cloud dans cette perspective.

Le rapport recommande donc, lorsque les missions NISAR et SWOT seront opérationnelles et produiront suffisamment de données, de lancer une analyse indépendante pour déterminer la capacité financière à supporter à long terme la migration vers le cloud en même temps que les implantations DAAC.