Google renforce son infrastructure cloud pour les charges d'IA

Présentées lors de la dernière conférence annuelle Cloud Next 2024, ces mises à jour visent à améliorer la prise en charge des tâches liées à l'IA et à aider les entreprises à optimiser leurs dépenses cloud, avec notamment des processeurs plus rapides, des machines virtuelles plus grandes, plus de stockage et des outils de gestion dédiés. En premier lieu, la dernière itération du module d'accélération propriétaire Tensor Processing Unit (TPU) v5p de Google Cloud pour les charges de travail d'IA est désormais disponible dans son cloud. « Un pod TPU v5p contient 8 960 puces qui fonctionnent à l'unisson, soit deux fois plus que dans un pod TPU v4 », a indiqué l'entreprise, ajoutant qu'il offre également deux fois plus de capacités de calcul (en flops) et trois fois plus de mémoire à large bande passante par puce.

À présent, les pods TPU prennent en charge Google Kubernetes Engine (GKE) et le service multi-hôtes sur GKE : « Grâce au service multi-hôtes TPU sur GKE, les clients peuvent gérer un groupe de serveurs modèles déployés sur plusieurs hôtes en tant qu'unité logique unique, et permet aux utilisateurs de les gérer et de les surveiller de manière centralisée », a expliqué Google. Autre nouveauté matérielle : suite à un partenariat élargi avec Nvidia, Google a introduit la machine virtuelle (VM) A3 Mega dans son cloud, alimentée par des GPU H100. Lancée pour la première fois par Google en mai 2023, la série A3 de machines virtuelles de supercalculateurs peut entraîner rapidement de grands modèles d'IA. La dernière évolution A3 Mega VM, dont la disponibilité est annoncée pour le mois prochain, offre une bande passante réseau GPU-to-GPU deux fois supérieure à celle de l'A3 originale, et Google prévoit d'ajouter des capacités de calcul confidentiel à la famille A3 VM en avant-première plus tard dans l'année. Cette fonctionnalité est destinée à protéger la confidentialité et l'intégrité des données utilisées dans les charges de travail d'IA.

Optimisation du stockage pour les charges de travail d'IA/ML

Des changements ont aussi été apportées aux produits de stockage pour améliorer les performances de l'entraînement, de l’affinage et de l'inférence de l'IA. C’est le cas notamment de la mise en cache, qui rapproche les données des instances de calcul et permet un cycle d'entraînement plus rapide. « Toutes visent à maximiser l'utilisation des GPU et des TPU, de façon à améliorer l'efficacité énergétique et d'optimiser les coûts », a déclaré le fournisseur. L'une de ces améliorations consiste à inclure la mise en cache dans Parallelstore, un service managé de fichiers parallèles à hautes performances. « Même si cette amélioration est encore en mode aperçu, elle peut offrir des temps d'apprentissage jusqu'à 3,9 fois plus rapides et un débit d'apprentissage jusqu'à 3,7 fois plus élevé par rapport aux chargeurs de données natifs du framework ML », a affirmé Google. Autre évolution : l'introduction d'un aperçu d'Hyperdisk ML, un service de stockage en bloc optimisé pour les charges de travail d'inférence de l'IA. « Ce service accélère les temps de chargement des modèles jusqu'à 12 fois par rapport aux alternatives courantes et offre une rentabilité grâce à la lecture seule (ou read-only), au multi-attachement et à l'approvisionnement fin », a fait valoir l'entreprise.

Selon le fournisseur, Hyperdisk ML permet à 2 500 instances d'accéder au même volume et offre jusqu'à 1,2 TiB/s de débit agrégé par volume, ce qui représente des performances 100 fois supérieures à celles de Microsoft Azure Ultra SSD ou d'Amazon EBS io2 BlockExpress. Autres changements à signaler dans le stockage : la disponibilité de Cloud Storage FUSE, une interface basée sur les fichiers pour Google Cloud Storage (GCS) destinée aux applications complexes d'IA et de ML, et Filestore, optimisé pour les modèles d'IA/ML qui nécessitent un accès aux données basé sur les fichiers et à faible latence. « Basée sur un système de fichiers en réseau, l'approche de Filestore permet à tous les GPU et TPU d'un cluster d'accéder simultanément aux mêmes données, ce qui améliore les temps de formation jusqu'à 56% », a ajouté Google.

Gestion des ressources et planification des tâches

Pour aider les entreprises à optimiser leurs coûts, la firme a également ajouté un service de gestion des ressources et de planification des tâches pour les charges de travail d'IA. « Appelé Dynamic Workload Scheduler, ce service améliore l'accès à la capacité de calcul de l'IA et aide les entreprises à optimiser leurs dépenses pour les charges de travail d'IA en programmant tous les accélérateurs nécessaires simultanément, et pour une durée garantie », a expliqué l'entreprise. Dynamic Workload Scheduler propose deux modes : le mode « flex start » pour une meilleure accessibilité et des économies optimisées, et le mode « calendar » pour définir des heures de début et des durées de travail prévisibles. Le mode « flex start » sert à la mise en file d'attente des tâches d'IA à exécuter dès que possible en fonction de la disponibilité des ressources, et le mode « calendar » offre un accès réservé à court terme à une capacité de calcul optimisée pour l'IA. Ces deux modes sont actuellement disponibles en avant-première.