Record de performance pour la puce TPU de Google taillée pour l'IA

Depuis 4 ans, Google cherche à relever un sacré défi : si tous les utilisateurs font appel à ses services de reconnaissance vocale trois minutes par jour, la société aurait alors besoin de doubler le nombre de ses datacenters juste pour tenir la charge sur l'ensemble des requêtes du système d'apprentissage machine utilisé pour ses services. Plutôt que d'acheter immeubles et serveurs juste pour cela, la société s'est embarqué dans une aventure pour créer un matériel dédié à faire tourner des applications d'apprentissage machine telles que la reconnaissance vocale. Cela a débouché sur la création de son TPU (Tensor Processing Unit), une puce conçue pour accélérer l'inférence des réseaux neuronaux artificiels. L'inférence est l'opération à base de tout raisonnement, une logique de déduction consistant à partir d'indices à rendre explicite une information seulement évoquée.

Dans un article publié mercredi, Google a mis en avant les gains de performance de sa puce face à des CPU et GPU traditionnels, avec à la clé des gains de puissance et de performance supérieurs, aussi bien en termes de vitesse que de consommation électrique. Le TPU a ainsi affiché une vitesse d'inférence pour des tâches d'apprentissage machine entre 15 et 30 fois plus rapide que pour des serveurs équipés de CPU Intel Haswell ou d'un GPU Nvidia K80. La performance par watt affiche elle une différence encore plus notable, supérieure de 25 à 80 fois par rapport aux autres puces.

Résoudre la latence de l'Internet et du cloud au service de l'expérience utilisateur

Atteindre une telle performance pour Google est très important, tant les enjeux autour des applications d'apprentissage machine sont importants. Ces gains valident l'objectif de la société à construire du matériel dédié au machine learning à un moment où il est de plus en plus difficile d'atteindre des performances de pointe des puces traditionnelles. Il s'agit là bien plus pour la firme de Mountain View que d'un exercice académique. Google utilise des TPU dans ses datacenters depuis 2015, et ils ont été implantés pour améliorer la performance des applications incluant la traduction et la reconnaissance d'images. Les TPU sont particulièrement utiles pour répondre aux enjeux de performance énergétique qui constitue un levier de coût important dans le cadre de l'utilisation d'une infrastructure de mise à l'échelle massive.

L'un des autres objectifs clés visés par Google concerne la latence qui est l'un des domaines où précisément les TPU excellent par rapport à d'autres puces. Norm Jouppi, un ingénieur matériel reconnu de Google, a fait savoir que les systèmes d'apprentissage machine ont besoin de répondre rapidement de façon à procurer une bonne expérience utilisateur. « Le fait est que l'Internet prend du temps, dès lors que vous utilisez un serveur connecté au web, cela lui prend du temps pour récupérer de l'information depuis votre terminal vers le cloud et la retourner », a expliqué Norm Jouppi. « Le réseau et une variété d'autres choses dans le cloud, au sein du datacenter, prennent du temps. Cela n'en laisse pas beaucoup si vous voulez des réponses instantanées ».

De l'optimisation logicielle pour améliorer aussi la performance

Google a testé ses puces sur 6 applications d'inférence de réseaux neuronaux, qui représentent 95% de l'ensemble de ce type d'applications dans les datacenters de Google. Les applications testées incluent DeepMind AlphaGo, le système qui a battu le maitre de Go Lee Sedol 4 manches à 1 l'année dernière. La société a testé ses TPU face à d'autres matériels lancés au même moment, mais il est possible que, depuis, le fossé de performance ait été, du moins partiellement, comblé. Il existe toutefois encore de la marge d'amélioration pour Google, en utilisant par exemple la mémoire GDDR5 présente dans le GPU Nvidia K80, la performance pourrait dépasser celle des tests actuels. D'après la société, la performance de plusieurs applications ont été contraintes par une bande passante mémoire insuffisante.

Les auteurs de l'article de Google font également savoir qu'il y a de la place pour de l'optimisation logicielle afin d'améliorer la performance. Ils font notamment référence à une application, CNN1, qui a joué les cobayes. « Alors que CNN1 tourne actuellement plus de 70 fois plus rapidement sur le TPU que sur le CPU, leurs développeurs sont déjà très contents, alors le moment n'a pas été encore choisi pour décider quand ces optimisations seront mises en oeuvre », écrivent les auteurs.