Nvidia accélère les prédictions d'apprentissage machine avec TensorRT

Nvidia a livré une nouvelle version de TensorRT, un runtime spécialisé dans la livraison d’inférences utilisant des modèles deep learning via ses propres GPU. Les inférences ou les prédictions réalisées à partir d'un modèle peuvent être délivrées soit via le CPU soit via le GPU. Nvidia a bien sur fait le choix de gérer la livraison des inférences via le circuit graphique, espérant ainsi stimuler l’adoption de ses processeurs. Le fondeur veut aussi contrer la stratégie d’AMD et ses efforts pour rivaliser avec lui sur le marché des GPU d'apprentissage machine.

Le fournisseur de composants prétend que, par rapport aux approches purement basées sur le CPU, son runtime TensorRT basé sur le GPU donne globalement de meilleurs résultats pour la livraison des inférences. L'un des benchmarks proposés par Nvidia, le test de classification d'image AlexNet réalisé avec le framework Caffe, indique que TensorRT est 42 fois plus rapide que l’approche CPU seule - 16 041 images par seconde contre 374 - lorsque le test est exécuté sur son processeur Tesla P40. Cependant, il faut toujours apprécier ce genre de tests avec prudence.

Nvidia affirme également que la délivrance de prédictions à partir d'un GPU est plus efficace en terme de dépense énergétique et que la latence dans les résultats est plus faible. TensorRT fonctionne uniquement avec la gamme de GPU de Nvidia, et sa solution est propriétaire et fermée. A contrario, AMD promet une approche plus ouverte pour ses GPU destinées à accélérer l'apprentissage machine : sa bibliothèque ROCm est open source et indépendante du hardware.