A l’occasion du Siggraph 2025 qui s’est déroulé du 10 au 14 août à Vancouver, le monde du graphisme et de l’imagerie numérique s’est projeté à l’ère de l’IA. Parmi les fournisseurs présents, Nvidia a présenté son concept de « Graphics 3.0 », qui distingue les environnements graphiques générés par l’IA de ceux créés par des humains. « Nous pensons que nous sommes désormais entrés dans l'ère du Graphics 3.0… suralimentée par l'IA », a déclaré Ming-Yu Liu, vice-président de la recherche chez Nvidia, lors d'un discours prononcé lors de l’évènement. Avec cette notion, le fournisseur voit au-delà la GenAI basée sur le texte pour aller vers les robots, des feux de circulation, des appareils électroménagers, des voitures autonomes et des équipements dans les bureaux, les usines et les entrepôts.

Pour élaborer ce concept, Nvidia fait face aux défis des données. Comme l’IA du monde physique requiert des pixels difficilement accessibles, la société a créé des données synthétiques en simulant des mondes virtuels pour des applications. Jensen Huang, CEO de Nvidia a rappelé dans une vidéo, « les robots n'apprennent pas à partir de code. Ils apprennent à partir de leur expérience. Mais l'entraînement dans le monde réel est lent et coûteux ». Dans ce cadre, Aaron Lefohn, vice-président de la recherche au laboratoire de graphisme en temps réel de Nvidia, a indiqué « nous devons inventer des outils entièrement nouveaux afin que les créatifs puissent conceptualiser, créer et itérer beaucoup plus rapidement qu'ils ne le peuvent aujourd'hui ».

Cosmos et Omniverse NuRec pour optimiser l'entraînement des robots

Parmi ces outils, Nvidia a présenté les modèles d’IA Cosmos visant à aider les robots à recevoir des commandes, à percevoir, à raisonner, à planifier, puis à exécuter des tâches dans le monde physique. « Ces modèles peuvent aider les robots à apporter l'intelligence numérique dans le monde physique », a estimé Sonia Fidler, vice-présidente de la recherche au laboratoire d'intelligence spatiale de Nvidia. « L'IA physique ne peut pas évoluer par essais et erreurs dans le monde réel. C'est dangereux, long et coûteux », a-t-elle ajouté. Par exemple, les voitures autonomes sont entraînées dans des mondes virtuels, car il n'est pas possible de créer des données d'entraînement en provoquant des centaines d'accidents.

En parallèle, l’entreprise a également annoncé le lancement d'Omniverse NuRec (Neuronal Rendering), qui transforme les données des capteurs du monde réel en simulations entièrement interactives dans lesquelles les robots peuvent s'entraîner ou être testés. L’offre comprend différents outils et modèles d'IA pour la construction, la simulation, le rendu et l'amélioration d'environnements numériques en 3D. La reconstruction virtuelle des mondes s'effectue à partir de données 2D collectées par des caméras et des capteurs. Chaque pixel est étiqueté en fonction d'une compréhension visuelle des données des capteurs. « Il est très important de souligner ici que la compréhension visuelle n'est pas parfaite et qu'en raison de différentes ambiguïtés, il est difficile de la perfectionner », a reconnu Mme Fidler. L’entreprise a aussi dévoilé des outils de génération de matériaux basés sur l'IA afin de créer des graphiques plus réalistes « avec des détails visuels réalistes, notamment la réflectivité et les textures de surface », a indiqué Aaron Lefohn. Les experts et ingénieurs 3D peuvent « faire appel à des assistants d’IA en utilisant un langage simple pour décrire leurs besoins », a précisé le responsable.