Intitulée « Vers la prochaine frontière de l'IA », la discussion organisée lors de la GTC de Nvidia la semaine dernière a réuni Jeff Dean, directeur scientifique chez Google DeepMind et Research et Bill Dally, doyen et directeur scientifique de Nvidia. Ensemble, ils ont discuté des évolutions à attendre des technologies IA aussi bien des LLM que des agents IA. En préambule, Jeff Dean a mis en perspective la rapidité des changements. Il y a trois ou quatre ans « « tout le monde se réjouissait quand leurs modèles [d’IA] parvenaient à résoudre des problèmes de maths de quatrième ! » L’an dernier, le modèle Gemini de Google a atteint le niveau de la médaille d’or aux Olympiades internationales de mathématiques (IMO) et il a remporté depuis divers concours de programmation. Les deux experts sont ensuite revenus sur les différentes évolutions à attendre.

Des agents totalement autonomes

L’arrivée en début d’année d’OpenClaw donne une idée des capacités des agents IA à accomplir des tâches sans supervision et sans aucune intervention humaine. Par contre, le pipeline informatique actuel, en particulier les puces, les besoins en énergie, les communications et les coûts, est à la traîne. « Pour que ce type d'agents futuristes puisse fonctionner, il faut que les choses aillent plus vite », a estimé Jeff Dean. « Nvidia s'efforce de rendre les agents plus rapides, en utilisant notamment une technologie de transfert des données « à la vitesse de la lumière » via des réseaux optiques.

Par ailleurs, l’idée commence à germer que les agents pour créer la prochaine version d’eux-mêmes ou des versions mises à jour capables d’exécuter les derniers LLM. « Ce n’est pas encore tout à fait le cas, mais certains signes indiquent que cela va arriver », a affirmé le responsable de Deepmind. Il fait remarquer que les agents IA peuvent déjà évoluer de manière autonome en acceptant et en rejetant des idées. Il y a même des antécédents : en 2017, des chercheurs en IA ont mis au point le concept de « méta-apprentissage », selon lequel l’IA pouvait rechercher les modèles les mieux adaptés aux expériences et à la résolution de problèmes. « À l’époque, les paramètres de recherche étaient principalement spécifiés en code, mais cela peut désormais se faire en langage naturel », souligne-t-il. L'interaction en langage naturel permet aux agents de trouver plus facilement des moyens de s'améliorer, en découvrant par exemple des informations supplémentaires, des algorithmes spécifiques ou des mécanismes de distillation. L'IA peut être considérée comme un multiplicateur de performances qui libère les chercheurs pour qu'ils puissent imaginer de nouvelles choses. « C'est un partenariat entre des chercheurs extrêmement compétents et des agents extrêmement compétents », a ajouté M. Dean.

Des LLM plus interactifs

À mesure que les recherches progressent, les LLM pourraient devenir plus interactifs avec le monde réel, réapprenant et se mettant à jour en temps réel, puis agissant sur la base de ces récentes connaissances. « Les LLM actuels sont essentiellement fixés sur une carte, alimentés par des données Internet, puis présentés au monde », a expliqué Jeff Dean, avec des résultats largement prédéterminés. Mais les futurs modèles apprendront à la volée en entrelaçant instantanément les informations du monde réel et numériques. Grâce à ces données, les LLM seront mieux à même de diriger les actions des robots et de prédire les réponses aux questions. Même si cela se fait déjà en post-entraînement, il est préférable de procéder à cet entrelacement (ou interleaving) dès la phase de pré-entraînement. « Cette distinction artificielle qui existe aujourd’hui devrait disparaître à long terme », a avancé le dirigeant. « Des modèles d’apprentissage continu émergent déjà sans aucun paramètre fixe, avec des modèles qui se développent de manière organique, en affinant et en compressant les paramètres », a-t-il déclaré.

Un agent maître

Nvidia et Google font appel à beaucoup d’agents IA dans plusieurs domaines. Dans les différentes tâches d’automatisation, il sera nécessaire d’impliquer un agent principal ou un agent maître orchestrant un sous-ensemble d’agents spécialisés. Cet agent sera capable de négocier des améliorations, de procéder à des itérations si les résultats ne sont pas satisfaisants. « Ils tiendront le même genre de réunions que nous, mais entre agents », note Bill Dally

Repenser les outils de codage à l’ère des agents

Selon les intervenants, les outils de développement IA sont conçus pour la vitesse humaine, mais ils doivent fonctionner avec celle des machines. Comme les agents raisonnent, décident et agissent beaucoup plus rapidement que les humains, les outils classiques, tels qu’un compilateur C++ à chargement lent, font obstacle à des progrès rapides. « Il faut commencer à repenser les outils que ces modèles [utilisent] », a suggéré M. Dean. C'est déjà le cas pour les outils de codage et de manipulation de documents, qui extrayaient auparavant les informations à la vitesse humaine. En termes simples, « nous aurons besoin de nouvelles formes d'outils », a ajouté Jeff Dean. Les experts en sécurité ont souligné la capacité des agents IA à fonctionner comme des machines pour lutter contre les cyberattaques. En effet, les humains pourraient être trop lents pour contrer les attaques basées sur l’IA agentique.

De meilleurs outils pédagogiques

Enfin, les intervenants ont critiqué les établissements scolaires et universitaires qui ont restreint l’utilisation de l’IA dans les salles de classe. « Au contraire, les enseignants doivent s’appuyer sur l’IA pour accélérer la formation », a fait valoir M. Dally, ancien professeur en Computer Science à l’université de Stanford. « Ces modèles vont bientôt faire office de tuteurs personnalisés « extraordinaires », capables de transmettre efficacement des concepts sans pour autant donner les réponses », a déclaré Jeff Dean. Il a rappelé que les calculatrices avaient levé les obstacles à l'apprentissage des mathématiques et aidé les élèves à passer rapidement à des niveaux supérieurs. « Je devrais peut-être quitter mon emploi actuel et me lancer moi-même dans cette aventure », s’est-il amusé.