Mistral se diversifie en présentant Robostral Navigate, son premier modèle permettant à des robots d'évoluer de manière autonome dans des environnements incluant des bureaux, des immeubles résidentiels et commerciaux, ainsi que des espaces extérieurs. « Cette technologie ouvre la voie à de nombreuses applications dans les secteurs de la fabrication, de la livraison, de la logistique et de l'hôtellerie, ce qui en fait aujourd'hui l'une des fonctionnalités les plus recherchées par nos clients », explique la société. Elle revendique notamment un taux de réussite de 79,4 % à R2R-CE (Room-to-Room in Continuous Environments), un benchmark de référence en matière de respect des instructions dans des environnements réels. A noter qu'aucun LiDAR ni capteurs n'est nécessaire, les robots étant seulement équipés de caméras RVB.

À partir d'une tâche et d'un historique d'observations, Robostral Navigate prédit la prochaine destination d'un robot avec une technique de pointing pour déduire les coordonnées d'un emplacement cible dans le champ de vision actuel de la caméra du robot, ainsi que l'orientation souhaitée à l'arrivée. Contrairement aux commandes reposant sur des déplacements métriques, le pointing rend la stratégie naturellement robuste face aux variations des paramètres intrinsèques de la caméra et de l'environnement réel, explique le fournisseur.

Un VLM développé en interne

Robostral Navigate a été entièrement développé en interne par Mistral à partir d'un modèle vision-langage spécialisé dans les tâches d'ancrage telles que le pointage, le comptage et la localisation d'objets et ne s'appuie pas sur des modèles VLM open source existants. « Nous avons mis au point un pipeline efficace de génération de données entièrement basé sur la simulation. Cela a permis une itération rapide sur les données, aboutissant à un ensemble de données comprenant environ 400 000 trajectoires collectées dans 6 000 scènes », explique le fournisseur. Robostral Navigate repose sur un algorithme d'apprentissage basé sur la mise en cache des préfixes. « Grâce à une stratégie de masquage de l'attention basée sur une structure arborescente, notre méthode compresse un épisode entier en une seule séquence, ce qui permet d'effectuer l'apprentissage sur toutes les étapes temporelles en un seul passage en avant tout en empêchant les fuites d'informations entre ces étapes », assure Mistral.