Présenté le 5 octobre, Large 4 constitue la première concrétisation majeure de Mistral AI depuis sa levée de fonds de 3 Md€.  Entièrement entraîné en Europe, ce modèle baptisé en interne « Le Chonk » doit permettre à la société française de réduire l’écart avec les modèles les plus performants américains et chinois. Pour se démarquer, Mistral mise notamment sur ses performances dans les usages professionnels et sur la possibilité de déployer le modèle sous le contrôle des entreprises.

Lors de la présentation, Artur Mensch, cofondateur et directeur général de Mistral AI, a affirmé que Large 4 surpassait certains modèles chinois dans plusieurs domaines, notamment en cybersécurité. Une revendication qui illustre l’ambition du Français et sa volonté de démontrer qu’un acteur européen peut encore rivaliser avec les deux pôles qui dominent aujourd’hui la course aux modèles d’IA.

Mistral veut combler son retard

L’enjeu est de taille pour Mistral. Après s’être imposée comme l’une des principales alternatives européennes aux géants américains, la société doit désormais composer avec la progression rapide des acteurs chinois, en particulier sur le segment des modèles à poids ouverts. Mistral affirme se situer au niveau des meilleurs modèles open weight sur plusieurs évaluations. La société revendique également des performances de premier plan dans des domaines comme la cybersécurité, la finance, le droit, l’industrie ou encore l’analyse d’images. Le modèle est par ailleurs conçu pour exécuter des workflows complexes, en combinant raisonnement, utilisation d’outils et production de livrables. Une orientation qui vise directement les entreprises, au-delà des usages conversationnels classiques de l’IA générative.

La cybersécurité constitue l’un des principaux terrains de différenciation mis en avant par Mistral. Selon le laboratoire, le modèle obtient notamment un score de 82 % sur un test visant à reproduire puis corriger une vulnérabilité réelle, et atteint 93 % sur Cybench. L’approche open weight doit également permettre aux organisations de conserver davantage de contrôle sur le modèle. Une fois les poids disponibles, celles-ci pourront notamment envisager un déploiement sur leurs propres infrastructures ou dans un cloud privé, en appliquant leurs propres politiques de sécurité. Une possibilité particulièrement stratégique pour les secteurs sensibles, comme la défense, la finance, les administrations ou les infrastructures critiques.

Un modèle d’un millier de milliards de paramètres

Sur le plan technique, Large 4 repose sur une architecture Mixture of Experts (MoE) totalisant plus de 1 000 milliards de paramètres. Mistral indique que 49 milliards de paramètres sont activés lors de l’inférence, tandis que la documentation technique du modèle fait état de 52 milliards de paramètres actifs. Multimodal, le modèle cible en priorité les usages professionnels, du développement logiciel à la cybersécurité, en passant par la finance, le traitement documentaire, l’ingénierie et l’analyse géospatiale. Pour étayer ses performances, Mistral met en avant plusieurs benchmarks dans les domaines du code et de la cybersécurité, sur lesquels Large 4 atteindrait le niveau des meilleurs modèles open weight. Ces résultats devront toutefois être confirmés par des évaluations indépendantes, une partie des données publiées provenant des tests réalisés ou sélectionnés par l’éditeur.

L’entraînement du modèle a été réalisé intégralement en Europe sur 4 000 GPU Nvidia Grace Blackwell, pendant environ deux mois. Mistral précise que Large 4 est également servi en production depuis ses propres data centers européens. Le modèle a par ailleurs été entraîné sur plus de 160 langues, dont l’ensemble des langues officielles de l’Union européenne. L’objectif affiché est de conserver une capacité de raisonnement et de génération directement dans ces langues, plutôt que de s’appuyer principalement sur une traduction depuis l’anglais. 

Une ouverture progressive avant la publication des poids

Mistral a choisi de ne pas publier immédiatement l'intégralité des poids de Large 4. Une version de prévisualisation est d’abord accessible via l’API de Mistral Studio, tandis que la publication des poids est prévue pour la fin octobre selon le communiqué. Cette période doit notamment servir à tester le modèle avec des développeurs, des spécialistes de la cybersécurité et des autorités publiques. Mistral entend ainsi évaluer son comportement dans différents environnements avant une diffusion plus large. Les partenaires participant à cette phase disposent du même modèle que celui qui sera rendu public, avec toutefois une modération allégée et des capacités renforcées dans certains scénarios de cybersécurité. L’objectif est notamment d’identifier les éventuels risques liés à la diffusion d’un modèle de cette puissance, tout en permettant d’évaluer ses capacités dans des usages défensifs.

L'entreprise met également en avant la possibilité pour les entreprises de choisir leur mode de déploiement. Large 4 pourra être exécuté sur leurs propres infrastructures ou utilisé via l’API de Mistral, avec plusieurs options de localisation des données.