Dans un billet publié le 15 octobre, Microsoft annonce avoir achevé le pré-entraînement de MAI-Base-2, un modèle de fondation reposant sur une architecture à experts mixtes (Mixture of Experts, MoE). Celui-ci compte 2 800 milliards de paramètres au total, dont 80 milliards sont actifs. Il doit servir de socle à la prochaine génération de modèles de l’éditeur, après MAI-Base-1 et MAI-Thinking-1. Pour entraîner ce modèle, les équipes de Microsoft ont mobilisé 16 000 GPU Nvidia GB200 pendant 38 jours, en août et septembre 2026. L’entreprise indique avoir consacré une partie des gains d’efficacité obtenus à l’entraînement d’un modèle de plus grande taille, plutôt qu’à la seule réduction des ressources nécessaires.

Le principal résultat avancé par l’éditeur concerne l’efficacité du pré-entraînement. Selon ses mesures, MAI-Base-2 nécessite entre 4,2 et 12,3 fois moins d’opérations en virgule flottante (FLOPs) que DeepSeek-V4-Pro-Base pour atteindre des niveaux de performance comparables sur plusieurs évaluations. Microsoft précise également que l’efficacité de calcul de son nouveau modèle a progressé d’un facteur compris entre 6,3 et 12,7 par rapport à MAI-Base-1. L’entreprise affirme par ailleurs que MAI-Base-2 obtient de meilleurs résultats que tous les modèles à poids ouverts qu’elle a évalués sur ses jeux de test réservés. Parmi les références figurent DeepSeek-V4-Pro-Base, ainsi que des modèles de Kimi, Qwen et MiMo. 

Une architecture MoE optimisée pour les GPU

Pour améliorer les performances de son modèle, Microsoft a travaillé simultanément sur l’architecture, les algorithmes d’entraînement et l’infrastructure matérielle. MAI-Base-2 s’appuie notamment sur une architecture MoE, dans laquelle seuls certains experts sont activés pour traiter une entrée donnée. Cette approche permet de disposer d’un nombre élevé de paramètres sans mobiliser l’intégralité du modèle à chaque étape de calcul. L’éditeur explique avoir optimisé la gestion de la mémoire et la répartition des calculs entre experts afin de limiter les pertes d’efficacité liées aux déséquilibres de charge. Ces changements ont fait passer l’utilisation effective des capacités de calcul de ses couches MoE de 24 % à 35 %, selon les mesures communiquées. Microsoft a ainsi pu utiliser cette architecture à chaque couche du modèle.

L’équipe a également adopté Muon, un optimiseur destiné à stabiliser l’entraînement et à améliorer son efficacité par rapport à AdamW. Plusieurs adaptations ont été nécessaires pour limiter le coût des échanges entre GPU. Après optimisation, Muon représente, selon Microsoft, 2,1 % du temps moyen d’une itération d’entraînement. Au cours de l’entraînement de MAI-Base-2, l’utilisation moyenne des capacités théoriques de calcul des GPU a atteint 21 %, tandis que la proportion du temps pendant laquelle l’entraînement progressait effectivement s’élevait à 89 %. Ces indicateurs illustrent la difficulté de tirer pleinement parti d’une infrastructure distribuée de cette ampleur, où les communications, les déséquilibres de charge et les opérations de gestion de mémoire pèsent sur les performances.

Un corpus enrichi et multimodal

La qualité des données constitue l’autre axe de travail revendiqué par Microsoft. L’entreprise indique avoir augmenté d’environ 36 % le volume de données d’entraînement uniques par rapport à MAI-Base-1. Elle a également amélioré ses traitements de déduplication, de classification et de sélection des contenus afin de privilégier la diversité et de limiter les répétitions. Le corpus intègre désormais davantage de données visuelles. Contrairement à son prédécesseur, MAI-Base-2 a été pré-entraîné nativement avec des capacités de traitement de l’image, selon une architecture de modèle vision-langage (VLM). Microsoft évoque notamment des données destinées à la compréhension de graphiques, au raisonnement spatial, à l’analyse de documents, à l’informatique médicale et à l’interaction avec des interfaces.

Au total, le mélange d’entraînement représente 50 000 milliards de tokens, dont 18 % sont associés aux données vision-langage, avec des répétitions prises en compte. Microsoft affirme par ailleurs que son corpus repose sur des données collectées et traitées en interne, sans distillation d’autres modèles. L’éditeur indique utiliser un robot d’indexation respectant le fichier robots.txt et les mécanismes associés permettant aux sites de contrôler l’accès à leurs contenus.

Des poids proposés à des partenaires via Foundry

L'éditeur entend également tirer parti de la maîtrise de sa chaîne de développement, depuis les données jusqu’à l’infrastructure. L’objectif est d’ajuster conjointement ses modèles et les systèmes qui les exécutent, afin d’améliorer les performances tout en maîtrisant les coûts. L’entreprise prévoit de proposer les poids de ses modèles à des partenaires de confiance via Microsoft Foundry. Cette orientation pourrait donner aux entreprises davantage de possibilités pour intégrer les modèles MAI à leurs applications et à leurs environnements informatiques. Les modalités précises de mise à disposition de MAI-Base-2, notamment son calendrier, ses conditions de licence et les ressources nécessaires à son déploiement, restent cependant à préciser. Microsoft indique que MAI-Base-2 est en cours de post-entraînement, une étape qui vise à adapter le modèle de base à des tâches et à des usages concrets. L’éditeur prépare déjà MAI-Base-3.