Avec Llama 3.1, 405B, Meta dans la cour des LLM XXL

Mais où s'arrêtera la course à la rapidité et à la performance des grands modèles de langage ? Après Anthropic et son LLM Claude 3.5 Sonnet et OpenAI avec GPT4o, c'est au tour de Meta de frapper un grand coup avec Llama 3.1. Aux côtés des déclinaisons 8B et 70B, le modèle open source 405 se distingue. "Llama 3.1 405B est une classe à part, avec une flexibilité inégalée, un contrôle et des capacités de pointe qui rivalisent avec les meilleurs modèles à source fermée", indique Meta. "Notre nouveau modèle permettra à la communauté de débloquer de nouveaux flux de travail, tels que la génération de données synthétiques et la distillation de modèles [...] Notre évaluation expérimentale suggère que notre modèle phare est compétitif avec les principaux modèles de base sur une gamme de tâches, y compris GPT-4, GPT-4o, et Claude 3.5 Sonnet."

Meta a comparé Llama 3.1 405B notamment à Claude 3.5 Sonnet d'Anthropic et GPT4o d'OpenAI, avec à la clé des résultats plutôt satisfaisants pour le dernier LLM du géant des réseaux sociaux. Sur 15 catégories de benchmarks réalisés, Llama 3.1 405B, tout comme Claude 3.5 Sonnet, sont arrivés en tête sur 5 d'entre eux alors que cela a été le cas 3 fois pour GPT-4o. Les benchmarks où Llama 3.1 est ressorti devant tous les LLM testés ont été IFEvals (général) avec un score de 88.6 versus 88 pour Claude 3.5 Sonnet et 85,6 pour GPT4o, GSM8K (math) avec 96.8 versus 96.4 et 96.1, ARC Challenge (raisonnement) avec 96.9 versus 96.7 pour Claude 3.5 Sonnet et GPT4o, Nexus (tool use) avec 58.7 contre 45.7 et 56.1, et InfiniteBench/En.MC (long context) avec 83.4 contre 82.5 pour GPT4o (pas de résultat pour Claude 3.5 Sonnet). A noter que Llama 3.1 405B est arrivé deux fois ex aequo sur les tests ZeroSCROLLLS/QuALiTY (long context) avec un score de 95.2 identique à GPT-4 et sur Multilingual MGSM avec un score de 91.6 identique à Claude 3.5 Sonnet.

De son côté le site spécialisé dans les comparatifs de LLM artificial analysis fait ressortir que Llama 3.1 405B est un modèle de grande qualité (juste derrière GPT-4o) avec un prix très compétitif de 8$ par million de tokens. En revanche ce LLM arrive bon dernier en termes de rapidité.

16 000 GPU H100 utilisés pour entrainer Llama 3.1 405B

Llama 3.1 405B a été entrainé sur une infrastructure composée notamment de 16 000 GPU H100 de Nvidia. "Avec Llama 3.1 405B, nous nous sommes efforcés d'améliorer l'utilité, la qualité et la capacité du modèle à suivre des instructions détaillées en réponse aux instructions de l'utilisateur, tout en garantissant des niveaux élevés de sécurité. Nos plus grands défis ont été la prise en charge d'un plus grand nombre de capacités, la fenêtre contextuelle de 128K et l'augmentation de la taille des modèles", poursuit Meta.

Le fournisseur indique avoir été à l'écoute des attentes des développeurs en proposant dans son dernier LLM des capacités variées : inférence en temps réel et par lots, ajustement supervisé, évaluation de modèle pour une application spécifique, pré-entraînement continu, génération augmentée de récupération (RAG), appel de fonction, et génération de données synthétiques. "Nous avons travaillé avec des projets communautaires clés tels que vLLM, TensorRT et PyTorch pour mettre en place un support dès le premier jour afin de s'assurer que la communauté est prête pour un déploiement en production", indique par ailleurs Meta. "L'écosystème est prêt à démarrer avec plus de 25 partenaires, dont AWS, NVIDIA, Databricks, Groq, Dell, Azure, Google Cloud et Snowflake, qui proposent des services dès le premier jour." A noter que SNCF Gares et Connexions est l'un des premiers utilisateurs à expérimenter Llama 3.1.