AWS dévoile sa famille de LLM mutimodal Nova

Lors de sa convention Re:Invent 2024, à Las Vegas du 2 au 6 décembre, AWS a avancé ses pions dans la GenAI. Après un premier coup d'essai dans les LLM avec Titan Text et Image - et avant son supposé LLM géant à 2 000 milliards de paramètres - le fournisseur américain a levé le rideau sur sa famille de LLM Nova. « Vous pouvez utiliser Amazon Nova pour réduire les coûts et la latence pour presque toutes les tâches d'IA générative. Vous pouvez vous appuyer sur Nova pour analyser des documents et des vidéos complexes, comprendre des graphiques et des diagrammes, générer des contenus vidéo attrayants et construire des agents d'IA sophistiqués, à partir d'une gamme de classes d'intelligence optimisées pour les charges de travail des entreprises », annonce AWS. « Les modèles de compréhension d'Amazon Nova excellent dans l'apprentissage en contexte (ICL) et dans l'élaboration de réponses basées sur des données contextuelles fournies par des approches telles que RAG. »

Les quatre membres de la famille Nova sont les suivants : Micro, Lite, Pro et Premier ayant chacun leur positionnement et caractéristiques à même de répondre à différents besoins (performances, coûts...).

Une famille (presque) au grand complet

- Nova Micro est un modèle texte uniquement qui fournit les réponses avec la plus faible latence de la famille Nova à un coût très faible selon le fournisseur. Avec une longueur de contexte de 128 000 tokens et optimisé pour la vitesse et le coût, Nova Micro est taillé pour les tâches telles que le résumé de texte, la traduction, la classification de contenu, le chat, raisonnement mathématique simple, le codage... Il utilise le fine-tuning et la distillation de modèles pour augmenter la précision.

- Nova Lite est annoncé comme un LLM multimodal à très faible coût, taillé pour le traitement d'images, de vidéos et de textes en entrée afin de générer des textes en sortie. Ce modèle peut gérer les interactions avec les clients en temps réel, l'analyse de documents et les tâches de réponse à des questions visuelles avec une grande précision. Il traite des entrées d'une longueur maximale de 300 000 tokens en entrée et peut analyser plusieurs images ou jusqu'à 30 minutes de vidéo en une seule requête. Nova Lite prend également en charge le texte et le réglage fin multimodal et peut être optimisé pour fournir la meilleure qualité et les meilleurs coûts avec également la distillation de modèle.

- Nova Pro, un modèle multimodal hautement performant combinant précision, vitesse et coût, capable de traiter aussi jusqu'à 300 000 tokens en entrée et s'avère taillé pour les traitements GenAI nécessitant des appels API et des outils pour réaliser des workflows complexes. Il se distigue en particulier sur les benchmarks de réponse à des questions visuelles (TextVQA) et de compréhension vidéo (VATEX). Nova Pro sert également de modèle d'enseignement pour distiller des variantes personnalisées de Nova Micro et Lite.

- Nova Premier. Contrairement aux 3 LLM précédents, celui-ci n'est pas encore disponible mais devrait l'être début 2025. Selon Amazon il s'agit de « son modèle multimodal le plus performant pour les tâches de raisonnement complexes et pour l'utilisation en tant que meilleur enseignant pour la distillation de modèles personnalisés. » Il faudra donc encore patienter quelques semaines pour avoir plus de détails sur le dernier (et plus performant) rejeton de la famille Nova.

200 langues supportées, mais seulement 15 optimisées

Ces LLM Nova peuvent être invoqués par le biais d'une API utilisant InvokeAPI ou Converse API ou être utilisés par le biais de Bedrock Chat et Text playgrounds pour être intégrées aux données et applications des entreprises. 200 langues sont supportées, mais seulement 15 sont optimisées : anglais, allemand, espagnol, français, italien, japonais, coréen, arabe, chinois simplifié, russe, hindi, portugais, néerlandais, turc et hébreu. Contrairement à son habitude - et à ses concurrents - AWS ne fournit pas (encore ?) de grille tarifaire publique.

Ils sont disponibles pour l'instant sur la seule région US East (North Virginia), et incluent par ailleurs deux modèles de génération de création de contenu : Canvas pour générer des images de qualité incluant des fonctions variées (inpainting, outpainting et suppression de l'arrière-plan.) Et Reel pour produire de courtes vidéos à l'aide d'invites textuelles et d'images, contrôler le style visuel et le rythme... Tous les modèles Nova intègrent par ailleurs des contrôles de sécurité et les modèles de génération de contenu créatif intègrent aussi des fonctionnalités de filigrane pour identifier les contenus générés par l'IA.