Meta planche sur un LLM rival de GPT-4

Le succès foudroyant de ChatGPT d’OpenAI a surpris beaucoup de monde, y compris Meta. Si la start-up, soutenue par Microsoft est montée en puissance avec son LLM GPT, en particulier sa quatrième et dernière version, la maison-mère de Facebook et Instagram n’entend pas s’avouer vaincue. Selon le Wall Street Journal, Mark Zuckerberg, a chargé une équipe pour travailler sur le développement de la prochaine génération de modèle d’IA génératives.

Ce modèle devrait être « plusieurs fois plus puissant » que ceux proposés actuellement et notamment Llama 2. Ce dernier a été présenté en juillet dernier lors d’un partenariat avec Microsoft et propose des déclinaisons allant de 7 à 70 milliards d’hyper-paramètres. La firme s’est déjà appuyée dessus pour lancer son offre Code Llama à destination des développeurs. Elle a par ailleurs lancé SeamlessM4T pour la traduction universelle à la demande de centaines de langues, d'AudioCraft, un modèle pour la création de musique et de sons, et de Voicebox pour la parole.

Meta se retrouve surtout un écosystème très concurrentiel avec les grands fournisseurs de cloud (Microsoft avec OpenAI et Google qui a dégainé Bard sur son LLM PaLM 2) et des start-ups en forte croissance (Anthropic et son IA Claude ou Cohere). Reste à savoir si cette course à la performance des modèles d’IA générative est pertinente à l’heure où les entreprises se posent des questions sur la protection des données qui servent à entraîner les IA et leur capacité à former et déployer leur propre modèle. Les récentes annonces des fournisseurs de cloud vont dans ce sens.