Avec Phi-3 Mini, Microsoft frappe un grand coup dans les SLM

Microsoft a présenté le dernier-né de sa famille de petits modèles de langage (SLM pour small language model) dans le cadre de son plan visant à rendre la technologie GenAI, à la fois légère et performante, disponible sur un plus grand nombre de plates-formes, y compris les terminaux mobiles. La société a ainsi dévoilé la plateforme Phi-3 en trois modèles : Mini de 3,8 milliards de paramètres, Small de 7 milliards de paramètres et Medium de 14 milliards de paramètres. Ces modèles constituent la prochaine itération de la ligne de produits SLM de la firme de Redmond qui a commencé avec la sortie de Phi-1 puis de Phi-2 qui se sont rapidement succédé ces derniers mois.

Phi-3 s'appuie donc sur Phi-2, qui pouvait comprendre 2,7 milliards de paramètres tout en étant plus performant que des grands modèles de langage (LLM) jusqu'à 25 fois plus grands, expliquait Microsoft à l'époque. Les paramètres font référence au nombre d'instructions complexes qu'un modèle de langage peut comprendre : par exemple, le grand modèle de langage GPT-4 d'OpenAI traite 1,7 trillion de paramètres. Rappelons que Microsoft n'est pas étranger à ce dernier, étant l'un des principaux actionnaires et partenaires d'OpenAI et utilisant d'ailleurs ChatGPT comme base de son assistant de GenAI Copilot.

Quand l'IA générative devient mobile

Phi-3 Mini est disponible dès maintenant, les autres versions suivront. Phi-3 peut être quantifié à 4 bits de sorte qu'il n'occupe qu'environ 1,8 Go de mémoire, ce qui le rend adapté au déploiement sur des terminaux mobiles, ont fait savoir les chercheurs de Microsoft dans un rapport technique sur Phi-3 publié en ligne. En fait, les chercheurs de Microsoft ont déjà testé avec succès le modèle Phi-3 Mini quantifié en le déployant sur un iPhone 14 équipé d'une puce A16 Bionic (6 Go de RAM) fonctionnant en mode natif. Même à cette petite taille, le modèle a atteint des performances globales, mesurées à la fois par des benchmarks académiques et des tests internes, qui rivalisent avec des modèles tels que Mixtral 8x7B et GPT-3.5, toujours d'après l'éditeur.

Phi-3 a été entraîné sur un mélange de données web "fortement filtrées" provenant de diverses sources Internet ouvertes, ainsi que sur des "données synthétiques" générées par LLM. Microsoft a effectué un pré-entraînement en deux phases, dont l'une était principalement composée de sources web visant à enseigner au modèle les connaissances générales et la compréhension de la langue. La seconde phase a fusionné des données web encore plus lourdement filtrées avec des données synthétiques pour enseigner au modèle le raisonnement logique et diverses compétences de niche, ont indiqué les chercheurs.

"Plus c'est gros mieux c'est" Vs "Moins c'est plus"

Les centaines de milliards - voire trillions de paramètres - que les LLM doivent comprendre pour produire des résultats ont un coût : la puissance de calcul. Les fabricants de puces qui s'efforcent de fournir des accélérateurs pour l'IA générative envisagent ainsi déjà une lutte pour suivre l'évolution rapide des LLM. Phi-3 est donc une manifestation d'une tendance continue dans le développement de l'IA à abandonner la mentalité du "plus c'est gros, mieux c'est" vers "moins c'est plus". C'est à dire à rechercher plutôt une plus grande spécialisation dans les ensembles de données plus petits sur lesquels les SLM sont entraînés. Ces modèles constituent dès lors une option moins coûteuse et moins gourmande en ressources informatiques, tout en apportant des performances élevées et des capacités de raisonnement équivalentes, voire supérieures, à celles des LLM, selon Microsoft.

"Les petits modèles de langage sont conçus pour répondre à des tâches plus simples, sont plus accessibles et plus faciles à utiliser pour les entreprises disposant de ressources limitées, et ils peuvent être plus facilement ajustés pour répondre à des besoins spécifiques", note Ritu Jyoti, vice-président du groupe, recherche mondiale sur l'intelligence artificielle et l'automatisation pour IDC. "En d'autres termes, ils sont beaucoup plus rentables que les LLM. De nombreuses institutions financières, sociétés de commerce électronique et organismes à but non lucratif adoptent déjà l'utilisation de modèles plus petits en raison de la personnalisation qu'ils peuvent apporter, par exemple en étant formés spécifiquement sur les données d'un client, a noté Narayana Pappu, CEO de Zendata, fournisseur de solutions de sécurité des données et de conformité en matière de protection de la vie privée.

Ces modèles peuvent également proposer une plus grande sécurité aux organisations qui les utilisent, car des SLM spécialisés peuvent être formés sans que les données sensibles de l'entreprise ne soient divulguées. Parmi les autres avantages des SLM pour les utilisateurs professionnels, citons une probabilité plus faible d'hallucinations - ou de fourniture de données erronées - et des exigences moindres en matière de données et de prétraitement, ce qui les rend globalement plus faciles à intégrer dans le flux de travail de l'entreprise, a ajouté Narayana Pappu. L'émergence des SLM ne signifie pas pour autant que les LLM disparaîtront. Cela signifie simplement que les clients ont plus de choix "pour décider quel est le meilleur modèle pour leur scénario", a fait savoir Ritu Jyoti. "Certains clients n'auront besoin que de petits modèles, d'autres de grands modèles, et beaucoup voudront combiner les deux de différentes manières".

Pas encore une science parfaite

Si les SLM présentent certains avantages, ils ont aussi leurs inconvénients, reconnaît Microsoft dans son rapport technique. Les chercheurs ont ainsi noté que Phi-3, comme la plupart des modèles de langage, est toujours confronté à des "défis concernant les inexactitudes factuelles (ou les hallucinations), la reproduction ou l'amplification des préjugés, la génération de contenu inapproprié et les questions de sécurité". Et malgré ses performances élevées, ce SML a des limites en raison de sa petite taille. "Bien que Phi-3 Mini atteigne un niveau de compréhension du langage et de capacité de raisonnement similaire à celui de modèles beaucoup plus grands, il reste fondamentalement limité par sa taille pour certaines tâches".

Par exemple, Phi-3 Mini n'a pas la capacité de stocker de grandes quantités de "connaissances factuelles". Toutefois, cette limitation peut être améliorée en associant le modèle à un moteur de recherche, notent les chercheurs. Une autre faiblesse liée à la capacité du modèle est que ces derniers ont principalement limité la langue à l'anglais, bien qu'ils s'attendent à ce que les futures itérations incluent davantage de données multilingues. Néanmoins, les chercheurs de Microsoft ont noté qu'ils avaient soigneusement sélectionné les données de formation et procédé à des tests pour s'assurer qu'ils avaient atténué "de manière significative" ces problèmes "dans toutes les dimensions". Avant d'ajouter toutefois qu'"il y a encore beaucoup de travail à faire pour relever pleinement ces défis".