Fondements et atouts de l'IA générative

Nous nous souviendrons peut-être de 2022 comme de l'année où les techniques d'IA cognitive sont passées des laboratoires à un usage courant. ChatGPT, une IA conversationnelle qui répond aux questions, est passée de zéro à un million d'utilisateurs en moins d'une semaine puis à 100 millions d’utilisateurs mensuels actifs seulement deux mois après son lancement. Les IA de génération d'images DALL-E 2, Midjourney et Stable Diffusion ont ouvert l'accès au public et ont attiré l'attention du monde entier par la variété et la qualité des images générées à partir de phrases et d'expressions courtes. « L'IA a fait la une des journaux pour des projets tels que des véhicules à conduite autonome comme Tesla et Waymo, des jeux imbattables (pensez à AlphaGo) et la génération d'œuvres d'art captivantes comme DALL-E », explique Torsten Grabs, directeur de la gestion des produits chez Snowflake.

De nombreux modèles d'apprentissage automatique (ML) utilisent des techniques d'apprentissage supervisé où un réseau neuronal ou un autre modèle est formé à l'aide d'ensembles de données étiquetées. Par exemple, vous pouvez commencer par une base de données d'images étiquetées comme étant des chats, des chiens et d'autres animaux domestiques et entraîner un réseau neuronal convolutif (CNN) à les classer. Dans le monde réel, l'étiquetage des ensembles de données à grande échelle est coûteux et complexe. Les secteurs de la santé, de la fabrication et d'autres industries ont de nombreux cas d'utilisation disparates pour faire des prédictions précises. Les données synthétiques peuvent aider à augmenter les ensembles de données, mais la formation et la maintenance des modèles d'apprentissage supervisé restent coûteuses.

Techniques d'apprentissage one-shot et zero-shot

Pour comprendre l'IA générative, il faut commencer par appréhender les algorithmes d'apprentissage qui ne reposent pas sur des ensembles de données étiquetées. Les algorithmes d'apprentissage one-shot et zero-shot sont des exemples d'approches qui constituent la base des techniques d'IA générative. ChatGPT définit l'apprentissage one-shot et zero-shot comme « deux techniques qui permettent aux modèles d'apprendre et de classer de nouveaux exemples avec des quantités limitées de données d'apprentissage. Dans le machine learning one-shot, le modèle est entraîné sur un petit nombre d'exemples et est censé se généraliser à de nouveaux exemples tirés de la même distribution. L'apprentissage zero-shot fait référence à la capacité d'un modèle à classer de nouveaux exemples inconnus qui appartiennent à des classes qui n'étaient pas présentes dans les données d'apprentissage ».

David Talby, directeur technique de John Snow Labs, déclare : « Comme son nom l'indique, l'apprentissage one-shot ou few-shot vise à classer des objets à partir d'un seul ou de quelques exemples seulement. L'objectif est que les humains puissent demander à un modèle en anglais simple d'identifier une image, une phrase ou un texte avec succès ». L'apprentissage en une seule fois est effectué avec un seul exemple d'apprentissage pour chaque échantillon, par exemple la photo d'un nouvel employé. Le modèle peut alors calculer un score de similarité entre deux portraits, par exemple une photo de la personne comparée à l'échantillon, et le score détermine une correspondance suffisante pour accorder l'accès. Un exemple d'apprentissage zero-shot utilise l'ensemble de données Omniglot, une collection de 1 623 caractères dessinés à la main dans 50 alphabets différents. Dans l'apprentissage en mode zéro, le réseau est entraîné sur des images et des données associées, y compris les légendes et autres métadonnées contextuelles. L'une des approches pour ce type d'apprentissage utilise le CLIP (Contrastive Language-Image Pretraining) d'OpenAI pour réduire la dimension des images, créer une liste de toutes les étiquettes possibles à partir du texte, puis calculer un score de similarité entre l'image et l'étiquette. Le modèle peut ensuite être utilisé pour classer de images dans des étiquettes en utilisant un score de similarité. L'IA générative d'OpenAI, DALL-E, utilise CLIP et les GAN (generative adversarial networks) pour réaliser la fonction inverse et créer des images à partir du texte.

Applications des techniques d'apprentissage en quelques points

L'une des applications des techniques d'apprentissage « en quelques clics » concerne les soins de santé, où les images médicales et leurs diagnostics peuvent être utilisés pour développer un modèle de classification. « Des hôpitaux différents peuvent diagnostiquer des conditions différentes », explique David Talby. « Avec l'apprentissage one-shot ou few-shot, les algorithmes peuvent être sollicités par le clinicien, sans utiliser de code, pour obtenir un certain résultat ». Mais ne vous attendez pas à des diagnostics radiologiques entièrement automatisés trop tôt. Selon David Talby, « si la capacité d'extraire automatiquement des informations est très précieuse, cela ne remplacera pas de sitôt les professionnels de la santé ».

Pandurang Kamat, directeur technique chez Persistent, partage plusieurs autres applications potentielles. « Les techniques d'apprentissage zero-shot et few-shot ouvrent des opportunités dans des domaines tels que la découverte de médicaments, la découverte de molécules, les exploits zero-day, la déviation de cas pour les équipes de support client, et d'autres où les données d'entraînement étiquetées peuvent être difficiles ». Pandurang Kamat met toutefois en garde contre les limites actuelles. « Dans le domaine de la computer vision, ces techniques fonctionnent bien pour la reconnaissance, la classification et le suivi d'images, mais peuvent avoir des difficultés dans des scénarios exigeant une grande précision, comme l'identification de cellules cancéreuses et le marquage de leurs contours dans des images de pathologie », explique-t-il. La fabrication présente également des applications potentielles pour l'apprentissage en quelques clics dans l'identification des défauts. « Aucune usine bien gérée ne produira suffisamment de défauts pour disposer d'un grand nombre d'images de classes de défauts sur lesquelles s'entraîner. Il faut donc construire des algorithmes pour les identifier à partir de quelques dizaines d'échantillons seulement », ajoute Arjun Chandar, PDG d'IndustrialML.

Concevoir des solutions d'IA de dernière génération

Les datascientists peuvent essayer diverses approches d'apprentissage pour résoudre les problèmes de classification avec des ensembles de données non étiquetées. Parmi les moyens d'apprendre avec les algorithmes et les outils, citons l'utilisation d'Amazon SageMaker pour créer un système d'alerte basé sur des informations ou l'utilisation de l'apprentissage zero shot dans des agents conversationnels. Les développeurs et les scientifiques des données devraient également considérer ces techniques d'apprentissage et les modèles disponibles comme des blocs de construction pour de nouvelles applications et solutions au lieu de modèles optimisés spécifiques à un problème. Par exemple, Chang Liu, directeur de l'ingénierie chez Moveworks, affirme que les développeurs peuvent tirer parti des modèles NLP (traitement du langage naturel) à grande échelle plutôt que d'en construire eux-mêmes.

« Avec l'introduction des modèles de langage à grande échelle, les équipes tirent parti de ces systèmes intelligents pour résoudre les problèmes à l'échelle. Au lieu de construire un modèle entièrement nouveau, il suffit d'entraîner le modèle linguistique sur la description de la tâche et les réponses appropriées », explique M. Liu. Les futures solutions d'IA pourraient ressembler aux applications logicielles d'aujourd'hui, avec un mélange de modèles propriétaires, de composants commerciaux et open source intégrés, et de services tiers. « Les réalisations sont à la portée de presque toutes les entreprises prêtes à consacrer du temps à la définition du problème pour les solutions d'IA et à adopter de nouveaux outils et pratiques pour générer des améliorations initiales et continues », déclare Torsten Grabs de Snowflake. Il y a fort à parier que nous verrons diverses approches d'apprentissage et des réalisations d'IA se multiplier en 2023, de sorte que les équipes de data science puissent continuellement rechercher, apprendre et expérimenter.