Ajoutés aux logiciels NeMo Guardrails, Nvidia présente des microservices d’inférence (NIM) destinés à mettre en place des garde-fous aux agents IA. En particulier, ils peuvent aider les entreprises à améliorer la précision, la sécurité et le contrôle des agents. Il s’agit d’une préoccupation importante des responsables IT et un frein à l'adoption de cette technologie. « Aujourd’hui, une entreprise sur dix utilise déjà des agents IA, et plus de 80 % prévoient de les adopter au cours des trois prochaines années », a déclaré Kari Briski, vice-présidente des modèles, logiciels et services d'IA d'entreprise chez Nvidia, lors d'une conférence de presse.
« Cela signifie que l’on ne construit pas seulement des agents pour la précision de la tâche, mais qu’il faut aussi les évaluer pour répondre aux exigences de sécurité, de confidentialité des données et de gouvernance, ce qui peut constituer un obstacle majeur au déploiement. » Selon la dirigeante, la question de la performance est aussi importante. « Ils ne doivent pas s’écarter de la tâche à exécuter tout en étant rapides et réactifs dans leurs interactions avec les utilisateurs finaux et les autres agents IA », a-t-elle expliqué.
Le détail des trois NIM
Les trois NIM pour NeMo Guardrails présentés par Nvidia sont destinés à la sécurité du contenu, au contrôle des sujets et à la détection des jailbreaks. Le premier est axé sur la sécurité du contenu vise à empêcher l'IA de générer des résultats biaisés ou nuisibles, en s'assurant que les réponses de l'IA respectent les normes éthiques. Il a été entraîné sur l'ensemble de données Aegis Content Safety de Nvidia, qui comprend 35 000 échantillons de data annotées et qualifiés par un humain pour la sécurité de l'IA. Aegis est utilisé pour enseigner à l'IA comment modérer les contenus potentiellement dangereux générés par d'autres modèles d'IA.
Le second microservice lié au contrôle des sujets permet aux agents IA de se concentrer sur des sujets approuvés, en les empêchant de dévier vers des contenus inappropriés. Il peut, par exemple, empêcher un agent de discuter d'un produit concurrent. Enfin, le module de détection des jailbreaks a pour rôle de préserver l'intégrité de l'IA dans des « scénarios contradictoires » en la protégeant contre les tentatives d'évasion qui visent à contourner intentionnellement les mesures de protection des agents d’IA. Il a été conçu à partir de Nvidia Garak, une boîte à outils open source pour l'analyse des vulnérabilités, entraînée sur un ensemble de données de 17 000 jailbreaks connus.
Les garde-fous basés sur des SLM
NeMo Guardrails fait partie de la plateforme évolutive NeMo qui sert à définir, orchestrer et appliquer des politiques sur les agents et autres applications basées sur l’IA. « Les garde-fous contribuent à maintenir la crédibilité et la fiabilité des opérations d'IA en appliquant des spécifications pour les modèles, les agents et les systèmes d'IA, et encadrent les agents dans la tâche qu’ils sont censés exécuter », a déclaré Kari Briski. Par exemple, un constructeur automobile pourrait s’appuyer sur ces microservices pour créer un agent IA qui aide les conducteurs à régler la climatisation, les sièges, à utiliser l'infodivertissement, la navigation, etc., ou encore interdire certains sujets, concernant par exemple des marques concurrentes, ou empêcher le partage d'avis ou d'opinions.
Les Guardrails NeMo s'appuient sur de petits modèles de langage (Small Language Model, SLM) qui ont une latence plus faible que les LLM, ce qui signifie qu'ils peuvent fonctionner efficacement dans des environnements limités en ressources ou dans des environnements distribués. Mme Briski a fait remarquer que les SML sont parfaits pour la mise à l'échelle des applications à base d’IA dans des secteurs comme la santé, l'automobile et l'industrie manufacturière. Certains DSI se tournent déjà vers les SLM pour des solutions spécifiques et comme alternatives aux grands modèles de langage (LLM) plus génériques.
Une personnalisation possible
Même s’il est possible d'utiliser les Guardrails NeMo dans des configurations par défaut, Mme Briski explique que leur véritable puissance réside dans la personnalisation et l'extension des garde-fous. « L'utilisation de plusieurs garde-fous personnalisables est importante, car le même Guardrail ne peut pas servir à tous les scénarios », a-t-elle expliqué. « Les politiques et les exigences peuvent varier selon les cas d’usage, les marques, les directives de l'entreprise ou même les exigences réglementaires basées sur l'industrie et la géographie. Les développeurs veulent pouvoir choisir les garde-fous qui conviennent à leurs besoins spécifiques et aux exigences variables des systèmes reposant sur des agents d’IA », a-t-elle ajouté.
Le département IT va devenir une sorte de « RH des agents », a résumé Mme Briski, laissant entendre que c’est dans ce domaine que ces microservices seront le plus utiles, puisque les développeurs pourront appliquer de multiples modèles légers et spécialisés pour couvrir les lacunes qui peuvent survenir dans un cadre où l’on applique surtout des politiques et des protections globales plus générales. Les différents microservices, ainsi que NeMo Guardrails pour l'orchestration et la boîte à outils Garak, sont d’ores et déjà disponibles pour les développeurs et les entreprises.
Commentaire