Red Hat, une filiale d’IBM, monte en puissance sur l’IA et vient de renforcer la sécurité de cette technologie en annonçant l’acquisition de Chatterbox Labs pour un montant non communiqué. Fondé en 2011 et basé à Londres, cette dernière commercialise AIMI, une plateforme qui protège les LLM contre différentes menaces. Concrètement, elle lance des tests d’intrusion automatisés contre le modèle choisi par une entreprise et identifie les points faibles potentiels. La plateforme visualise ensuite les résultats sur un tableau de bord pour faciliter l'analyse.

AIMI peut ainsi mesurer la vulnérabilité d’un modèle aux injections de prompts, des attaques qui tentent de le tromper et de l'amener à effectuer des actions non autorisées. Le service détecte également l’empoisonnement des données, une technique visant à compromettre l'ensemble de données d'entraînement du LLM. De plus, il est capable de repérer des réponses malveillantes (biais, insultes,…) des assistants et des fuites de données sensibles, ainsi que les prompts qui enfreignent les règles de protection de la vie privée.

La plateforme peut également servir à protéger les agents IA qui utilisent MCP (Model context protocol) pour interagir avec des applications tierces. Une fonctionnalité qui intéresse particulièrement Red Hat au sein de son offre AI 3, un package comprenant Openshit AI, un serveur d’inférence, des modèles pré-validés, le support de MCP et des API de Llama. Dans un communiqué, l’éditeur constate que « Chatterbox Labs a mené des travaux de recherche sur la sécurité agentique globale, notamment la surveillance des réponses des agents et la détection des déclencheurs d'actions du serveur MCP ». Il ajoute, « ces travaux s'inscrivent dans la feuille de route de Red Hat pour la pile Llama et la prise en charge de MCP ». A long terme, Red Hat prévoit de rendre AIMI disponible sous licence open source.