La firme de Redmond monte d’un cran la sécurité des agents IA en ciblant leur cycle de développement. Dans ce cadre, elle livre en open source deux frameworks nommés Rampart et Clarity. « Nous avons développé ces outils, car nous pensons que la sécurité de l'IA doit devenir une discipline d'ingénierie continue plutôt qu'un contrôle ponctuel, et nous estimons que le meilleur moyen d'y parvenir est de mettre des outils pratiques et ouverts entre les mains des personnes chargées de la conception », a déclaré Ram Shankar Siva Kumar, fondateur de la red team IA de Microsoft, dans un article de blog consacré à la sécurité.
Cette annonce intervient alors que les agents IA évoluent, passant d’assistants de type chatbot à des systèmes dotés de véritables privilèges opérationnels. Selon Microsoft, ces agents introduisent des risques que les workflows traditionnels de sécurité des applications n’ont pas été conçus pour gérer, notamment l’injection de prompts, l’utilisation non sécurisée d’outils, l’escalade de privilèges et les actions autonomes involontaires.
Rampart, pour les tests répétés de la red team IA
Microsoft a positionné Rampart comme la solution la plus opérationnelle des deux. Ce framework peut aider les développeurs à transformer les conclusions de la red team en tests reproductibles pouvant s’exécuter en continu tout au long des pipelines de développement et de déploiement. Conçu à partir de PyRIT, le framework d’automatisation ouvert de l’éditeur pour les tests red team des systèmes d’IA générative, Rampart permet aux équipes d’exécuter de manière structurée et automatisée, des scénarios de test tant adversaires que bénins sur des agents IA. L’idée est d’aller au-delà des audits de sécurité ponctuels pour intégrer des contrôles continus directement dans les workflows CI/CD.
« Alors que PyRIT est optimisé pour la découverte en boîte noire par les chercheurs en sécurité une fois le système construit, Rampart est conçu pour les développeurs pendant la construction du système », a expliqué M. Kumar. Le framework promet de mettre en évidence les problèmes liés à l'injection inter-prompts, au traitement non sécurisé des données, à l'exécution d'outils non sécurisés et à d'autres voies d'attaque spécifiques aux agents avant que les applications n'atteignent la production. De plus, Rampart est programmé pour proposer aux entreprises de convertir les résultats des tests de la red team en tests automatisés reproductibles, aidant ainsi les ingénieurs à vérifier en continu les régressions à mesure que les agents évoluent.
Clarity, pour la validation des hypothèses
Alors que Rampart se concentre sur le test des systèmes en cours de développement, Clarity intervient plus tôt dans le flux de travail, avant même que le code ne commence à être écrit. Microsoft décrit Clarity comme un outil destiné à examiner et à valider les hypothèses qui sous-tendent les décisions de conception des agents IA. Cela inclurait vraisemblablement l'évaluation du comportement attendu des agents, des autorisations dont ils devraient disposer, de la manière dont ils interagissent avec les outils et les systèmes externes, ainsi que de l'existence de limites de confiance. « Clarity fonctionne sous forme d’application de bureau, d’interface Web ou directement intégrée à un agent de codage », a expliqué M. Kumar. « Il guide les ingénieurs à travers des conversations structurées portant sur la clarification des problèmes, l’exploration des solutions, l’analyse des défaillances et le suivi des décisions.
« Ces conversations sont enregistrées dans le répertoire « .clarity-protocol/ » du référentiel sous forme de fichiers Markdown, qui peuvent être validés, révisés dans des pull request et comparés comme du code source », a-t-il ajouté. Ces derniers mois, Microsoft a développé une pile open source dédiée à la « gouvernance des agents » et à la sécurité, intégrant ainsi Rampart et Clarity dans une stratégie plus large plutôt que de les proposer comme des versions autonomes. Le mois dernier, l’entreprise a présenté Agent Governance Toolkit, un agent axé sur les contrôles de routine, l’application des politiques et les protections conformes aux normes OWASP pour les agents IA.