Le Monde Informatique : En quoi consiste votre fonctionnalité Local Shadow AI ?
Nir Peleg : Nous entrons dans une nouvelle phase du développement logiciel, où les agents d’IA génèrent directement du code à partir de prompts. Cette évolution soulève toutefois de nouveaux enjeux de visibilité, de sécurité et de gouvernance. Dans les grandes organisations, les développeurs peuvent recourir à de nombreux agents de codage, capables de télécharger eux-mêmes des paquets ou des compétences dont la fiabilité n’a pas été vérifiée par l’entreprise. Or, ces composants peuvent contenir des vulnérabilités ou des instructions malveillantes. Notre fonctionnalité Local Shadow AI permet de détecter, sur les postes des développeurs, les outils, compétences et composants liés à l’IA qui échappent aux circuits d’approbation de l’organisation. Elle analyse les environnements de développement pour identifier les éléments non autorisés et les risques potentiels qu’ils présentent. Les équipes de sécurité peuvent ensuite évaluer les menaces détectées et définir les mesures correctives nécessaires.
Comment JFrog analyse-t-il ces composants pour repérer des instructions dangereuses ?
Nous avons développé notre propre mécanisme d’analyse, reposant sur plusieurs méthodes pour identifier des intentions potentiellement malveillantes. Il peut s’agir, par exemple, d’une compétence qui cherche à obtenir des privilèges ou des accès dont elle n’a pas besoin pour remplir sa fonction. Le danger tient aussi au fait que ces instructions peuvent être dissimulées derrière un langage sophistiqué. Une compétence peut sembler légitime tout en cherchant à orienter le comportement de l’agent vers des actions indésirables. Nous cherchons donc à détecter les anomalies de comportement et les activités qui ne correspondent pas à l’usage attendu du composant. C’est un travail permanent : les techniques évoluent, et nos équipes de recherche actualisent les méthodes de détection. »
Que permet l’approche Bring Your Own LLM Key (BYOK), et quelles garanties apporte-t-elle en matière de confidentialité ?
Certains clients, notamment ceux qui déploient leurs solutions dans leur propre environnement, disposent déjà d’un grand modèle de langage approuvé par leur organisation. Nous leur permettons d’utiliser leur propre clé d’API et leur modèle, plutôt que de dépendre nécessairement de notre service. Notre mécanisme d’analyse utilise alors ce modèle pour examiner les compétences IA. Cela laisse aux entreprises la liberté de choisir leur fournisseur et de conserver leurs accords et leurs politiques de sécurité existants. Dans un déploiement autohébergé, l’objectif est de garder les données dans l’environnement du client et de ne pas envoyer le code vers notre cloud. L’entreprise peut ainsi s’appuyer sur son infrastructure et sur les modèles qu’elle a déjà approuvés. »
Quels scénarios d’attaque vous préoccupent le plus aujourd’hui ?
L’une des principales préoccupations concerne les capacités des modèles de pointe à contribuer à des attaques autonomes. Ils peuvent aider à découvrir de nouvelles vulnérabilités, y compris des vulnérabilités de type zero-day, puis participer à des chaînes d’attaque comportant plusieurs étapes. Cela change le paysage de la menace. Les attaquants peuvent potentiellement agir à une échelle et à une vitesse inédites, alors que les défenseurs doivent encore composer avec des cycles de correctifs, de validation et d’approbation qui peuvent prendre des semaines. »
Comment les entreprises doivent-elles adapter leur gouvernance face à des agents capables d’agir de manière autonome ?
La première étape consiste à obtenir une visibilité sur ce qui se passe. Si vous ne voyez pas les téléchargements de Shadow IA ou les composants utilisés par les agents, vous ne pouvez pas les gouverner. Il faut ensuite intégrer la sécurité et les politiques de contrôle au processus de développement logiciel : dépendances, compétences, connecteurs MCP et déploiements. L’objectif est de disposer d’un système commun qui centralise la visibilité, les analyses de sécurité, les règles et les contrôles. À chaque étape, de la modification du code jusqu’à la mise en production, l’entreprise doit pouvoir retracer ce qui s’est passé et disposer des éléments nécessaires pour enquêter en cas d’incident. Quand le développement s’effectue à la vitesse des agents, la gouvernance doit elle aussi fonctionner à cette vitesse. Elle ne peut plus reposer uniquement sur des vérifications humaines intervenant après coup : les contrôles doivent être intégrés à la plateforme et aux processus automatisés. »