Le développement des outils basés sur l’IA entraîne des nouveaux risques. Pour en prendre conscience, l’entreprise en cybersécurité Air a mené une expérience en créant une fausse compétence pour agents IA. Les résultats sont à la fois impressionnants et édifiants en touchant plus de 26 000 utilisateurs. Comme l’a précisé Air, certains des agents impliqués étaient liés à des comptes d’entreprise. Elle indique aussi qu’une attaque similaire aurait pu exposer des conversations privées et des systèmes internes.

Selon la société, aucun agent n’a été mis en danger au cours de la recherche et la charge utile testée n’a collecté que les adresses de courriel des utilisateurs afin de pouvoir les avertir d’un risque éventuel. L’expérience s’est concentrée sur une compétence appelée « brand-landing page » censée aider les utilisateurs à créer une page de destination avec l’outil de conception Stitch de Google. Air a expliqué avoir choisi ce cas d’usage car il pouvait intéresser les utilisateurs d’entreprise sans compétences techniques, notamment les spécialistes du marketing, les commerciaux et les designers.

Acquérir une notoriété sur GitHub et éviter les radars des scanners

Pour rendre la compétence crédible, l’entreprise dit avoir recherché deux indicateurs de confiance : la réputation sur GitHub et des résultats de sécurité positifs de la part des scanners de sécurité. Plutôt que de bâtir sa crédibilité à partir de zéro, l’entreprise a soumis la compétence à un référentiel d’agents open source populaire qui, selon Air, comptait environ 36 000 étoiles GitHub et 156 compétences. Le pull request a été fusionné au bout de quelques jours. Elle a ensuite fait la promotion de la compétence via une publicité Instagram afin d’inciter les utilisateurs à l’installer et à l’exécuter. Cette technique malveillante n’impliquait pas l’ajout de code suspect dans les fichiers envoyés. Au lieu de cela, la compétence demandait aux agents de configurer un SDK Stitch en suivant les instructions d’installation hébergées sur stitch-design.ai, un domaine contrôlé par Air. Le véritable domaine Stitch de Google est stitch.withgoogle.com.

L’entreprise a déclaré avoir configuré ce faux domaine pour qu’il redirige vers le véritable site Stitch, ce qui rendait le problème difficile à détecter par un simple examen statique de la compétence. « Les scanners de sécurité des compétences actuelles partagent tous la même conception : ils analysent le fichier SKILL.md de la compétence et les ressources associées, en combinant des heuristiques statiques et des agents LLM », a expliqué Air. La société a indiqué avoir testé la compétence avec les scanners de Cisco, Nvidia et skills.sh, et que tous avaient classé la page d’accueil de la marque comme sûre. Une fois la compétence distribuée, elle a modifié le contenu de la fausse documentation Stitch. La page révisée demandait aux agents de télécharger et d’exécuter un script. Lors du test, ce script a collecté l’adresse de courriel de l’utilisateur, mais la société a précisé que la même approche aurait pu être utilisée pour compromettre les machines exécutant l’agent. Selon elle, cette expérience a démontré que les compétences des agents IA ne peuvent pas être évaluées uniquement en analysant leurs fichiers compressés au moment de l’approbation ou de l’installation parce qu’une compétence peut passer le test avec succès tout en redirigeant un agent vers une page web qui peut être modifiée par la suite.

Risque de dépendance des compétences IA

Pour les équipes de sécurité, le problème ne réside pas seulement dans le fait que la compétence ait passé l’examen, mais aussi dans le fait que son comportement puisse changer une fois la confiance accordée. Selon la chercheuse en cybersécurité Devashri Datta, ce test suggère que les RSSI ne devraient pas traiter les compétences IA comme de simples invites ou fichiers texte mais qu’ils devraient les inclure dans le cycle de développement logiciel de l’entreprise. « Considérer les compétences des agents comme de simples textes ou invites relève d’une incompréhension architecturale fondamentale », a déclaré Mme Datta. « En effet, ces ensembles d’instructions exécutables dictent la manière dont un agent fonctionne, interagit avec les systèmes d’entreprise et achemine les données, et celles-ci doivent être gérées avec la même rigueur que les progiciels open source tiers ou les intégrations SaaS », a-t-elle poursuivi.

Keith Prabhu, fondateur et CEO de Confidis, pense qu’il faut considérer les compétences des agents IA comme des « dépendances tierces dynamiques », et non comme des plugins statiques. « Un scan de sécurité ponctuel ne suffit plus : les entreprises ont besoin d’une validation continue et de contrôles stricts en temps réel », a fait valoir M. Prabhu. Cela commence par un inventaire des compétences IA à l’échelle de l’entreprise, qui fournit aux équipes de sécurité des registres clairs de responsabilité et une visibilité sur les connexions externes de chaque compétence ainsi que sur les flux de données autorisés. « Cette expérience montre également pourquoi les analyses statiques ponctuelles ne sont pas adaptées aux environnements orchestrés par des LLM », a encore ajouté Mme Datta. La compétence a échappé aux scanners car la charge utile se trouvait derrière une URL externe modifiable qui a été changée après la distribution, plutôt qu’à l’intérieur du paquet soumis.

Importance des contrôles au moment de l’exécution

Selon Mme Datta, les entreprises devraient exiger le verrouillage de version et le suivi des références immuables pour toute compétence qui récupère des instructions ou des composants logiciels externes. Ce contenu devrait être localisé, lié à un hachage cryptographique et hébergé dans un environnement contrôlé par l’entreprise. Les équipes de sécurité devraient aussi appliquer le principe du « moindre privilège » au niveau de l’agent, afin qu’une compétence n’hérite pas de l’ensemble des droits d’accès aux données de l’utilisateur qui l’exécute. M. Prabhu estime par ailleurs que les responsables de la sécurité devraient évaluer les compétences des agents IA tout au long de leur cycle de vie, et pas seulement lors de leur validation initiale.

Les entreprises devraient limiter l’accès de leurs employés aux marketplace approuvées et aux compétences pré-approuvées, valider les URL externes référencées par ces compétences et tester le comportement à l’installation dans un bac à sable avant le déploiement. « Au moment de l’exécution, les appels réseau doivent être limités aux domaines approuvés et surveillés afin de détecter toute activité inhabituelle », a déclaré M. Prabhu. Cette couche de sécurité est essentielle, car une compétence qui semble sûre lors de son installation peut modifier son comportement une fois qu’elle a déjà gagné la confiance du système.