Si la montée en puissance de l'IA constitue une promesse de gains potentiels  (temps, productivité...) pour les entreprises, elle est aussi une source d'ennuis. En particulier du côté de la sécurité informatique avec un usage de plus en plus répandu chez les pirates à des fins de conception de campagnes et d'outils malveillants de plus en plus performants. Mais aussi une appropriation de l'IA pour compromettre des systèmes ou des modèles IA en vue d'altérer, compromettre ou exfiltrer des données. Dans un premier rapport sur ce sujet, l'ANSSI fait le point sur la situation en dressant un état de la menace que représente l'IA générative dans les attaques informatiques. Et de commencer par un constat : "A ce jour, l’Anssi n’a pas connaissance de cyberattaques menées contre des acteurs français à l’aide de l’intelligence artificielle ou identifié en propre de système IA capable de réaliser de manière autonome l’intégralité des étapes d’une attaque informatique." Mais cela pourrait bien ne plus être le cas, tant les pirates sont de plus en plus nombreux à intégrer la GenAI dans leurs outils et services malveillants.

Dans son étude, l'Agence Nationale de la Sécurité des Systèmes d'Information explique que les modèles GenAI sont utilisés par des profils d'attaquants variés tout au long de la chaine d'attaque (conception de contenus à des fins d'ingénierie sociale et de reconnaissance, développement de codes malveillants, identification d'information d'intérêt avant et après exfiltration de données). Toutefois, le recours à la GenAI dans la mise en oeuvre de certaines étapes de la chaine d'infection (recherche de vulnérabilités par exemple) est annoncé comme plus complexe. "L’identification d’une vulnérabilité et le développement de la preuve de concept associée dépendent encore de compétences humaines", estime l'ANSSI. "La plupart des systèmes d’IA générative commerciaux, disponibles en sources ouvertes ou sur les forums cybercriminels resteraient encore trop instables et trop limités pour identifier des vulnérabilités jour-zéro rapidement et en quantité".

Une forme inédite d'attaque supply chain

Si les pirates s'appuient sur la GenAI pour tenter de compromettre des systèmes et extraire des données, ils s'attèlent aussi à viser les systèmes IA pour en tirer des bénéfices. Par exemple, l'empoisonnement de modèles IA peut être effectué à des fins d'altération de données ou de désinformation, voire de compromission de logiciels ou d'exfiltration de données sensibles. "Si aucun incident n’a été porté à la connaissance de l’Anssi jusqu’à présent, il existe un risque de manipulation, de modification et d’interaction d’un acteur malveillant avec les données d’entraînement d’une IA générative. Une telle compromission pourrait entre autre mener à l’utilisation de ces modèles à des fins d’altération de données et de sabotage de systèmes opérationnels", prévient l'agence.

Selon elle, certaines attaques à l’encontre de modèles IA pourraient également constituer une nouvelle forme d’attaque de type supply chain logicielle. "Des modèles GenAI disponibles en sources ouvertes et spécialisés dans la génération de code informatiques peuvent être malveillants ou compromis et exécuter du code arbitraire pour installer une porte dérobée sur le poste de l’utilisateur dès leur téléchargement", poursuit l'Anssi. "Des attaquants peuvent également exploiter des failles au sein d’agents Model Context Protocol (MCP), utilisés pour connecter les LLM à des outils externes et à des sources de données."