Parmi les craintes des entreprises sur l’IA, le risque de voir leurs données sensibles être volées arrive en tête. Elles sont néanmoins nécessaires pour affiner et optimiser les modèles aux besoins métiers. Pour répondre à cette problématique, des chercheurs d’universités chinoises et singapourienne ont conçu un outil pour empoisonner les données dérobées et les rendre inutilisables pour les cybercriminels. Baptisé Aura (active utility reduction via adulteration), il injecte des données plausibles mais erronées dans un graphe de connaissance (KG) et plus spécifiquement le système GraphRAG.

Celui-ci a été crée par Microsoft en 2024 pour améliorer le RAG (retrieve augmented generation) où les LLM ont accès à des sources de données externes pour donner des réponses plus pertinentes et éviter les hallucinations. Le GraphRAG s’appuie sur des graphes de connaissances et il est utilisé par la plupart des fournisseurs de cloud comme Amazon ou Google pour leurs services IA. Selon les chercheurs, les informations contenues dans ses graphes de connaissances intéressent beaucoup les pirates. « « Un attaquant pourrait voler le KG par le biais d'intrusions externes ou en tirant parti d'initiés malveillants », indique le document de recherche. Il ajoute « une fois qu'un pirate a réussi à voler un KG, il peut le déployer dans un système GraphRAG privé afin de reproduire les puissantes capacités du système d'origine, évitant ainsi des investissements coûteux »

Une forte dégradation des résultats pour les pirates

Malheureusement, les exigences de faible latence du GraphRAG rendent impraticables les solutions cryptographiques robustes, comme le chiffrement homomorphe d'un KG. « Le chiffrement complet du texte et des intégrations nécessiterait le déchiffrement de grandes parties du graphe pour chaque requête », soulignent les chercheurs. « Ce processus entraînerait une surcharge informatique et une latence inatteignable, ce qui le rend inadapté à une utilisation dans le monde réel. » Selon eux, Aura résout ces problèmes, car il rend les KG volés inutiles pour les pirates.

L’apport de l’outil réside dans le fait que les utilisateurs autorisés disposent d'une clé secrète qui filtre les données falsifiées pour que la réponse du LLM à une requête soit utilisable. Pour les cybercriminels par contre l’usage des données erronées entraînera une dégradation des performances du raisonnement du LLM et conduira à des réponses factuellement incorrectes. Les chercheurs affirment qu'Aura dégrade les performances des systèmes non autorisés à une précision de seulement 5,3 %, tout en conservant une fidélité de 100 % pour les utilisateurs autorisés, avec une « surcharge négligeable », sous forme d’augmentation maximale de la latence des requêtes inférieure à 14 %. Ils affirment également que l’outil résiste à diverses tentatives de nettoyage par un attaquant, conservant 80,2 % des altérations injectées à des fins de défense, et que les fausses données qu'il crée sont difficiles à détecter.

Réactions mitigées des experts

Cette proposition a été accueillie avec scepticisme par un expert et avec prudence par un autre. « L'empoisonnement des données n'a jamais vraiment bien fonctionné », a rappelé Bruce Schneier, responsable de l'architecture de sécurité chez Inrupt et chercheur et conférencier à la Kennedy School de Harvard. « Les honeypots ne sont pas mieux. C'est une idée intelligente, mais selon moi, on ne peut la considérer que comme un système de sécurité auxiliaire. » Joseph Steinberg, consultant américain en cybersécurité et en IA, n'est pas du même avis. Il affirme que « d'une manière générale, la solution pourrait fonctionner pour tous les types de systèmes, qu'ils soient basés ou non sur l'IA ». Il souligne que le concept n’est pas nouveau. « Certains acteurs pratiquent depuis de nombreuses années l'injection de données erronées à des fins de défense avec des bases de données. » Il cite le cas d'une base de données marquée d'un filigrane qui, si elle est volée et qu'une partie de son contenu est utilisée par la suite (un faux numéro de carte de crédit, par exemple), permet aux enquêteurs de savoir d'où provient cette donnée. Cependant, contrairement au filigrane, qui ajoute un seul enregistrement erroné à une base de données, Aura contamine l'ensemble de la base, qui devient ainsi inutilisable en cas de vol. M. Steinberg ajoute que l’outil n’est peut-être pas nécessaire dans certains modèles IA si les informations du graphe de connaissances ne sont pas sensibles. La véritable question encore sans réponse est de savoir quel serait le compromis réel entre les performances de l'application et la sécurité quand Aura est utilisé.

Il reconnait également que la solution ne résout pas le problème d'un attaquant non détecté qui interfère avec le graphe de connaissances du système IA, voire avec ses données. « Le pire scénario n'est probablement pas que les données soient volées, mais qu'un pirate introduise de mauvaises données dans le système, de sorte que l’IA produise de mauvais résultats à l’insu de l’entreprise », a pointé M. Steinberg. « De plus, on ne sait plus quelles données sont mauvaises, ni quelles connaissances acquises par l'IA sont erronées. Même si l’on peut détecter l’intrusion d'un pirate et voir qu’il a fait quelque chose il y a six mois, pourra-t-on effacer tout ce qui a été appris au cours des six derniers mois ? C'est la raison pour laquelle la Cybersécurité 101, cette défense en profondeur qui consiste à mettre en œuvre des mesures pour garantir la confidentialité, l’intégrité et la disponibilité des informations, est essentielle pour les systèmes IA et non-IA », a-t-il fait valoir. Aura « limite les conséquences en cas de vol d’un modèle, mais il reste à déterminer si cette technologie peut passer du laboratoire à l'entreprise », a-t-il ajouté.

Une sécurité de l’IA à approfondir

« À mesure que l'utilisation de l'IA se généralise, les responsables de la sécurité informatique doivent garder à l'esprit que l’IA et tout ce qui est nécessaire à son fonctionnement rendent également beaucoup plus difficile la récupération des données erronées introduites dans un système », a fait remarquer M. Steinberg. « L'IA progresse beaucoup plus rapidement que la sécurité de l'IA », a-t-il averti. « Pour l'instant, de nombreux systèmes IA sont protégés de la même manière que les systèmes non basés sur l'IA. Cela ne permet pas d'obtenir le même niveau de protection, car en cas de problème, il est beaucoup plus difficile de savoir si quelque chose de grave s'est produit et d'éliminer les conséquences d'une attaque. »

Comme le soulignent les chercheurs dans leur article, l'industrie tente de résoudre ces problèmes. Ils mentionnent notamment l’AI Risk Management Framework du National Institute for Standards and Technology (NIST) des États-Unis, un cadre de gestion qui insiste sur la nécessité de mettre en place une sécurité et une résilience robustes des données, et sur l'importance de développer une protection efficace des graphes de connaissances.