Pratique et rapide, le bouton « Résumer avec l’IA » est devenu un réflexe pour obtenir en un clic un aperçu d’un contenu en ligne. Mais derrière cette simplicité, une étude publiée par Microsoft alerte sur une technique appelée « empoisonnement des recommandations IA » (AI recommendation poisoning). Autorisée pour l’instant, elle vise à influencer durablement le comportement des assistants IA. Le procédé est discret mais efficace. Lorsqu’un utilisateur clique sur ce bouton, des instructions cachées peuvent être transmises à son assistant IA. Ce code ne se contente pas de générer un résumé : il oriente l’IA à privilégier les produits de cette entreprise dans ses réponses futures. La même technique peut également se cacher dans un lien spécialement conçu envoyé par e-mail.

Selon Microsoft, cette approche peut fausser les recherches de produits en entreprise, sans que l’utilisateur ne s’en aperçoive. Sur deux mois, les chercheurs ont identifié 50 cas de cette technique chez 31 entreprises, dans des secteurs variés comme la finance, la santé, le juridique ou les éditeurs de logiciels. Ironie du sort, même un fournisseur non nommé du secteur de la sécurité figurait parmi les exemples. La pratique est devenue suffisamment répandue pour que MITRE l’intègre dès septembre dernier à sa liste des manipulations IA connues.

Une exploitation des préférences utilisateur

L'empoisonnement des recommandations IA est rendu possible par les assistants qui sont conçus pour ingérer et mémoriser les prompts comme des signaux indiquant les préférences de l'utilisateur. Si celui-ci indique qu'il apprécie quelque chose, l'IA mémorisera cette préférence dans le profil de cet utilisateur. Contrairement à l’injection de prompt, qui repose sur une instruction ponctuelle pour tromper l’IA, l’empoisonnement des recommandations assure une influence durable sur les futures requêtes. Bien sûr, l'IA n'a aucun moyen de distinguer les préférences authentiques de celles injectées par des tiers en cours de route.

Comme le souligne Microsoft, « Cette personnalisation rend les assistants IA nettement plus utiles. Mais elle crée aussi une nouvelle surface d’attaque : si quelqu’un peut injecter des instructions ou de fausses informations dans la mémoire de votre IA, il obtient une influence persistante sur vos interactions futures. » Pour l’utilisateur, rien ne paraît anormal, mais l’assistant peut continuer à fournir des réponses biaisées ou empoisonnées. « Cela est important car les assistants IA compromis peuvent fournir des recommandations subtilement biaisées sur des sujets critiques tels que la santé, la finance et la sécurité sans que les utilisateurs ne sachent que leur IA a été manipulée », ont déclaré les chercheurs.

En cliquant sur le bouton « Résumer avec l'IA », l’utilisateur est redirigé vers l’assistant IA. Le texte de survol révèle l’URL complète avec des instructions suspectes, automatiquement injectées dans le champ de saisie. (Crédit: Microsoft)

Un risque pour l’information

La popularité de cette pratique est renforcée par l’existence d’outils open source qui facilitent la dissimulation d'instructions derrière les boutons « Résumer ». Cela laisse penser que ces manipulations ne sont pas des erreurs de SEO, mais souvent des actions délibérées pour influencer les IA des utilisateurs. Pour Microsoft, les risques dépassent le simple marketing. La technique peut servir à diffuser de fausses informations, des conseils dangereux, des sources biaisées ou de la désinformation commerciale. Et si des entreprises légitimes y ont recours, les cybercriminels pourraient rapidement l’exploiter à leur tour.

Heureusement, cette manipulation est relativement facile à repérer et à bloquer. Les utilisateurs peuvent vérifier les informations enregistrées par leur assistant. Pour les administrateurs IT, il est recommandé de surveiller les URL contenant des termes suspects comme « remember », « trusted source », « in future conversations », « authoritative source » ou « cite / citation ». Ce phénomène n’est pas nouveau, tout comme les URL et les pièces jointes, jadis considérées comme pratiques mais devenues vecteurs d’attaques, l’IA suit aujourd’hui le même chemin. Alors que la technologie se généralise, elle devient une cible pour des manipulations diverses. Microsoft recommande de considérer les liens vers des assistants IA provenant de sources non vérifiées de la même manière que des fichiers potentiellement risqués.