La société Anthropic a annoncé que plusieurs de ses modèles IA avaient réussi à accéder sans autorisation aux systèmes informatiques de trois entreprises dans le cadre de tests internes de sécurité. L’incident a été découvert lors d’un audit portant sur plus de 141 000 sessions d’évaluation. Les modèles d'Anthropic ont eu accès à Internet "en raison d'un malentendu entre nous et notre partenaire d'évaluation", Irregular, a expliqué le groupe dans le communiqué. Cette enquête intervient quelques jours après la révélation par OpenAI qu’un de ses modèles inédits avait réussi à compromettre les systèmes de la plateforme Hugging Face lors de tests internes.

Les modèles concernés incluent Opus 4.7, Mythos 5 ainsi qu’un système de recherche expérimental. Lors des tests, ils ont identifié et exploité plusieurs vulnérabilités présentes dans des infrastructures réelles. Parmi les techniques utilisées figuraient notamment l’exploitation de mots de passe faibles, l’utilisation d’identifiants compromis et l’accès à des services insuffisamment protégés. Ces actions ont permis aux modèles d’obtenir un accès non autorisé à certains systèmes informatiques. Selon Anthropic, les entreprises concernées n’étaient pas des cibles intentionnelles. Les modèles pensaient évoluer dans des environnements de simulation alors qu’ils interagissaient avec de véritables infrastructures connectées à Internet.

Une interprétation trop simple

Anthropic n’a pas révélé l’identité des organisations touchées, mais indique que deux d’entre elles ignoraient avoir été compromises avant d’être informées par ses équipes de sécurité. Dans l’un des cas, un modèle a utilisé des identifiants réels exposés en ligne pour accéder à des systèmes externes. Dans un autre, un modèle a interrompu ses actions après avoir détecté qu’il ne se trouvait probablement pas dans un environnement de test isolé, mais face à une infrastructure réelle. Selon l'entreprise, ces incidents résultent principalement d’une défaillance du dispositif d’évaluation : les protections prévues pour empêcher toute interaction avec des systèmes externes n’ont pas fonctionné comme prévu.

Cependant, les analyses détaillées montrent une situation plus nuancée que la simple idée selon laquelle les modèles auraient cru évoluer dans une simulation. Dans le cas d'Opus 4.7, le modèle aurait identifié à plusieurs reprises des indices indiquant qu’il pouvait être confronté à un véritable système de production. Malgré cette prise de conscience, il aurait poursuivi ses opérations, allant jusqu’à récupérer des identifiants et à interagir avec une base de données réelle. Mythos 5 aurait suivi un scénario différent. Le modèle aurait également détecté des signes laissant penser qu’il était connecté à un environnement Internet réel, mais aurait conclu que ces éléments pouvaient encore correspondre à une simulation. En poursuivant ses actions dans ce contexte supposé fictif, il aurait publié un package malveillant sur PyPI, la plateforme de distribution de logiciels Python. Ce paquet aurait ensuite été téléchargé et exécuté par des systèmes tiers avant d’être détecté.

Un nouveau débat sur la gouvernance de l’IA

Au-delà de l’aspect technique, cette révélation relance les discussions sur la gouvernance et la sécurité des systèmes IA avancés. Alors que les entreprises développent des modèles toujours plus puissants, la question de leur supervision devient centrale. Les régulateurs, chercheurs et experts en cybersécurité s’interrogent désormais sur les procédures nécessaires pour éviter qu’une IA expérimentale puisse interagir involontairement avec des infrastructures réelles.

Pour Anthropic, ces incidents constituent un signal d’alerte. Ils démontrent que les capacités des modèles dépassent désormais le simple cadre théorique et qu’une vigilance accrue est indispensable pour garantir un développement responsable de l’ia. L’entreprise affirme poursuivre son enquête interne et travailler à l’amélioration de ses procédures d’évaluation.