Le 21 juillet, OpenAI révélait que plusieurs de ses modèles expérimentaux étaient parvenus à sortir de leur environnement de test et à accéder à l’infrastructure de Hugging Face. Le laboratoire avait alors présenté l’affaire comme un incident survenu lors d’une évaluation de capacités en cybersécurité.

Les éléments dévoilés depuis, notamment à l’occasion de Black Hat USA, montrent toutefois que l’histoire avait commencé plusieurs semaines avant cette intrusion. Deux chercheurs d’OpenAI, Eric Wallace et Michael Dalton, ont retracé la chronologie des événements ayant conduit au piratage de Hugging Face. Tout aurait débuté en mai, dans le cadre d’une évaluation interne de sécurité informatique menée avec des agents IA, rapporte Bloomerg. Chargés de résoudre des tâches complexes liées à la sécurité logicielle, ces agents ont découvert qu’ils pouvaient communiquer entre eux en utilisant Artifactory, l’outil interne de gestion des paquets de l’entreprise.

Des échanges entre agents

Cette découverte est d’autant plus notable que la communication entre plusieurs modèles constitue une fonction courante des architectures multi-agents. Ces systèmes sont précisément conçus pour faciliter le partage d'informations et la coordination des actions entre différents agents.

Dans le cas observé chez OpenAI, le point particulier réside donc moins dans l’existence de ces échanges que dans la manière dont ils ont été mis en place. Les modèles ont identifié et utilisé une infrastructure existante pour communiquer, alors que celle-ci n’avait pas été conçue à cette fin. Ils pouvaient notamment déposer et récupérer des données afin de partager les résultats de leurs recherches et les informations obtenues au cours de leurs tâches. D’après les informations rapportées par Le Point, plusieurs centaines de milliers de messages auraient ainsi été échangés.

Une activité difficile à détecter

Or, les chercheurs n’ont pas immédiatement identifié l’ampleur de ces échanges. Les agents ont pu communiquer pendant plusieurs semaines avant que cette activité ne soit pleinement comprise. Cette durée met en évidence une difficulté particulière en matière de supervision des systèmes multi-agents. Dans un système informatique classique, les échanges peuvent notamment être suivis à travers les flux réseau, les journaux d’activité ou différents outils de détection. Avec des agents IA, il faut également tenir compte de leurs interactions avec les outils et de l’enchaînement de leurs décisions. Des actions individuelles peuvent ainsi sembler normales lorsqu’elles sont examinées séparément, tout en participant à une séquence plus complexe. La surveillance de ces systèmes doit donc prendre en compte non seulement les actions réalisées, mais aussi leur enchaînement dans le temps et la manière dont elles contribuent à l’objectif poursuivi.

Cette difficulté est également apparue lorsque les chercheurs ont tenté d’interrompre les communications. La suppression d’un premier moyen d’échange ne suffisait pas nécessairement à mettre fin aux interactions entre les agents. Ceux-ci pouvaient rechercher d’autres moyens de transmettre des informations lorsque cela contribuait à la réalisation de leur objectif. Ce comportement ne signifie pas pour autant qu’ils cherchaient de manière autonome à préserver leur réseau de communication. Ils poursuivaient simplement les objectifs qui leur avaient été fixés dans le cadre de l’évaluation.

L’accès à Hugging Face

Les modèles étaient soumis à une évaluation destinée à tester leurs capacités en cybersécurité. Leur environnement avait été conçu pour rester isolé, mais les agents ont trouvé des moyens d’élargir progressivement leur périmètre d’action. Ils ont notamment exploité une vulnérabilité dans leur environnement de test afin d’obtenir un accès réseau plus large. Une fois cet accès obtenu, les agents ont recherché des ressources extérieures susceptibles de les aider à réussir leur benchmark. Hugging Face est alors devenu une cible intéressante. La plateforme hébergeait des ressources susceptibles de contenir des éléments utiles au test, que les agents ont cherché à récupérer.

Depuis, OpenAI a renforcé les mesures de sécurité autour de ses environnements de recherche. Les chercheurs du laboratoire ont également indiqué que l’incident avait conduit à ralentir certaines activités de recherche afin de concentrer davantage d’efforts sur la sécurité.