OpenAI suspend une partie du développement de son modèle IA Astra. La raison est que des évaluations internes ont révélé des « capacités critiques en cybersécurité », laissant penser que le modèle pourrait, à terme, concevoir et exécuter des cyberattaques complexes avec une intervention humaine limitée selon un communiqué de l'entreprise. 

OpenAI avait déjà donné un aperçu des capacités d’Astra le 1er août. Une version interne du modèle a notamment obtenu des résultats dans plusieurs domaines des mathématiques et de l’informatique théorique, avec des avancées sur dix problèmes de recherche de longue date. Astra est conçu pour aller au-delà de la simple génération de réponses, en étant capable de raisonner sur des problèmes complexes et d’accomplir des tâches nécessitant plusieurs étapes.

Des résultats préoccupants en cybersécurité

C’est toutefois dans le domaine de la cybersécurité que les dernières évaluations ont particulièrement retenu l’attention d’OpenAI. Selon le laboratoire, les premiers tests montrent des progrès importants dans le codage agentique et la cybersécurité. Les performances observées sont suffisamment élevées pour qu’OpenAI ne puisse pas exclure qu’Astra atteigne le niveau de capacité « critique » défini dans son cadre de préparation aux risques. Cette classification ne signifie pas que le modèle est déjà capable de mener à grande échelle des cyberattaques dans le monde réel. Elle indique plutôt qu’OpenAI estime plausible que le modèle puisse atteindre un niveau de capacités suffisamment élevé pour représenter un risque majeur s’il était utilisé à des fins malveillantes ou sans protections adaptées.

Dans le cadre de sécurité d’OpenAI, le niveau « critique » correspond notamment à la capacité potentielle d’un modèle à découvrir et exploiter de manière autonome des vulnérabilités inédites, y compris sur des systèmes réels fortement protégés, à partir d’instructions générales. Un tel système pourrait automatiser une partie du travail habituellement réalisé par des spécialistes de la cybersécurité offensive. Ces capacités pourraient toutefois également être utilisées à des fins défensives, par exemple pour identifier des failles avant qu’elles ne soient découvertes et exploitées par des cybercriminels.

OpenAI ralentit certaines activités

Face à ces résultats, l’entreprise a décidé de mettre en pause certaines activités internes liées à Astra qui ne répondent pas à ses nouvelles exigences de sécurité. Le laboratoire renforce notamment les contrôles appliqués aux environnements dans lesquels le modèle est utilisé. OpenAI prévoit également d’améliorer la surveillance des modèles, de renforcer la protection de leurs paramètres et de limiter certains accès au réseau ainsi que l’utilisation d’outils pendant les phases d’évaluation. L’objectif est de réduire le risque qu’un modèle particulièrement performant puisse accéder à des ressources auxquelles il ne devrait pas avoir accès durant les phases de recherche et de test. OpenAI indique qu’elle travaillera avec des agences gouvernementales et des organisations spécialisées dans la sécurité de l’IA pour tester les capacités d’Astra. 

Cette annonce intervient quelques semaines après un autre incident impliquant des modèles expérimentaux d’OpenAI et l’infrastructure de Hugging Face. Les deux affaires doivent toutefois être distinguées. Astra n’est pas le modèle impliqué dans l’incident de Hugging Face. Elles illustrent néanmoins un même enjeu pour OpenAI. À mesure que les modèles gagnent en autonomie et en capacités techniques, leur encadrement et leur sécurisation deviennent de plus en plus importants.