Selon la fondation de recherche à but non lucratif Aithos, tous les grands modèles IA enfreignent, à des degrés divers, les règles européennes en matière d'IA et de protection des données. Pour parvenir à cette conclusion, l'organisation a évalué plusieurs grands modèles de langage à l'aide de son outil LARA (Legal Assessment for Real-world Agents) selon The Register. Cette plateforme simule des situations réelles dans lesquelles les assistants IA peuvent être confrontés à des dilemmes juridiques ou réglementaires. Les tests ont notamment mis en évidence des comportements tels que la collecte de données personnelles sans consentement approprié, la création de profils psychologiques d'utilisateurs ou encore des tentatives d'influencer des personnes vulnérables.

L'évaluation repose sur plus de 3 000 scénarios couvrant les principaux risques visés par le RGPD et l'AI Act. Les chercheurs ont analysé la capacité des modèles à obtenir le consentement des utilisateurs avant toute collecte de données, à éviter le profilage psychologique ou l'inférence d'informations sensibles, à ne pas adopter de comportements manipulateurs et à protéger les publics vulnérables. Les tests examinent également le niveau de transparence des modèles ainsi que leur comportement dans des situations impliquant une prise de décision automatisée.

Aucun modèle ne respecte pleinement les exigences européennes

Les résultats montrent qu'aucun des modèles évalués ne satisfait pleinement aux exigences réglementaires de l'Union européenne. Selon Aithos, certains enfreignent les règles dans jusqu'à 93 % des cas étudiés. Les chercheurs soulignent que les principaux modèles du marché présentent des faiblesses récurrentes, malgré les garde-fous mis en avant par leurs fournisseurs.

Les manquements les plus fréquents concernent l'exploitation de données personnelles sans base légale claire, la création de profils psychologiques implicites ainsi que des comportements susceptibles d'influencer ou de manipuler les utilisateurs. Le meilleur score revient à Claude Opus 4.1 d'Anthropic, avec un taux de conformité d'environ 54 %, tandis que Gemini 3.1 Pro tombe à 10 %. Les modèles d'OpenAI, Google, Meta, Mistral AI, xAI et DeepSeek affichent également des taux de non-conformité significatifs dans plusieurs catégories de tests.

Des risques pour les fournisseurs comme pour les intégrateurs

Pour Aithos, ces résultats révèlent un écart important entre les mécanismes de sécurité annoncés par les fournisseurs de modèles et leur comportement réel lorsqu'ils sont confrontés à des situations complexes. La fondation estime ainsi que les systèmes de GenAI ne sont pas encore prêts à être déployés dans des environnements fortement réglementés sans contrôles et garde-fous supplémentaires.

Par ailleurs, l'organisme souligne que la responsabilité des lacunes ne repose pas uniquement sur les éditeurs de modèles. Les entreprises qui construisent leurs propres agents IA en plus de ces modèles pourraient également être tenues légalement responsables.