Automatisation des activités pour améliorer l’efficacité opérationnelle, refonte des recommandations d'achat, approbation de crédit, traitement d'images, surveillance prédictive, et bien plus encore : l’adoption par les entreprises et les organismes publics d'applications d'intelligence artificielle (IA) diverses et variées, augmente rapidement. Or, comme toute technologie numérique, l'IA n’est pas exempte de failles de sécurité. De plus, elle pose de nouvelles questions en matière de vie privée, de biais, d’inégalités et de sécurité. C’est pourquoi, afin de mieux gérer les risques liés à l'IA, le National Institute of Standards and Technology (NIST), une agence du département américain du Commerce, s’est lancé, sur la base du volontariat, dans l’élaboration d’un framework appelé Artificial Intelligence Risk Management Framework (AI RMF). Son objectif : améliorer la capacité à intégrer des considérations de fiabilité dans la conception, le développement, l'utilisation et l'évaluation des produits, services et systèmes d'IA.

La première ébauche du framework s'appuie sur un document de réflexion publié en décembre 2021 par le NIST. L’agence espère que le framework AI RMF pourra montrer en quoi les risques liés aux systèmes basés sur l'IA diffèrent de ceux d'autres domaines, et qu'il encouragera et servira d’outil aux nombreuses parties prenantes de l'IA pour qu'elles abordent ces risques de manière ciblée. Selon le NIST, AI RMF peut être utilisé pour inventorier les points de conformité au-delà de ceux résolus par le framework, y compris les réglementations, les lois ou autres directives obligatoires existantes. Même si l'IA est soumise aux mêmes risques que ceux couverts par d'autres frameworks du NIST, certaines lacunes ou préoccupations en matière de risques sont propres à l'IA. Ce sont ces lacunes que le framework AI RMF vise à combler.

Une taxonomie à trois classes de l'IA prise en compte

Le NIST a identifié quatre groupes pouvant être concernés par ce framework : les parties prenantes des systèmes d'IA, les opérateurs et les évaluateurs de systèmes d’IA, les parties prenantes externes et le grand public. Le NIST utilise une taxonomie à trois classes de caractéristiques à prendre en compte dans les approches globales d'identification et de gestion des risques liés aux systèmes d'IA : des caractéristiques techniques, des caractéristiques socio-techniques et des principes directeurs.

Les caractéristiques techniques font référence à des facteurs dépendant directement des concepteurs et développeurs de systèmes d'IA, et qui sont mesurables à l'aide de critères d'évaluation standard, comme la précision, la fiabilité et la résilience. Les caractéristiques socio-techniques font référence à la manière dont les systèmes d'IA sont utilisés et perçus dans des contextes individuels, collectifs et sociétaux, comme l'« explicabilité », la confidentialité, la sécurité et la gestion des biais. Enfin, dans la taxonomie du framework AI RMF, les principes directeurs font référence à des normes et valeurs sociétales plus larges en rapport avec des priorités sociales comme l'équité, la responsabilité et la transparence.

Mapping des risques liés à l'IA : l’importance du contexte

Comme les autres frameworks du NIST, le noyau AI RMF contient trois éléments selon lesquels s’organisent les activités de gestion des risques liés à l'IA : les fonctions, les catégories et les sous-catégories. Les fonctions sont organisées pour cartographier, mesurer, gérer et gouverner les risques liés à l'IA. Même si le framework AI RMF prévoit de fournir un contexte pour des cas d’usage spécifiques à l’aide de profils, cette tâche, ainsi qu'un guide pratique en préparation, ont été reportés à des versions ultérieures. Après la publication de la version préliminaire du framework à la mi-mars, le NIST a organisé un atelier de trois jours pour discuter de tous les aspects du framework AI RMF, y compris un travail plus approfondi sur l'atténuation des biais néfastes dans les technologies d'IA.

Pour cartographier les risques liés à l'IA, « il est nécessaire de déterminer le contexte, le cas d’usage et le scénario de déploiement », a déclaré Rayid Ghani de l'université Carnegie Mellon lors de l'atelier. « Dans un monde idéal, toutes ces choses auraient dû se produire au moment de la construction du système », a-t-il ajouté. Á ce sujet, Marilyn Zigmund Luke, vice-présidente d'America's Health Insurance Plans, a déclaré aux participants que « compte tenu de la variété des contextes et constructions, le risque sera évidemment différent pour l'individu et l’entreprise ». Ajoutant que « pour comprendre tout ça en termes d'évaluation du risque, il faut commencer par le début, puis élaborer différents paramètres ».

Mesure des activités d’IA : le besoin de nouvelles techniques

La mesure des activités liées à l'IA est encore balbutiante du fait de la complexité de l'éthique et des mœurs sociopolitiques inhérentes aux systèmes d'IA. David Danks, de l'université de Californie, San Diego, a déclaré que « la mesure comportait de nombreux aspects dont la connaissance est essentiellement déléguée à l'humain ». Ajoutant : « Que signifie le biais dans ce contexte particulier ? Quelles sont les valeurs pertinentes ? Parce que fondamentalement le risque menace des valeurs humaines ou d’entreprises, et les valeurs sont difficiles à spécifier formellement ».

Sur ce même sujet, Jack Clark, cofondateur de l’entreprise de sécurité et de recherche sur l'IA, Anthropic, a déclaré que l'avènement de l'IA avait créé un besoin de nouveaux indicateurs et de nouvelles mesures, et qu’il faudrait idéalement les intégrer dans la technologie d'IA elle-même. « L'un des défis de l'IA moderne, c’est que nous devons concevoir de nouvelles techniques de mesure en même temps que la technologie elle-même », a déclaré M. Clark.

Gestion des risques de l'IA : améliorer les données de training

La fonction de gestion du framework AI RMF en cours d’élaboration par le NIST traite les risques qui ont été cartographiés et mesurés afin de maximiser les avantages et de minimiser les impacts négatifs. « Cependant, les problèmes de qualité des données peuvent entraver la gestion des risques liés à l'IA », a déclaré pour sa part Jiahao Chen, directeur de la technologie chez Parity AI. « La disponibilité des données que l'on nous présente pour entraîner des modèles n’est pas nécessairement généralisable au niveau du monde réel, car elles peuvent être largement périmées. Il faut se demander si les données d'entraînement reflètent réellement l'état du monde tel qu'il est aujourd'hui », a-t-il ajouté.

Pour Grace Yee, directrice de l'innovation éthique chez Adobe, « les entreprises ne peuvent plus se contenter de fournir les meilleures technologies au monde pour créer des expériences numériques ». Ajoutant : « Nous devons nous assurer que notre technologie est conçue pour l'inclusion et respecte nos clients, nos communautés et les valeurs d'Adobe. Plus précisément, nous développons de nouveaux systèmes et processus pour évaluer si notre IA crée des biais nuisibles ». Vincent Southerland, de la faculté de droit de l'Université de New York, a évoqué l’usage d'outils de surveillance prédictive comme exemple de ce qui peut mal tourner dans la gestion de l'IA. « Ces outils sont déployés dans tout le système pénal », a-t-il déclaré, depuis l'identification de l'auteur du crime jusqu'à la date de libération possible du préjudiciable. Mais ce n’est que récemment que l’on reconnaît « que les données sur lesquelles ces outils s'appuient et la manière dont ils fonctionnent contribuent à exacerber les inégalités raciales et les préjudices dans le système pénal lui-même ».

Peu ou pas de gouvernance de l'IA

Peu d’entreprises ont adopté des politiques de gouvernance en matière d’IA. Patrick Hall, data analyst chez bnh.ai, a déclaré « qu'en dehors des grandes entreprises de crédit à la consommation et de quelques autres secteurs très réglementés, l'IA était utilisée sans directives de gouvernance formelles, de sorte que les entreprises sont livrées à elles-mêmes pour régler ces questions de gouvernance houleuses ». Pour Natasha Crampton, responsable en chef de l'IA chez Microsoft, « la rupture se produit quand son approche de la gouvernance est trop décentralisée ». Ajoutant : « C'est une situation où les équipes veulent déployer des modèles d'IA en production, et elles adoptent simplement leurs propres processus et structures, et il y a peu de coordination ».

De son côté Agus Sudjianto, vice-président exécutif et responsable du modèle de risque corporate chez Wells Fargo, a également insisté sur la nécessité d’impliquer les cadres de haut niveau dans la gouvernance du risque d'IA. « Cela ne fonctionnera pas si le responsable en charge de l'IA ou le responsable de la gestion n'a pas la stature, l’écoute et le soutien des cadres dirigeants », a-t-il déclaré. Teresa Tung, technologue en chef du cloud first chez Accenture, a estimé que toutes les entreprises devaient axer leurs efforts sur l'IA. « Près de la moitié des entreprises du Global 2000 ont évoqué l'IA dans leur communication des résultats. C'est un domaine dont chaque entreprise doit avoir conscience ». Á l’instar d'autres frameworks de gestion des risques élaborés par le NIST, comme c’est le cas du framework de cybersécurité, la version finale du framework AI RMF pourrait avoir des implications importantes pour les secteurs privé et public. Le NIST attend des commentaires sur la version actuelle de l’Artificial Intelligence Risk Management Framework d'ici au 29 avril 2022.