Selon les prévisions du cabinet d'étude IDC, le manque de contrôle et de gouvernance des agents IA entraînera, au cours des quatre prochaines années, une multiplication des poursuites judiciaires, des amendes réglementaires mais aussi des licenciements de DSI, tenus pour responsables de ces ratés. D'ici 2030, jusqu'à 20% des 1 000 plus grandes entreprises dans le monde seront confrontées à l'un de ces trois scénarios en raison de perturbations majeures de leurs activités causées par des dysfonctionnements d'agents, pronostique IDC.

De nombreux responsables IT et métier confient aux analystes d'IDC qu'ils tâtonnent encore pour mettre en place une gouvernance efficace des agents, tandis que leurs résultats restent bien trop imprévisibles, explique Ashish Nadkarni, vice-président et directeur général de la recherche sur les infrastructures chez IDC.

Les récents signalements concernant le chatbot Grok, qui aurait généré des images deepfake à caractère sexuel et non consensuel, illustrent les « désordres » que l'IA peut causer en l'absence de garde-fous adéquats, souligne Ashish Nadkarni. « Parfois, ces dégâts sont maîtrisables, parfois ils sont incontrôlables, ajoute-t-il. Il est clair que nous entrons en territoire inconnu. » À mesure que les DSI déploient des équipes d'agents collaborant à l'échelle de l'entreprise, le risque existe qu'une erreur commise par un agent entraîne un effet boule de neige, les autres agents agissant sur la base d'un résultat erroné, explique-t-il.

Vers des amendes de l'UE ?

De nombreuses organisations se sont précipitées pour déployer des agents d'IA par peur de rater une opportunité (le fameux FOMO, acronyme de Fear of missing out), indique Ashish Nadkarni. Mais une bonne gouvernance des agents exige une approche réfléchie, ajoute-t-il, et les DSI doivent prendre en compte tous les risques lorsqu'ils confient à des agents l'automatisation de tâches auparavant effectuées par des employés.

L'expert d'IDC prévoit que la situation va déboucher, dans les années à venir, sur des amendes et des règlements à l'amiable importants. L'Union européenne sera active pour infliger des amendes aux entreprises qui enfreignent les lois sur la protection de la vie privée et autres réglementations, mais certains États américains pourraient également adopter des législations spécifiques sur l'IA, prédit-il. Les actions entreprises par les agents pourraient également enfreindre des lois américaines telles que la loi HIPAA (Health Insurance Portability and Accountability Act), qui protège la confidentialité des données médicales.

Renforcer les bonnes pratiques

Plusieurs experts en informatique et en droit estiment les prévisions d'IDC réalistes. Poursuites et amendes paraissent probables, et les plaignants n'auront pas besoin de nouvelles lois sur l'IA pour poursuivre des entreprises maîtrisant mal la technologie, estime Robert Feldman, directeur juridique du fournisseur de services de bases de données EnterpriseDB. « Si un agent d'IA cause une perte financière ou un préjudice au consommateur, les fondements juridiques existants s'appliquent déjà, note-t-il. Les autorités de réglementation peuvent intervenir dès que l'IA dépasse les limites de toute forme de conformité et de sécurité. »

Les organisations qui manquent de gouvernance et de mécanismes de contrôle rigoureux auront du mal à s'adapter à un environnement d'IA agentique, prévient Robert Feldman. « Le monde de l'IA et des données repose toujours sur les mêmes principes fondamentaux qui auraient dû régir les entreprises bien avant l'arrivée des systèmes agentiques : la responsabilité, la modération et la clarté des responsabilités, explique-t-il. Ce que change l'IA agentique, ce n'est pas la nécessité de ces principes, mais le coût de leur non-respect. » Le passage aux agents renforcera les bonnes pratiques déjà appliquées par certaines entreprises, et d'autres constateront clairement la nécessité d'établir des garde-fous pratiques avant de déployer l'agentique à grande échelle, poursuit-il.

Les DSI joueront un rôle crucial dans la définition de ces garde-fous, ajoute Robert Feldman. « Une fois l'affaire portée devant les tribunaux, les conseils d'administration exigent des réponses sur les événements et leurs causes, explique le directeur juridique. Une explication se résumant à "c'est le système qui a fait ça" satisfait rarement un conseil d'administration. Les DSI seront de plus en plus tenus d'expliquer la gouvernance et les garde-fous mis en place pour éviter ces conséquences indésirables. »

Les DSI directement exposés

Si Ashish Nadkarni et Robert Feldman s'attendent à des amendes et à des règlements à l'amiable, les DSI doivent également craindre pour leur emploi si les agents produisent des résultats inattendus, explique Shivanath Devinarayanan, directeur technique chez Asymbl, une entreprise spécialisée dans la modernisation du travail, à l'ère numérique. « Les poursuites judiciaires durent des années et les amendes nécessitent que les autorités de réglementation vous prennent sur le fait, dit-il. Mais un conseil d'administration peut perdre confiance en 30 secondes. Il suffit d'une question : "Que font réellement nos agents d'IA ?" Si le DSI ne peut pas répondre, c'est fini pour lui. »

Or, de nombreuses organisations semblent déployer des agents sans bien comprendre les résultats potentiels et sans politique d'IA approuvée par le conseil d'administration, selon Shivanath Devinarayanan. « La prédiction d'IDC est probablement prudente, dit-il. Le chiffre de 20% suppose que les organisations reconnaissent le problème lorsqu'elles en ont un. La plupart ne le feront que lorsqu'il sera trop tard. »

De nombreux DSI n'ont pas un inventaire complet des agents mis en production au sein de leur organisation, ajoute-t-il. « Aucun protocole d'escalade ; aucune trace d'audit entre l'action de l'agent et son impact sur l'activité, déplore le CTO. Quand un problème survient - et il y en a toujours -, les DSI n'auront aucune explication à fournir. »

Dimitri Osler, directeur technique et cofondateur de Wildix, fournisseur de communications unifiées, rétorque que les amendes semblent une conséquence probable des agents indélicats, car les autorités de régulation n'ont pas à prouver l'intention, mais seulement que les contrôles et la gouvernance étaient inadéquats au regard du risque. L'IA n'est pas intrinsèquement dangereuse, mais de petits problèmes peuvent se transformer en catastrophes lorsqu'une organisation exploite des dizaines d'agents interdépendants, souligne-t-il. « Les systèmes agentiques peuvent agir à grande échelle et rapidement, et de petites failles de contrôle deviennent des incidents majeurs, explique-t-il. Le problème de fond est que de nombreuses organisations adoptent l'IA parce qu'elle impressionne, et non parce qu'elle est bien gouvernée. Or, cette mentalité qui privilégie l'effet spectaculaire à la responsabilité est précisément ce qui engendre des perturbations évitables. »

Être en position de se défendre

Dimitri Osler recommande aux DSI d'adopter une approche proactive en matière de gouvernance des agents. D'exiger des preuves pour les actions sensibles et d'assurer la traçabilité de chaque action. Ils peuvent également impliquer des humains dans les tâches sensibles des agents, concevoir des agents capables de déléguer les tâches lorsque la situation est ambiguë ou risquée, et complexifier les actions à fort enjeu des agents afin de rendre plus difficile le déclenchement de mesures irréversibles, explique-t-il.

Les responsables IT devraient également investir dans la formation de leurs équipes pour mieux superviser et optimiser les agents, ajoute-t-il. « Les DSI peuvent mieux protéger les emplois en considérant la gouvernance des agents comme une pratique de leadership, et non comme une simple considération technique, affirme le cofondateur de Wildix. Organisez des exercices de simulation, définissez des règles non négociables et communiquez davantage, plutôt que de repousser le problème. »

Les DSI devraient également rendre leurs processus de gouvernance aussi transparents que possible, ajoute-t-il. « En cas d'incident, le DSI capable de présenter des contrôles clairs, des journaux d'audit, des décisions d'activation et des points de contrôle humains est bien plus en position de se défendre que celui qui se contente simplement d'affirmer que le modèle employé est responsable », conclut Dimitri Osler.