Les systèmes industriels au coeur des infrastructures critiques des Etats sont-ils en danger ? C’est ce que pense le Gartner qui, dans un rapport, alerte sur leur possible paralysie d'ici 2028. Et contre toute attente elle ne serait pas d’origine cybercriminelle. « La prochaine grande défaillance d’infrastructure pourrait ne pas être causée par des pirates ou des catastrophes naturelles, mais plutôt par un ingénieur bien intentionné, un script de mise à jour défectueux ou une décimale mal placée », a expliqué Wam Voster, vice-président de la reherche en sécurité et analyse des risques chez Gartner.

« Un kill switch sécurisé ou un mode de contournement accessible uniquement aux opérateurs autorisés est essentiel pour protéger les infrastructures nationales contre les arrêts involontaires causés par une mauvaise configuration de l'IA. Les modèles IA modernes sont si complexes qu'ils ressemblent souvent à des boîtes noires. Même les développeurs ne peuvent pas toujours prédire l'impact de petits changements de configuration sur le comportement émergent du modèle. Plus ces systèmes deviennent opaques, plus le risque posé par une mauvaise configuration est grand. Il est donc d'autant plus important que les humains puissent intervenir en cas de besoin », a ajouté M. Voster.

Une IA de plus en plus autonome qui accroit les risques

Le Gartner réunit sous le terme CPS (Cyber-Physical System), l'ensemble des fonctions pour orchestrer la détection, le calcul, le contrôle, la mise en réseau et l'analyse avec le monde physique, y compris les humains. Ils englobent les technologies opérationnelles (OT), les systèmes de contrôle industriel (ICS), d'automatisation et de contrôle industriel (IACS), l'Internet industriel des objets (IIoT), les robots, les drones et l'industrie 4.0. Le problème soulevé par le Gartner n'est pas tant que les systèmes IA commettent des erreurs du type hallucinations, bien que cela soit certainement préoccupant. Mais plutôt que les systèmes ne remarqueraient pas les changements subtils que des gestionnaires opérationnels expérimentés détecteraient. Et lorsqu'il s'agit de contrôler directement des infrastructures critiques, des erreurs relativement mineures peuvent se transformer en catastrophes.

Les DSI et responsables informatiques sont conscients depuis des années des risques liés à l'IA industrielle et disposent de mesures sur la manière d'atténuer ces risques critiques pour les infrastructures. Mais à mesure que l'IA gagne en autonomie et étend considérablement ses contrôles système, les dangers se sont également accrus. Matt Morris, fondateur de Ghostline Strategies, a déclaré que l'un des défis liés aux contrôles de l'IA industrielle réside dans leur faible capacité à détecter les dérives de modèles. « Imaginons que je lui dise : « Je veux que tu surveilles cette soupape de pression. » Et puis, petit à petit, les lectures normales commencent à dériver au fil du temps », explique M. Morris. Le système considérera-t-il ce changement comme un simple bruit de fond, étant donné qu'il pourrait penser que tous les systèmes changent légèrement pendant leur fonctionnement ? Ou saura-t-il qu'il s'agit d'un signe avant-coureur d'un problème potentiellement grave, comme le ferait un gestionnaire humain expérimenté ? Malgré ces questions et d'autres encore, « les entreprises mettent en œuvre l'IA à une vitesse fulgurante, plus rapide qu'elles ne le réalisent », conclut M. Morris.

L'IA industrielle évolue trop rapidement

Flavio Villanustre, RSSI chez LexisNexis Risk Solutions Group, a déclaré avoir également constaté des signes indiquant que l'IA pourrait prendre trop rapidement le dessus. « Lorsque l'IA contrôle des systèmes environnementaux ou des générateurs d'électricité, la combinaison de la complexité et des comportements non déterministes peut avoir des conséquences désastreuses », a-t-il déclaré. Les conseils d'administration et les dirigeants pensent que « l'IA va leur permettre d'augmenter leur productivité et de réduire leurs coûts ». Mais les risques qu'ils prennent peuvent être bien plus importants que les gains potentiels. » M. Villanustre craint que les conseils d'administration et les CEO n'appliquent le frein à l'IA industrielle autonome qu'après que leur entreprise ait subi une catastrophe. « [Mais] je ne pense pas que [les membres du conseil d'administration] soient malveillants, juste incroyablement imprudents », a-t-il déclaré. Brian Levine, consultant en cybersécurité et directeur exécutif de FormerGov, partage cet avis et estime que les risques sont très importants: extrêmement dangereux et probables. « Les infrastructures critiques fonctionnent grâce à des couches fragiles d'automatisation assemblées au fil des décennies. Ajoutez à cela des agents IA autonomes, et vous obtenez une tour Kapla construite en pleine tempête. Il est utile pour les organisations, en particulier celles qui exploitent des infrastructures critiques, d'adopter et de mesurer leur maturité à l'aide de cadres reconnus en matière de sûreté et de sécurité de l'IA. »

Bob Wilson, consultant en cybersécurité chez Info-Tech Research Group, s'inquiète également de la survenance quasi-inévitable d'un grave accident industriel lié à l'IA. « La probabilité d'une catastrophe résultant d'une mauvaise décision prise par l'IA est très forte. L'IA s'intégrant dans les stratégies d'entreprise plus rapidement que les cadres de gouvernance ne peuvent suivre, les systèmes d'IA progressent plus vite et dépassent les contrôles des risques », a déclaré M. Wilson. « Nous pouvons voir que les indicateurs avancés d'un déploiement rapide de l'IA et d'une gouvernance limitée augmentent l'exposition potentielle, et ces indicateurs justifient des investissements dans la gouvernance et les contrôles opérationnels. » 

D’après cet expert les entreprises doivent explorer de nouvelles façons d'envisager les contrôles de l'IA industrielle. « L'IA peut presque être considérée comme un initié, et une gouvernance doit être mise en place pour gérer cette entité IA comme une menace interne accidentelle potentielle », poursuit-il. « Dans ce cas, la prévention commence par une gouvernance stricte sur qui peut apporter des modifications aux paramètres et aux configurations de l'IA, comment ces modifications sont testées, comment le déploiement de ces changements est géré et à quelle vitesse ces modifications peuvent être annulées. Nous constatons que ce type de risque est amplifié par un écart croissant entre l'adoption de l'IA et la maturité de la gouvernance, les organisations déployant l'IA plus rapidement qu'elles ne mettent en place les contrôles nécessaires pour gérer son impact opérationnel et sécuritaire. » Ainsi, selon lui, les entreprises devraient mettre en place un programme de gestion des risques business avec un organe directeur qui définit et gère ces risques, en surveillant l'IA pour détecter tout changement de comportement.

Repenser la gestion de l'IA

Sanchit Vir Gogia, analyste en chef chez Greyhound Research, a expliqué de son côté que pour résoudre ce problème, les dirigeants doivent d'abord se recentrer sur les questions structurelles. « La plupart des entreprises continuent de parler de l'IA dans les environnements opérationnels comme s'il s'agissait d'une couche analytique, d'un élément pertinent qui vient se superposer à l'infrastructure. Ce cadre est déjà dépassé », a-t-il déclaré. « Dès qu'un système IA influence un processus physique, même indirectement, il cesse d'être un outil d'analyse et devient partie intégrante du système de contrôle. Et une fois qu'il fait partie du système de contrôle, il hérite des responsabilités de l'ingénierie de sécurité. » Il a souligné que les conséquences d'une mauvaise configuration dans les environnements cyber-physiques diffèrent de celles observées dans les environnements informatiques traditionnels, où elles peuvent entraîner des pannes ou une instabilité.

« Dans les environnements cyber-physiques, une mauvaise configuration interagit avec le réel. Un seuil mal réglé dans un modèle prédictif, un ajustement de configuration qui modifie la sensibilité à la détection des anomalies, un algorithme de lissage qui filtre involontairement les signaux faibles ou un changement discret dans la mise à l'échelle de la télémétrie peuvent tous modifier le comportement du système », indique-t-il. « Pas de manière catastrophique au début. De manière subtile. Et dans une infrastructure étroitement couplée, c'est souvent de manière subtile que la cascade commence. » Et d’ajouter : « Les entreprises devraient exiger une description explicite des scénarios comportementaux les plus défavorables pour chaque composant opérationnel basé sur l'IA. Que se passe-t-il si les signaux de demande sont mal interprétés ? Si la télémétrie évolue progressivement, comment la sensibilité change-t-elle ? Si les seuils sont mal alignés, quelle condition limite empêche un comportement incontrôlable ? Lorsque les équipes ne peuvent pas répondre clairement à ces questions, la maturité de la gouvernance est incomplète. »