Cybersécurité, le double visage de l'IA

« Nous exploitons le machine learning depuis plus de 20 ans dans les solutions Cisco et dans notre centre de renseignements Talos », indique Éric Vedel, directeur activités conseils en cybersécurité chez Cisco. Même écho chez l’éditeur ESET qui utilise le machine learning (ML) depuis 1997 selon Benoit Grunemwald, directeur des affaires publiques. Et pour John Shier, Field CISO Threat Intelligence chez Sophos, l’usage des algorithmes IA, dont le deep learning, dans la détection des malwares a déjà fait ses preuves. Rappelons que ces algorithmes intelligents peuvent détecter - à partir de grandes quantités de données - des anomalies et des vulnérabilités qui pourraient passer inaperçues pour les analystes humains. Ils permettent aussi d'automatiser quotidiennement de nombreuses tâches répétitives, notamment dans la gestion des habilitations, libérant ainsi du temps et des ressources pour les équipes de sécurité. Dans la réponse aux incidents, ces algorithmes ML garantissent aussi de mieux contenir une menace avant même qu'elle ne se propage, cette rapidité d'action étant cruciale pour minimiser l'impact des cyberattaques. 

L’arrivée des assistants IA pour épauler les analystes

A ces formes d’IA, se sont ajoutés depuis deux ans, l’IA générative et son assistant conversationnel. « Depuis 2024, année de la création de notre agent conversationnel AI Advisor, les analystes dans les SOC peuvent désormais discuter en posant les bonnes questions en langage naturel. Par exemple : que se passe-t-il dans le réseau ? Quelle est la réponse à apporter ? Cet agent représente un véritable gain de temps pour les analystes de niveau 1 car il leur permet d’éliminer beaucoup de bruit. Pour les analystes de niveau 2 et 3, AI Advisor va permettre de rentrer plus dans les détails avec rapidité et profondeur. C’est grâce à cet assistant que l’utilisateur va remonter le fil des événements et affiner une éventuelle remédiation », explique Benoit Grunemwald. Et pour être le plus pertinent dans ses réponses, AI Advisor s'appuie sur ses nombreuses données collectées partout dans le monde pour analyser et classer les menaces potentielles en temps réel. « Plus cet agent sera exploité, plus il sera efficace, nous en sommes qu’au début mais déjà une centaine de nos clients exploite AI Advisor en France », indique le porte-parole d’ESET. Bien sûr, ces assistants IA existent chez les éditeurs concurrents d’ESET comme Sophos avec son assistant qui aide à conseiller les analystes pour neutraliser les adversaires plus rapidement. Citons aussi Companion chez Trend Micro, là aussi, les analystes de tous les niveaux peuvent agir plus rapidement et mieux comprendre des scénarios complexes. Idem chez WithSecure avec Luminem ou encore Cisco avec AI Assistant. « Notre assistant, présent dans nos différentes plateformes, a été conçu pour aider les analystes, les augmenter en quelque sorte. Ils peuvent ainsi le questionner en lui demandant : est-ce que le flux 443 est bloqué et comment je peux le désactiver ? Et ainsi obtenir les bonnes réponses instantanément », conclut sur ce point Eric Vedel. 

Vers une suppression des analystes de niveau 1 dans les SOC 

L’intégration de ces assistants IA dans les solutions de cybersécurité répond aussi à la pénurie de compétences dans ce secteur. Evidemment, hors de question pour John Shier, Field CISO Threat Intelligence chez Sophos, d’imaginer un SOC entièrement autonome où l’humain n’aurait plus sa place avec l’arrivée de ces assistants, du moins pour les analystes de niveau 2 et 3. En revanche, pour les analystes de niveau 1, en gros toutes les ressources de bas niveau qui gèrent essentiellement le bruit, l’IA associé au ML les remplace progressivement. De nombreux SOC fonctionnent déjà sans analystes de niveau 1, c’est le cas du SOC de Nomios qui s’est appuyé, dès sa création il y a quatre ans, sur l’automatisation pour offrir un temps de détection, de triage et d’analyse extrêmement rapide et qualitatif. Depuis, le SOC de Nomios s’est même enrichi de Qevlar AI, une plateforme d'investigation autonome boostée à l’IA Gen ; Eric Bohec, CTO de Nomios, parle d’ailleurs d’analystes augmentés qui se focalisent davantage sur des missions critiques et à plus forte valeur ajoutée. En effet, l’IA de Qevlar a permis de libérer les 60 analystes de niveau 2 de Nomios d'une partie des tâches telles que l'investigation initiale des alertes. Par exemple, un rapport d'investigation, qui nécessitait jusqu'à 30 minutes d'analyse manuelle, peut désormais être produit en 3 minutes. En conséquence, les analystes de niveau 2 peuvent approfondir leurs compétences pour évoluer vers l’analyse de niveau 3 (certification BTL2) selon le CTO de Nomios.

 Selon le Cesin qui a dévoilé en janvier dernier la dixième édition de son baromètre annuel, l’IA générative est un vecteur d’inquiétude pour les RSSI. D’ailleurs, 69 % d’entre eux observent une utilisation de cette IA en interne (contre 46 % en 2023) alors que seuls 35 % des sondés disent l’avoir intégrée dans leur stratégie de cybersécurité. Ce problème du shadow IA (ou l’utilisation non autorisée ni contrôlée de l’IA Gen par les collaborateurs dans le cadre de leurs missions professionnelles) est prégnant, les entreprises ont beaucoup de mal à le gérer. Les nombreux témoignages de décideurs (DSI et RSSI, dirigeants métiers) sur le réseau Linkedin confirment cette forte tendance du shadow IA. En tant que décideur IT chez Cloud Temple, Giuliano Ippoliti admet avoir été confronté au shadow IA à l’arrivée de ces outils mais a vite répondu aux exigences des collaborateurs en créant il y a un an un portail composé d’une quinzaine de moteurs accessibles, l’objectif étant de fournir un environnement sécurisé tout en laissant une certaine liberté aux collaborateurs de manipuler les IA. Car sans contrôle par l’entreprise, l’IA Gen représente une menace et pourrait même redonner un coup de boost à des attaques pourtant en retrait comme la fraude au président ou plutôt la fraude au président par deepfake. En effet, en alliant le piratage d’une boîte mail et le recours à l’IA pour créer une voix synthétique (deepfake vocal) ou via la visioconférence (deepfake vidéo), ce type d’escroquerie pourrait largement se répandre dans les mois et les années à venir. Pour Alain Bouillé, délégué général du CESIN, qui s’est récemment exprimé dans les grands thémas du Monde Informatique et de CIO, c’est d’une facilité déconcertante de fabriquer un deepfake : « Aujourd’hui, toute entreprise qui se respecte a forcément un discours de son PDG qui traine sur YouTube ou sur une autre plateforme vidéo pour la présentation des résultats par exemple, donc de la matière pour les escrocs faite d’images, de voix et de son. »

Menaces sur les modèles généralistes et les agents autonomes

Ce n’est pas tout, les modèles d’IA dits généralistes, comme celui de DeepSeek AI ou ChatGPT, posent aussi des risques liés à la cybersécurité. Pour Patrick Laurence-Frings, le nouveau directeur général de NumSpot qui s’est récemment entretenu sur ce sujet, ces grands LLM sont des cibles. « En exploitant les vulnérabilités de ces solutions, des hackers peuvent causer des dégâts considérables en influençant les décisions prises par l'IA, en volant des données privées ou en provoquant des incidents délibérément. » L’attaque sur DeepSeek après son arrivée très médiatisée sur le devant de la scène en est un exemple. Plus d'un million d'informations ont ainsi été compromises. Et que dire des agents IA qui se multiplient et qui sont notamment capables de prendre le contrôle de l’ordinateur en exécutant des tâches de manière autonome pour le compte de l’utilisateur. Rien n’empêche un attaquant d’exploiter les mécanismes sous-jacents de ces agents IA et d’accéder à des informations sensibles. N’oublions pas aussi les assistants de programmation basés sur l’IA largement exploités par les développeurs dans l’entreprise. A ce titre, Giuliano Ippoliti, directeur de la cybersécurité chez Cloud Temple, précise que le danger vient surtout des citizens developers qui, dans leur coin, développent une application en s’aidant de ces assistants IA sans forcément respecter les guides de développement sécurisés. Un gros travail de sensibilisation est toujours à effectuer. Conscients du danger que ces assistants représentent, l’ANSSI et son homologue allemand le BSI ont même publié en octobre 2024 leurs recommandations de sécurité concernant leur usage.  

L'IA au service des cybercriminels 

Selon les analystes du Sophos X-Ops et de Trend Micro, une multitude de LLM (FraudGPT, EvilGPT, WolfGPT ou encore DarkGPT) pullule, depuis plusieurs années déjà pour certains, sur le darkweb et permet aux cybercriminels de parfaire leurs méfaits, par exemple d’automatiser des tâches courantes telles que la rédaction d’e-mails en masse ou l’analyse de données, tandis que d’autres l’intègrent à leurs outils de génération de spams et d’ingénierie sociale. Selon John Shier, Field CISO Threat Intelligence chez Sophos, l’IA permet une traduction précise à grande échelle, augmentant considérablement la qualité des escroqueries sociales comme le phishing, ce qui les rend plus difficiles à détecter. Les entreprises doivent donc s’attendre à des campagnes de phishing de plus en plus précises et pertinentes. Les cybercriminels tentent également de jailbreaker les IA génératives pour faire sauter les garde-fous mis en place au sein des LLM. Les fraudeurs utilisent également des chatbots IA pour initier des conversations avec des victimes potentielles. L’IA décuple en quelque sorte le pouvoir des cybercriminels. 

Comme le souligne Giuliano Ippoliti, directeur de la cybersécurité chez Cloud Temple, l’IA sert aussi à sécuriser les IA : « Il est tout à fait envisageable de détecter un deepfake grâce à l’IA tout comme une IA peut servir à réaliser un audit de sécurité dans le code. L’usage de l’IA aide à améliorer les capacités de défense à condition qu’elle soit maîtrisée et supervisée par l’humain. N’oublions pas que les cyberattaquants, surtout les moins expérimentés, s’aident de l’IA pour parfaire leurs méfaits, c’est d’autant plus inquiétant que l’IA a réduit le niveau de compétences nécessaire pour mener une attaque. » Par exemple, Sophos met en avant l’IA multimodale qui exploite des modèles pour examiner à la fois le texte et les images des e-mails et du contenu web afin de classer le contenu comme bénin, indésirable ou nuisible. En utilisant une IA multimodale qui examine tous les aspects du contenu à l’aide de LLM, il est possible de reconnaître les nouveaux courriers électroniques de phishing et d’autres contenus malveillants ou indésirables, même sans sources de données spécifiques externes. De son côté, l’éditeur français Custocy, filiale d’IMS Networks, exploite le Metalearner, une technologie inédite d’IA collaborative pour sa plateforme NDR (Network Detection and Response) comme le souligne William Ritchie, CTO de Custocy et ancien directeur de recherche du CNRS. Pour résumer, cette technique consiste à empiler plusieurs petits modèles d’IA travaillant à plusieurs échelles de temps et à les orchestrer ; ces IA associées à de l’analyse comportementale permettent ainsi d’identifier des schémas inhabituels, qu’ils soient causés par des attaques inconnues ou sophistiquées. Selon William Ritchie, les tests montrent que le regroupement de plusieurs IA est plus précis et génère 88 fois moins de faux positifs. Cette défense par l’IA fait donc son chemin, Cisco s’y est engagé en lançant en janvier dernier AI Defense. Éric Vedel, directeur activités conseils en cybersécurité chez Cisco, part du constat que toute nouvelle application est IA où des agents interagissent en temps réel, le but étant de protéger la manière dont les applications sont développées. Defense AI agit donc sur trois piliers, déjà la plateforme donne de la visibilité en menant un inventaire de toutes les charges de travail de l'IA, des applications, des modèles, des données et de l'accès des utilisateurs. Ensuite, Defense AI valide les modèles via des tests pour identifier tout signe de compromission ou d'empoisonnement. Enfin, Defense AI protège les environnements de production grâce à des garde-fous.

Être attentif aux recommandations des agences et autres organismes de référence

D’une manière générale, des politiques strictes doivent être mises en place pour encadrer l'utilisation de l'IA générative dans un contexte professionnel. Pour Benoit Grunemwald, directeur des affaires publiques, il faut voir l’IA dans sa temporalité, tout au long de son cycle de vie, le porte-parole d’ESET faisant d’ailleurs référence au Top 10 de l’OWAPS. En effet, pour sensibiliser les entreprises, l’OWASP (Open Worldwide Application Security Project) a publié les 10 vulnérabilités les plus critiques souvent observées affectant les grands modèles de langage embarqués dans des applications IA, en soulignant leur impact potentiel, leur facilité d'exploitation et leur prévalence. De plus, il est important de s’aider des publications émises par les autorités et organismes compétents en la matière. C’est ce que font les équipes de sécurité de Cloud Temple, d’ailleurs Giuliano Ippoliti indique se servir des dernières publications de l’ANSSI. De son côté, pragmatique, le Clusif a même publié pour ses membres une PSSI IA (Politique de sécurité des systèmes d’information pour l’IA) prête à l'emploi, ce modèle a été construit de manière à pouvoir être personnalisé en fonction des besoins et des spécificités de chaque entité et couvre plusieurs thématiques dont la sécurisation du développement et du déploiement d'une IA ou encore une évaluation des risques posés par les IA génératives, sans oublier des recommandations adaptées. Toutes ces recommandations et méthodologies encouragent les décideurs, utilisateurs et développeurs à adopter une vraie approche de secure-by-design, bref d’intégrer la cybersécurité dès la conception des modèles IA pour prévenir des attaques. 

Au-delà des risques cyber, l’IA pose aussi des questions fondamentales sur la conformité et l’éthique surtout à l’heure de l’IA Act qui impose des exigences de transparence, de responsabilisation et de contrôle renforcé sur les systèmes d'IA. « Nous validons l’IA Act qui va nous permettre, en tant qu’éditeur, de bénéficier d’un encadrement et de savoir jusqu’où aller. A l’époque de la directive MiFID II qui concerne une partie de notre activité liée à la conformité IT et à la téléphonie pour les services financiers, tout le monde s’insurgeait, quelques années plus tard, force est de constater qu’elle a fait son chemin et cela se passe très bien. Les entreprises doivent s'assurer que leurs modèles d’IA respectent des principes éthiques et légaux pour éviter tout risque juridique et réputationnel. Cela implique une documentation rigoureuse des processus d'apprentissage et de décision, mais aussi une validation régulière des algorithmes », reconnaît Antony Derbes, président d’Open Lake Technology, un éditeur qui contrôle et supervise la qualité des relations téléphoniques et des solutions de comms unifiées comme Teams, Zoom ou encore Webex. D’ores et déjà, depuis le 2 février dernier, l’IA Act interdit les systèmes dits à haut risque dans l’Union européenne, cela concerne par exemple les dispositifs de notation sociale (comme le crédit social, très en vogue en Chine) ou de technologies exploitant l’émotion et la vulnérabilité des individus (incluant les salariés dans les entreprises).  

Le RGPD en garde-fou  

De même, la mise en œuvre d’une l'IA - si, bien sûr, elle traite des données personnelles - doit aussi respecter les réglementations en vigueur, notamment le RGPD. D’ailleurs, Mistral a récemment fait l’objet d’une plainte pour non-respect du règlement européen sur le RGPD. Nul doute que le RGPD reste et va rester un outil puissant pour garantir la protection des données et promouvoir la conformité autour des systèmes IA. Pour Alessandro Fiorentino, expert en protection des données chez Adequacy (plateforme qui aide les DPO à avoir une conformité au RGPD) et qui enseigne le RGPD à l’ISEP entre autres, l’IA Gen est et sera une nouvelle forme prédatrice de données personnelles et les 36 000 DPO en France auront pour mission de mettre en conformité un système IA. Ce sujet, l’AFCDP l’a pris à bras le corps lors de la 19e université des DPO qui s’est déroulée les 6 et 7 février derniers à la Maison de la chimie. Les nombreux DPO présents reconnaissent que l’IA est une pression supplémentaire et s’ajoute aux très nombreuses contraintes réglementaires et leur complexité juridique dont ils doivent déjà faire face. Alessandro Fiorentino imagine même le DPO comme un futur Compliance Officer de la data. Aujourd’hui, nous sommes plutôt dans une phase d’observation. « L’heure est à la compétition autour de l’IA et pas encore à la conformité rigoureuse », précise Alessandro Fiorentino et d’ajouter : « Le comité européen sur l’IA n’existe pas encore. En France, la CNIL est sur les rangs, faisant un lobbying important pour devenir l’autorité compétente. Elle a même désigné un monsieur IA et fera aussi face à la DGCCRF et à l’Arcom, tous les trois auront sûrement un rôle à jouer suivant les usages de l’IA ». D’ores et déjà, la CNIL a confirmé qu’elle sera bien présente sur ce sujet de l’IA suite à l’intervention Louis Dutheillet de Lamothe, secrétaire général de la Cnil à la dernière université de l’AFCDP : « Sur l’IA, nous en sommes qu’au début…, notre conviction est que le RGPD et les autres régulations ne privent pas l’Europe d’être innovante ; au contraire, ces règlements lui permettront de concevoir des modèles qui auront peut-être plus de solidité à partir du moment où ils intègrent une dimension de protection de la personne. » Preuve de son engagement, la CNIL a publié un peu avant le sommet sur l’IA deux nouvelles recommandations qui portent sur la manière dont on doit informer les personnes concernées par le traitement de leurs données par l’IA et sur la délicate question de comment traiter les demandes de droits sur les bases d’entraînement et les modèles d’IA. La CNIL est en phase de construction sur l’IA et ne cache pas que des ajustements s’effectueront au fil des prochains mois et années. 

L'Inesia pour un contrôle technique de l'IA

Le 31 janvier dernier, s’est tenu au Campus Cyber un événement presse pour annoncer la création de l’Institut national pour l’évaluation et la sécurité de l’IA (Inesia), le but de cet organisme sera d’évaluer les risques liés à l’IA, une sorte de contrôle technique comme l’a imagé Benoit Rottembourg de l’Inria lors des 19e universités des DPO de l’AFCDP. Pour ce faire, cet institut va s’appuyer sur des acteurs nationaux de l’évaluation et de la sécurité, au premier rang desquels l’Anssi bien sûr mais aussi l’Inria, le Laboratoire national de métrologie et d’essais (LNE) et le Pôle d’expertise de la régulation numérique (PEReN). Leur travail portera sur l'analyse des risques systémiques dans le champ de la sécurité nationale, sur le soutien à la mise en œuvre de la régulation de l'IA, et sur l'évaluation de la performance et de la fiabilité des modèles d'IA. L’institut sera piloté par le Secrétariat général de la défense et de la sécurité nationale (SGDSN) et par la Direction générale des entreprises (DGE) reliée au Ministère de l’économie mais n’aura pas de statut juridique, donc à priori, pas de pouvoirs contraignants contrairement à la CNIL.

Et si la sécurité des IA passait aussi par la souveraineté comme le défend Patrick Laurens-Frings, de NumSpot, du moins pour les acteurs des secteurs stratégiques et sensibles : « Pour eux, il est indispensable d’opter pour un projet de confiance pour ne pas s’exposer aux lois extraterritoriales (ndlr : comme le Cloud Act et le FISA pour les Etats-Unis, des lois chinoises pour DeepSeek), d’héberger les données dans des clouds 100 % souverains, voire qualifiés SecNumCloud et HDS en fonction de la sensibilité des données, et d’éviter toute fuite des données. Des alternatives européennes sérieuses existent déjà, notamment dans le domaine de l’open source, telles que Mistral AI ou LightOn en France, qui sont disponibles sur des infrastructures clouds de confiance. » On pense notamment à l’offre de Docaposte, de LightOn, d’Aleia et de NumSpot qui s’étaient associés fin 2023 pour proposer une offre d'IA générative française ou encore, plus récemment à l’été 2024, à celle d’Outscale, marque de Dassault Systèmes, qui a conclu un accord avec Mistral AI pour proposer un service de LLM. « L’intelligence artificielle est sans conteste un levier de transformation pour les industries et les services publics, mais elle ne peut se développer sans garanties solides sur la sécurité et la souveraineté des données. En Europe, nous avons créé un service IA souverain, performant et responsable qui protège à la fois la propriété intellectuelle, les données industrielles et les données des citoyens. Cette ambition s’illustre avec LLMaaS d’Outscale en partenariat avec Mistral AI », a récemment écrit David Chassan, directeur de la stratégie d’Outscale. A noter que Mistral s’est aussi associé à Sopra Steria pour proposer aux grandes entreprises et administrations françaises et européennes des solutions d’IA générative, industrialisées et adaptées à leurs besoins. Un choix souverain semble être une bonne solution sur le long terme admet Alessandro Fiorentino, expert en protection des données chez Adequacy, qui pose aussi la réflexion d’exploiter des IA en mode on premise afin d’avoir cette certitude d’une bonne maîtrise des données. Cette maîtrise de l’IA en local fait aussi son chemin chez Cloud Temple, Giuliano Ippoliti, son directeur informatique, n’exclut d’ailleurs pas la mise sur le marché d’une offre commerciale d’IA qualifiée SecNumCloud auprès de ses clients.