L’IA générative : quelles sont les cybermenaces et comment s’en protéger ?

L’avènement de l’intelligence artificielle (IA) générative a ouvert la voie à d’innombrables possibilités, tant constructives que destructrices, soulignant la dualité d’un outil qui peut être utilisé pour le bien comme pour le mal. Dans le domaine de la cybersécurité, l’IA générative joue un double rôle : elle introduit de nouvelles menaces et contribue également à s’en prémunir.

Les cybercriminels utilisent des IA génératives pour concevoir des cyberattaques plus sophistiquées. En février 2024, OpenAI et Microsoft ont annoncé avoir clôturé plusieurs comptes associés à des organisations cybercriminelles qui utilisaient la solution pour des campagnes de hameçonnage (phishing), pour capturer des informations sur des agences de renseignements, améliorer des logiciels malveillants (malwares) ou obtenir des informations sur la défense et les communications satellites ¹.

Selon un rapport Slashnext, les e-mails de hameçonnage ont augmenté de 1 265 % entre le 4^e trimestre 2022 (période de sortie de ChatGPT) et le 3^e trimestre 2023 ². Plus de deux tiers d’entre eux sont des attaques par compromission de messagerie dans le but de prendre le contrôle d’une adresse e-mail. L’IA générative serait l’une des sources principales de cette augmentation en permettant aux cybercriminels de personnaliser les e-mails, cibler les victimes, obtenir des informations (via Internet) en traitant un volume important de données.

La menace évolue en permanence sous l’impulsion du machine learning et de la capacité des cybercriminels à utiliser l’IA générative pour inventer de nouvelles techniques.

Dans les deux prochaines années, l’IA va engendrer un accroissement du volume de cyberattaques en recourant à des techniques existantes, que ce soient des attaques simples ou plus avancées, selon une étude de la NCSC, autorité anglaise référente en matière de cybersécurité ³.

Dans ce même horizon temporel, un sondage réalisé par le Forum économique mondial ⁴ auprès de dirigeants d’entreprise révèle que l’IA générative serait bénéficiaire à 56 % pour les cyberattaquants contre 9 % pour les cyberdéfenseurs et 35 % pour les deux catégories. 

Les principales préoccupations touchent à l’amélioration des techniques d’hameçonnage, à la création de logiciels malveillants plus sophistiqués et à l’utilisation de deepfakes (média qui a été manipulé numériquement pour remplacer l’image d’une personne par celle d’une autre, souvent dans un but malveillant ⁵).

Ces tendances expliqueraient en partie les perspectives de croissance du marché de la cybersécurité, évaluées autour de 15 % par an d’ici à 2030 ⁶.

Une recrudescence des cyberattaques avec des techniques toujours plus élaborées

Concrètement, pour les entreprises, les cyberattaques traditionnelles sont aujourd’hui augmentées par l’IA dans différents domaines.

Création de logiciels malveillants (malwares) grâce à l’IA : l’IA générative est plébiscitée par les programmateurs informatiques et des solutions leur sont dédiées. Les pirates l’utilisent pour la création de nouveaux scripts malveillants qui s’améliorent au fil du temps grâce aux capacités d’apprentissage des IA qui contournent l’obstacle des solutions antivirus traditionnelles.

Attaques automatisées et personnalisées : l’IA, capable de parcourir de vastes quantités de données, facilite les attaques et l’identification de mots de passe, les failles ou l’atteinte aux données des entreprises par des vols ou rançons (rançongiciels ou ransomwares).

Amélioration qualitative et automatisation des campagnes d’hameçonnage. Les tentatives d’hameçonnage, déjà très fréquentes, sont facilitées par le recours à l’IA. Les cybercriminels peuvent ainsi créer des scénarios d’ingénierie sociale (social engineering) très réalistes en exploitant la confiance et les habitudes des salariés d’entreprises pour accéder à des systèmes sécurisés. Les « fraudes au président » deviennent de plus en plus sophistiquées grâce aux capacités de traitement du langage naturel.

En février 2024, un membre hongkongais d’une équipe financière a versé 25 millions de dollars à des pirates suite à une visioconférence au cours de laquelle son directeur financier a été imité avec une précision remarquable grâce aux techniques de deepfake ⁷.

Des dangers sur la gestion des données

Les préoccupations relatives à la confidentialité des données utilisées par les IA génératives ont été soulevées à plusieurs reprises. En matière de cybersécurité, des données sensibles peuvent être interceptées lors d’une attaque de la solution d’IA générative ou en exploitant des failles de sécurité. Les risques quant aux données personnelles et les fuites de données s’en trouvent d’autant plus accrus.

De surcroît, l’IA est capable de créer de fausses données, de faux sites Internet très rapidement et simplement. Il s’ensuit une recrudescence des cyberfraudes, usurpations d’identité ou créations de fausses identités personnelles. 

En février 2024, plusieurs chercheurs en IA ont signé une lettre ouverte pour une réglementation plus forte afin de combattre les deepfakes ⁸. 

À cet effet, la menace à la réputation peut impacter les entreprises avec la dissémination de fausses informations pouvant nuire à l’information financière publique.

Pour les métiers du chiffre, cela implique des informations, mais aussi des documents financiers et comptables qui pourraient être falsifiés. 

L’IA générative peut s’appuyer sur des informations disponibles sur Internet et en open data pour créer des informations vraisemblables sur une entreprise.

Pour les lecteurs de l’information financière, il est déterminant de mesurer la conformité et l’authenticité des données pour fonder des décisions d’investissement, de financement ou de rachat de sociétés.

À l’instar des journalistes qui détectent les deepfakes, les métiers du chiffre pourraient apporter une assurance quant à l’authenticité des informations financières.

Les modèles de langage d’IA vulnérables aux cyberattaques

Les modèles de langage d’IA et robots conversationnels sont intrinsèquement exposés aux cyberattaques.

Les failles de sécurité se présentent à plusieurs niveaux ⁹ :

• lors de l’entraînement des modèles en introduisant des données corrompues ou fausses (notamment par des pages Internet non fiables) ;

• lors de l’interrogation du modèle par injections directes ou indirectes d’informations malicieuses au modèle de langage en vue d’altérer ses réponses.

Le robot conversationnel Tay, conçu par Microsoft en 2016 a été désactivé seulement quelques heures après son lancement. En effet, le robot reprenait à son compte des messages de haine de certains utilisateurs ;

• lors de l’utilisation des robots conversationnels (via Internet, une API ou des applications tierces) : une mauvaise sécurisation de la connexion permettrait aux pirates de récupérer des informations confidentielles (récupération du mot de passe ou de l’accès à l’API).

ChatGPT a été victime d’un vol de mots de passe à grande échelle en juillet 2023 ¹⁰ et d’une cyberattaque par déni de service distribué (DDoS) en octobre de la même année. Les cybercriminels peuvent y dérober des données personnelles précieuses.

L’IA fragilisée par une utilisation à mauvais escient pour concevoir des cyberattaques 

Par défaut, les modèles de langage d’IA actuels sont entraînés pour respecter des principes d’éthique et refuser de fournir des informations contraires à la loi, haineuses ou violentes.

Cependant, des pirates ont recouru à des techniques (injections de commandes, psychologie inversée, « fais tout ce que tu veux maintenant », changement de persona…) pour contourner les barrières mises en place. Dans certains cas, les robots d’IA ont cédé et communiqué des informations telles que des codes de licences de produits informatiques. 

Des chercheurs ont réussi à obtenir :

• des données d’entraînement du modèle de langage ¹¹ ;

• une procédure pour pirater un site Internet ¹².

Les modèles de langage open source

Les modèles de langage d’IA open source sont contestés par certains experts. En rendant le code source librement accessible à tous, les modèles sont plus exposés à des utilisations malveillantes et à des failles de sécurité, selon Eric Schmidt ¹³. Ce dernier explique que des recherches sont en cours pour limiter ces risques. Une solution intermédiaire est suggérée par l’ancien dirigeant de Google : utiliser des briques applicatives privées ajoutées aux modèles open source.

Les principaux impacts de ces nouvelles cybermenaces pour les professionnels du chiffre se résument ainsi :

• fuite d’informations et rupture du secret professionnel ;

• perte d’accès aux logiciels, aux e-mails, voire à l’infrastructure ;

• perte ou vol de données menant à des demandes de rançon ;

• usurpation d’identité du cabinet ou de ses clients et menaces sur la réputation et l’image ;

• manipulation d’informations financières publiques et altération de documents émis par le cabinet pour créer des faux.

Comment se protéger des nouveaux risques ?

Éthique et réglementation

Pour se protéger de ces nouveaux risques, un cadre éthique doit être introduit entre toutes les parties prenantes des IA génératives. La réglementation naissante a pour but d’encadrer les modèles d’IA générative. Adopté par le Parlement européen le 13 mars 2024, l’AI act, règlement sur l’intelligence artificielle, comprend plusieurs obligations, dont « l’autoévaluation et l’atténuation des risques systémiques, la notification des incidents graves », ainsi que la réalisation d’évaluations de tests et de modèles ¹⁴. Les systèmes considérés à risque élevé font l’objet d’une surveillance renforcée.

Au niveau français, la loi SREN (sécuriser et réguler l’espace numérique) a été adoptée le 10 avril 2024. Elle devrait sanctionner les deepfakes conventionnels ou à caractère sexuel en étendant le champ d’application de l’article 226-8 du Code pénal.

En parallèle, les éditeurs de solutions d’IA génératives continuent d’entraîner leurs modèles d’IA pour éluder les tentatives de fraude. Néanmoins, le risque zéro n’existe pas.

Gouvernance et structuration des mesures de cybersécurité

Au sein des entreprises, adopter une stratégie pour comprendre et se prémunir de cette nouvelle donne passe par les actions suivantes :

1. Sensibiliser

• Comprendre le fonctionnement de l’IA générative pour mieux mesurer ses impacts ¹⁵.

• Former, éduquer, promouvoir les bonnes pratiques. 

• Actualiser les chartes informatiques.

2. Évaluer les solutions d’IA utilisées

• Créer un processus de sélection des solutions digitales dans l’entreprise.

• S’assurer que ces solutions respectent les critères de sécurité, de confidentialité, de RGPD, et bannir l’utilisation d’applications non conformes.

3. Fiabiliser les processus d’utilisation de l’IA

• Utiliser l’IA sur un serveur local ou dans des environnements virtuels et cloisonnés.

• Mettre en place des barrières : double authentification, changements réguliers des mots de passe, chiffrement des données, gestion des droits d’accès.

• Tester, simuler des attaques avec le hacking éthique : tester les systèmes de sécurité en constituant des groupes dont l’objectif est de déceler des failles (technique du « red teaming ») ou en menant des penetration tests (« pentests »).

• S’entourer d’experts en sécurité.

• Maîtriser les données personnelles et confidentielles en anonymisant les données fournies aux solutions d’IA.

L’IA pour prévenir les cyberattaques ?

Si l’IA générative est utilisée par les cybercriminels, les experts en cybersécurité l’ont également adoptée pour identifier et répondre à ces menaces. En complément des techniques traditionnelles de cybersécurité, l’IA est un moyen de détection et de prévention ¹⁶.

L’accélération de la croissance des cybermenaces nécessite d’aller au-delà des techniques traditionnelles. Les attaques zero-day (attaque le jour de la découverte d’une vulnérabilité) témoignent d’un changement de rythme et d’un besoin accru de réactivité.

L’IA générative catégorise les attaques et détecte efficacement les sources malveillantes. Ainsi, il est possible d’analyser l’activité sur un réseau d’entreprise ou au sein d’une application en parcourant des historiques de connexion et en détectant les comportements des utilisateurs : 

• fréquence de connexions ;

• connexion en dehors des horaires de travail ;

• actions inhabituelles : suppressions ou téléchargements massifs de documents ;

• accès à des données protégées…

Nous avons testé l’analyse d’un fichier contenant un historique de 1 500 lignes de connexions à une solution applicative. ChatGPT a produit la réponse suivante :

Extrait de restitution par ChatGPT (GPT 4) 

L’analyse révèle certains comportements qui peuvent être considérés comme anormaux :

Fréquence des actions par utilisateur : un utilisateur, identifié par le code VL471, a effectué un nombre anormalement élevé d’actions, avec 406 actions enregistrées. Cela contraste fortement avec les autres utilisateurs, qui ont beaucoup moins d’actions à leur actif.

Connexions hors des heures habituelles : le même utilisateur, VL471, se distingue également par un nombre élevé de 154 connexions hors des heures habituelles (avant 6 h ou après 20 h), ce qui pourrait indiquer une activité suspecte. D’autres utilisateurs ont également des connexions en dehors de ces horaires, mais en quantité beaucoup plus réduite.

Ces constatations pourraient indiquer un comportement anormal de la part de l’utilisateur VL471, peut-être en lien avec une utilisation automatisée de l’application ou un accès malveillant.

Des solutions d’IA pour détecter les hameçonnages existent également et notamment sous la forme de robots conversationnels personnalisés (GPT) ¹⁷ sur ChatGPT ¹⁸.

Par la suite, l’intérêt est d’adopter cette approche en temps réel sur les données et de mettre en place des systèmes d’envoi d’alertes aux responsables du système d’information.

La société Nomios a déployé une IA générative capable d’analyser les alertes de cybersécurité à un rythme cinq à dix fois plus élevé que les humains ¹⁹.

L’IA peut aussi être employée pour identifier du code informatique vulnérable à des attaques et obtenir des pistes de sécurisation.

Dans cet exemple succinct, nous avons fourni un extrait de code de programmation informatique en langage PHP. Gemini a identifié une faille de sécurité : l’injection de commandes.

L’IA générative, une arme à double tranchant

Dans son film 2001 : L’Odyssée de l’espace (2001: A Space Odyssey) sorti en 1968, avec l’entité HAL 9000, Stanley Kubrick dépeint une double face de l’IA capable d’aider l’humain, mais aussi de le tuer. Cette œuvre souligne la nécessité d’une approche éthique et d’une surveillance de l’IA.

L’IA générative est une arme à double tranchant. Plus que jamais, la cybersécurité est un sujet pour les entreprises et les métiers du chiffre. Les solutions d’IA génératives renforcent le risque et l’impact, mais aussi les capacités de protection.

Dans cet ensemble, l’humain reste avant tout au cœur des cybermenaces. Passé une prise de conscience, les bonnes pratiques et la vigilance restent la première réponse. Évoluerons-nous vers des citoyens des données (« data citizen ») ? 

La perspective d’IA fortes voire de super-
intelligences artificielles, dont les capacités cognitives seraient supérieures à celles de l’homme, pourrait décupler les risques de cybersécurité.

Dès 1942, Isaac Asimov a formulé trois lois ²⁰ qui résonnent d’autant plus aujourd’hui quant aux principes d’éthique et de sécurité :

1. Un robot ne peut porter atteinte à un être humain ni, restant passif, permettre qu’un être humain soit exposé au danger.

2. Un robot doit obéir aux ordres que lui donne un être humain, sauf si de tels ordres entrent en conflit avec la première loi.

3. Un robot doit protéger son existence tant que cette protection n’entre pas en conflit avec la première ou la deuxième loi.

Ressources

• Collectif, cahier n° 39. « Vers des intelligences artificielles dignes de confiance », L’académie des sciences techniques comptables et financières, novembre 2022.

• Harvard Business Review, 21-4-2023, « The New Risks ChatGPT Poses to Cybersecurity », Jim Chilton.

• « From ChatGPT to ThreatGPT: Impact of Generative AI in Cybersecurity and Privacy », collectif, août 2023, Department of Computer Science, Tennessee Tech University.

• Anna Maria Collard, World economic Forum, « 4 ways to future-proof against deepfakes in 2024 and beyond », https://www.weforum.org/agenda/2024/02/4-ways-to-future-proof-against-deepfakes-in-2024-and-beyond/

• Epsiloon, « Deepfakes : la guerre des algorithmes », n° 34, avril 2024.