Depuis la publication de ChatGPT, la diffusion très rapide des outils d’Intelligence Artificielle générative s’accompagne d’une augmentation du volume et de la sophistication des attaques aussi bien contre les réseaux et les systèmes d’information qu’à l’encontre des installations et messageries personnelles.
Ce phénomène oblige à réévaluer à l’aune de l’Intelligence Artificielle les cyberrisques connus, mais aussi à s’interroger sur la possibilité de nouveaux types de menaces qui seraient spécifiquement liées à l’IA.
Par ricochet, cette évolution quantitative et qualitative contraint les pouvoirs publics à adapter ou renouveler leur arsenal législatif pour la cybersécurité.
Les cyberrisques
Le premier type de risques que l’Intelligence Artificielle évoque regroupe les dommages résultant de son utilisation détournée à des fins délictueuses.
L’IA générative, axée sur des modèles entraînés à générer du contenu (texte, images, vidéos, etc.) à partir d’un corpus spécifique de données d’entraînement, a ainsi acquis sa notoriété avec la prolifération de « vrais-faux » résultats.
L’usurpation d’identité, en particulier l’hameçonnage via des courriels trompeurs, se trouve facilitée par la meilleure personnalisation des messages envoyés aux victimes. C’est ainsi que, selon le « Panorama de la cybermenace 2023 » publié par l’ANSSI[1], l’espionnage s’est maintenu l’année dernière à un niveau élevé avec une augmentation significative du ciblage des individus et des structures non gouvernementales qui traitent de données sensibles. Le ciblage des individus s’est développé de manière significative via des cyberattaques contre des téléphones portables tant personnels que professionnels.
A force de fuites massives même depuis des bases de données déclarées les plus protégées (dernièrement, 33 millions de numéro de sécurité sociale dérobés auprès des gestionnaires de tiers payant Viamedis et Almerys), une majorité de coordonnées ou documents d’identité sont disponibles sur le Dark Web, où l’on peut acheter des kits KYC pour utiliser l’identité d’autres personnes.
La finesse des faux permis par ces fuites et créés grâce à l’IA favorise également la diffusion de fausses informations et de videos contrefaisantes.
Dans un contexte géopolitique tendu, le rapport de l’ANSSI constate de nouvelles opérations de déstabilisation visant principalement à promouvoir un discours politique ou à porter atteinte à l’image d’organisations. Le fait est que les deepfakes politiques sont faciles à générer et difficiles à détecter. Les élections slovaques de 2023 ont ainsi vu apparaître, dans la période de silence médiatique précédant le jour du vote, une fausse vidéo imputant un abus de pouvoir au candidat du parti Progressive Slovakia. Ce parti a perdu les élections par une faible marge.
Une particularité de cette cybercriminalité tient à ce que la désinformation produite par l’IA ne se limite pas à la production de contenu. Des études montrent en effet qu’elle peut être utilisée pour automatiser l’ensemble du processus des Fake News, y compris leur diffusion via les réseaux sociaux[2].
En second lieu, bien que plus discrètes il est important de souligner l’existence des cyberattaques visant les systèmes d’Intelligence Artificielle eux-mêmes. Par exemple, en novembre 2023 ChatGPT était victime d’une cyberattaque massive, revendiquée par le groupe Anonymous Sudan (qui s’en est aussi pris à des ministères français, en mars dernier). De telles attaques peuvent avoir des effets immédiats et substantiels sur les individus dont les données sont compromises.
Outre les menaces inhérentes à toute application métier standard, un système d’IA générative fait face à trois types de menaces spécifiques.
Les attaques par manipulation consistent à détourner le comportement du système d’IA une fois en production. Des requêtes malveillantes peuvent provoquer des réponses inattendues, un déni de service ou d’autres risques tels que la création d’une porte dérobée dans le code. Par exemple, des chercheurs ont découvert une faille de confidentialité dans ChatGPT : en lui demandant de répéter le mot « poème » à l’infini, ils ont obtenu une énumération de noms, d’adresses e-mail et de numéros de téléphone[3].
Les attaques par infection visent à contaminer un système d’IA lors de sa phase d’entraînement, en « empoisonnant » les données utilisées pour entraîner le modèle d’IA, ce qui permettra ensuite de détourner son usage.
Enfin, les attaques par exfiltration consistent à dérober des informations sur le système d’IA en production, comme les données d’entraînement du modèle, les données des utilisateurs ou bien des données telles que les paramètres du modèle.
Dans le guide « Recommandations de sécurité pour un système d’IA Générative » qu’elle a publié fin avril, l’ANSSI alerte sur les risques que ces attaques font peser sur les entreprises et administrations. A côté de l’atteinte à la réputation des services qui sont exposés au grand public (par exemple les chatbots), de la perte de données sensibles ou du vol des paramètres de modèles d’IA qui ne sont pas publics, l’Agence souligne les possibilités de latéralisation d’une attaque vers des applications métier interconnectées à l’IA (par exemple la messagerie interne ou un logiciel de CRM)[4].
L’étude « Artificial Intelligence Index Report 2024 » publiée par l’université de Stanford souligne, sur la base de sondages, que si les entreprises sollicitées commencent à prendre des mesures pour atténuer ces risques, la plupart des entreprises, à l’échelle mondiale, n’en ont jusqu’à présent atténué qu’une petite partie[5].
L’amplification des risques existants ainsi que la difficulté de détecter tant les cyberattaques s’appuyant sur l’IA que les atteintes portées aux systèmes d’IA viennent confirmer les aspects particuliers de la cybercriminalité liée à l’Intelligence Artificielle.
C’est une des raisons pour lesquelles les pouvoirs publics, dans de nombreux pays, se voient contraints de renouveler ou compléter leur arsenal législatif pour la cybersécurité et l’IA.
Les obligations de cybersécurité
Le succès législatif de l’Intelligence Artificielle se traduit dans le nombre de procédures législatives à travers le monde, qui passe de 1 247 en 2022 à 2 175 en 2023, selon l’étude précitée de l’université de Stanford.
Dans l’Union européenne, le podium est tenu par le Règlement sur l’Intelligence Artificielle (IA Act), en cours de promulgation. Ce texte reconnaît le rôle crucial de la cybersécurité notamment pour « garantir la résilience des systèmes d’IA face aux tentatives de détourner leur utilisation, leur comportement ou leur performance ou de compromettre leurs propriétés face à des tiers malveillants qui exploitent leurs vulnérabilités« . Il reconnaît ainsi la spécificité des attaques possibles contre l’IA, que ce soit par manipulation, infection ou exfiltration, et
recommande aux fournisseurs de prendre des mesures de protection appropriées par rapport à ces risques.
En particulier, lorsque le système d’IA s’intègre comme composant de sécurité d’un produit couvert par une législation d’harmonisation (par exemple la directive sur la commercialisation des équipements radioélectriques ou celle sur les ascenseurs), il est de droit classé parmi les systèmes à haut risque[6]. Les systèmes de cette catégorie (qui couvre également les IA destinées à des secteurs jugés sensibles comme la santé ou l’exploitation d’infrastructures critiques) doivent être développés avec « un niveau approprié d’exactitude, de robustesse et de cybersécurité« . Ce niveau est précisé notamment par des indicateurs de référence et méthodes de mesure. Il doit être établi par des tests.
A cet effet, les fournisseurs d’IA à haut risque doivent mener un travail d’identification et de gestion des risques et établir des contrôles de sécurité. Leur engagement sur leur produit est établi par une évaluation de conformité et attesté par des mentions légales obligatoires (nom, raison sociale…) qu’ils doivent apposer sur le sytème d’IA.
De plus, lors de leur diffusion, les IA à haut risque doivent être fournies avec une documentation technique suffisante pour que les utilisateurs qui les déploient puissent les utiliser de manière appropriée et en interpréter les résultats. Cette documentation doit décrire, en particulier, les mesures de contrôle humain que les utilisateurs peuvent ou doivent prendre, selon le cas, avant toute mise en service.
Ces différentes obligations sont également déclinées pour les autres catégories d’IA, avec un encadrement variable en fonction de leurs niveaux de risques respectifs, à savoir : inacceptable, haut, limité ou minimal.
Il en va de même pour les modèles d’IA « à usage général » (« GPAI »), catégorie à part qui désigne les sytèmes capables, avant leur mise sur le marché, d’exécuter un large éventail de tâches distinctes et qui peuvent être intégrés en aval dans des systèmes d’AI ou des applications.
Les obligations de l’IA Act se recoupent ou se complètent avec celles des autres textes de l’Union européenne sur le numérique, qu’ils soient en vigueur ou en cours d’adoption.
Ainsi, les exigences du RGPD concernant la cybersécurité se recoupent avec celles du Règlement IA, avec la même notion de propoitionnalité entre les mesures techniques et organisationnelles nécessaires pour garantir un certain niveau de sécurité, d’une part, et le risque que cette sécurité doit couvrir, d’autre part.
La CNIL a récemment émis au sujet de l’IA des recommandations permettant notamment de mutualiser les efforts en matière de sécurité : réaliser une analyse d’impact au titre du RGPD qui tienne compte de la particularité de l’IA ; tenir compte de la protection des données dès la conception du système, ainsi que dans la collecte et la gestion des données[7]. Elle rappelle, par exemple, que le vol ou la perte de données à l’occasion d’une attaque en confidentialité réussie contre un modèle d’IA (par inférence d’appartenance, exfiltration ou inversion par exemple) peut constituer une violation de données à caractère personnel et demande alors non seulement à être notifiée à la CNIL si elle entraîne un risque pour les droits et libertés des personnes concernées, mais aussi à provoquer le retrait du modèle d’IA.
Comme le RGPD, l’IA Act propose des outils tels que la mise en œuvre de code de conduite et la certification.
Pour ce faire le règlement prend en compte le rôle attribué à l’ENISA par le Règlement sur la Cybersécurité[8].
En cours d’adoption, le projet de règlement sur la cybersécurité des produits à contenu numérique (Cyberrésilience Act) étendra à l’ensemble du marché du numérique des exigences aujourd’hui initiées par le Règlement IA sur le seul secteur de l’Intelligence Artificielle. En particulier, les règles pour la mise sur le marché des produits ayant une composante numérique seront harmonisées et un cadre commun d’exigences s’appliquera en matière de cybersécurité, pour régir à la fois la conception, le développement et la maintenance de ces produits. La transparence sur la sécurité des produits matériels et logiciels constitue, là aussi, un aspect important. De façon notable, le Règlement Cyberrésilience ajoutera une obligation de diligence couvrant l’ensemble du cycle de vie des produits à contenu numérique[9]. Ce règlement viendra ainsi compléter des législations plus sectorielles comme la directive visant à assurer un niveau commun élevé de cybersécurité dans l’Union (Directive NIS 2).
Les Etats-Unis ne sont pas en reste.
Le nombre d’adminisrations fédérales émettant des réglementations sur l’IA est passé de 17 en 2022 à 21 en 2023, avec par exemple le ministère des Transports et le ministère de l’Énergie. En octobre 2022, le gouvernement américain a dévoilé son « Blueprint for an AI Bill of Rights« , centré sur des normes de protection des données et sur l’exigence de tests rigoureux en phase de développement, avant que les systèmes d’IA ne deviennent accessibles au public.
Dans les Etats fédérés, la réglementation de l’IA s’active aussi, en particulier sur les aspects de gouvernance, mais également dans le cadre d’ajouts aux lois sur la protection de la vie privée. Dans le Kentucky, la loi ELVIS (Ensuring Likeness Voice and Image Security Act), promulguée le 21 mars dernier, est la première législation spécifiquement conçue pour protéger les musiciens contre l’utilisation non autorisée de leurs voix par le biais de technologies d’intelligence artificielle et contre les Deepfakes audio et le clonage vocal. Les Etats de l’Oklahoma et de New York envisagent des lois plus complètes sur l’IA.
Dans ce contexte législatif foisonnant, les développeurs pourraient se trouver en peine de disposer de directives concrètes ou de bonnes pratiques. C’est ce besoin que viennent combler les « Recommandations de sécurité pour un système d’IA Générative » publiées par l’ANSSI en avril dernier[10]. La nature éminemment évolutive de l’Intelligence Artificielle appelle aussi des normes souples et un suivi pragmatique : aussi paradoxal que cela paraisse, la Hard Law a besoin de s’appuyer sur de la Soft Law.
[1] https://cyber.gouv.fr/publications/panorama-de-la-cybermenace-2023
[2] « Artificial Intelligence Index Report 2024 », Stanford University, 2024 (https://hai.stanford.edu/research/ai-index-report)
[3] ChatGPT Spit Out Sensitive Data When Told to Repeat ‘Poem’ Forever, Wired, 2 déc. 2023 (https://www.wired.com/story/chatgpt-poem-forever-security-roundup/)
[4] https://cyber.gouv.fr/publications/recommandations-de-securite-pour-un-systeme-dia-generative
[5] https://hai.stanford.edu/research/ai-index-report
[6] Pour un panorama complet du Règlement IA, voir : https://feral.law/publications/ai-act-lue-adopte-le-premier-reglement-sur-lintelligence-artificielle-au-monde/
[7] https://www.cnil.fr/fr/les-fiches-pratiques-ia
[8] Règlement UE 2019/881 du 17 avril 2019 relatif à l’ENISA (Agence de l’Union européenne pour la cybersécurité) et à la certification de cybersécurité des technologies de l’information et des communications (règlement sur la cybersécurité)
[9] https://www.europarl.europa.eu/topics/fr/article/20221103STO48002/lutte-contre-la-cybercriminalite-nouvelles-lois-de-l-ue-sur-la-cybersecurite
[10] https://cyber.gouv.fr/publications/recommandations-de-securite-pour-un-systeme-dia-generative
Retrouver les autres articles de la SAGA AI :
- SAGA AI #1 – AI Act : L’UE adopte le premier règlement sur l’intelligence artificielle au monde
- SAGAI AI #2 – Les enjeux de l’utilisation de l’IA en matière de PI : focus sur les œuvres utilisées pour entraîner les IA
- SAGAI AI #3 – Contenus générés par une intelligence artificielle : qui détient quels droits ?
- SAGA AI #4 – Le développement de l’IA confronté au droit de la protection des données personnelles
- SAGA AI #5 – Le recours aux outils d’IA en entreprise : gouvernance et protection des informations couvertes par le secret des affaires
