{"id":19501,"date":"2024-05-15T17:55:02","date_gmt":"2024-05-15T15:55:02","guid":{"rendered":"https:\/\/feral.law\/?post_type=publication&p=19501"},"modified":"2024-11-05T10:56:03","modified_gmt":"2024-11-05T09:56:03","slug":"intelligence-artificielle-de-nouvelles-cyber-obligations-pour-de-nouveaux-cyber-crimes","status":"publish","type":"publication","link":"https:\/\/feral.law\/en\/publications\/intelligence-artificielle-de-nouvelles-cyber-obligations-pour-de-nouveaux-cyber-crimes\/","title":{"rendered":"Intelligence artificielle : de nouvelles cyber obligations pour de nouveaux cyber crimes"},"content":{"rendered":"\n

Depuis la publication de ChatGPT, la diffusion tr\u00e8s rapide des outils d\u2019Intelligence Artificielle g\u00e9n\u00e9rative s’accompagne d’une augmentation du volume et de la sophistication des attaques aussi bien contre les r\u00e9seaux et les syst\u00e8mes d’information qu’\u00e0 l’encontre des installations et messageries personnelles. <\/strong><\/em><\/p>\n\n\n\n

Ce ph\u00e9nom\u00e8ne oblige \u00e0 r\u00e9\u00e9valuer \u00e0 l’aune de l’Intelligence Artificielle les cyberrisques connus, mais aussi \u00e0 s’interroger sur la possibilit\u00e9 de nouveaux types de menaces qui seraient sp\u00e9cifiquement li\u00e9es \u00e0 l’IA. <\/p>\n\n\n\n

Par ricochet, cette \u00e9volution quantitative et qualitative contraint les pouvoirs publics \u00e0 adapter ou renouveler leur arsenal l\u00e9gislatif pour la cybers\u00e9curit\u00e9. <\/p>\n\n\n\n

Les cyberrisques<\/h3>\n\n\n\n

Le premier type de risques que l’Intelligence Artificielle  \u00e9voque regroupe les dommages r\u00e9sultant de son utilisation d\u00e9tourn\u00e9e \u00e0 des fins d\u00e9lictueuses.<\/p>\n\n\n\n

L\u2019IA g\u00e9n\u00e9rative, ax\u00e9e sur des mod\u00e8les entra\u00een\u00e9s \u00e0 g\u00e9n\u00e9rer du contenu (texte, images, vid\u00e9os, etc.) \u00e0 partir d\u2019un corpus sp\u00e9cifique de donn\u00e9es d\u2019entra\u00eenement, a ainsi acquis sa notori\u00e9t\u00e9 avec la prolif\u00e9ration de “vrais-faux” r\u00e9sultats. <\/p>\n\n\n\n

L’usurpation d’identit\u00e9, en particulier l’hame\u00e7onnage via des courriels trompeurs, se trouve facilit\u00e9e par la meilleure personnalisation des messages envoy\u00e9s aux victimes. C’est ainsi que, selon le “Panorama de la cybermenace 2023” publi\u00e9 par l’ANSSI[1]<\/a><\/sup>, l\u2019espionnage s\u2019est maintenu l’ann\u00e9e derni\u00e8re \u00e0 un niveau \u00e9lev\u00e9 avec une augmentation significative du ciblage des individus et des structures non gouvernementales qui traitent de donn\u00e9es sensibles. Le ciblage des individus s’est d\u00e9velopp\u00e9 de mani\u00e8re significative via des cyberattaques contre des t\u00e9l\u00e9phones portables tant personnels que professionnels.  <\/p>\n\n\n\n

A force de fuites massives m\u00eame depuis des bases de donn\u00e9es d\u00e9clar\u00e9es les plus prot\u00e9g\u00e9es (derni\u00e8rement, 33 millions de num\u00e9ro de s\u00e9curit\u00e9 sociale d\u00e9rob\u00e9s aupr\u00e8s des gestionnaires de tiers payant Viamedis et Almerys),  une majorit\u00e9 de coordonn\u00e9es ou documents d’identit\u00e9 sont disponibles sur le Dark Web<\/em>, o\u00f9 l’on peut acheter des kits KYC pour utiliser l’identit\u00e9 d’autres personnes.<\/p>\n\n\n\n

La finesse des faux permis par ces fuites et cr\u00e9\u00e9s gr\u00e2ce \u00e0 l’IA favorise \u00e9galement la diffusion de fausses informations et de videos contrefaisantes. <\/p>\n\n\n\n

Dans un contexte g\u00e9opolitique tendu, le rapport de l’ANSSI constate de nouvelles op\u00e9rations de d\u00e9stabilisation visant principalement \u00e0 promouvoir un discours politique ou \u00e0 porter atteinte \u00e0 l\u2019image d\u2019organisations. Le fait est que les deepfakes<\/em> politiques sont faciles \u00e0 g\u00e9n\u00e9rer et difficiles \u00e0 d\u00e9tecter. Les \u00e9lections slovaques de 2023 ont ainsi vu appara\u00eetre, dans la p\u00e9riode de silence m\u00e9diatique pr\u00e9c\u00e9dant le jour du vote, une fausse vid\u00e9o imputant un abus de pouvoir au candidat du parti Progressive Slovakia<\/em>. Ce parti a perdu les \u00e9lections par une faible marge.   <\/p>\n\n\n\n

Une particularit\u00e9 de cette cybercriminalit\u00e9 tient \u00e0 ce que la d\u00e9sinformation produite par l’IA ne se limite pas \u00e0 la production de contenu. Des \u00e9tudes montrent en effet qu’elle peut \u00eatre utilis\u00e9e pour automatiser l’ensemble du processus des Fake News<\/em>, y compris leur diffusion via les r\u00e9seaux sociaux[2]<\/a><\/sup>.<\/p>\n\n\n\n

En second lieu, bien que plus discr\u00e8tes il est important de souligner l’existence des cyberattaques visant les syst\u00e8mes d’Intelligence Artificielle eux-m\u00eames. Par exemple, en novembre 2023 ChatGPT \u00e9tait victime d’une cyberattaque massive, revendiqu\u00e9e par le groupe Anonymous Sudan (qui s’en est aussi pris \u00e0 des minist\u00e8res fran\u00e7ais, en mars dernier). De telles attaques peuvent avoir des effets imm\u00e9diats et substantiels sur les individus dont les donn\u00e9es sont compromises.<\/p>\n\n\n\n

Outre les menaces inh\u00e9rentes \u00e0 toute application m\u00e9tier standard, un syst\u00e8me d’IA g\u00e9n\u00e9rative fait face \u00e0 trois types de menaces sp\u00e9cifiques. <\/p>\n\n\n\n

Les attaques par manipulation consistent \u00e0 d\u00e9tourner le comportement du syst\u00e8me d\u2019IA une fois en production. Des requ\u00eates malveillantes peuvent provoquer des r\u00e9ponses inattendues, un d\u00e9ni de service ou d’autres risques tels que la cr\u00e9ation d’une porte d\u00e9rob\u00e9e dans le code.  Par exemple, des chercheurs ont d\u00e9couvert une faille de confidentialit\u00e9 dans ChatGPT : en lui demandant de r\u00e9p\u00e9ter le mot \u00ab po\u00e8me \u00bb \u00e0 l’infini, ils ont obtenu une \u00e9num\u00e9ration de noms, d’adresses e-mail et de num\u00e9ros de t\u00e9l\u00e9phone[3]<\/a><\/sup>.<\/p>\n\n\n\n

Les attaques par infection visent \u00e0 contaminer un syst\u00e8me d\u2019IA lors de sa phase d\u2019entra\u00eenement, en “empoisonnant” les donn\u00e9es utilis\u00e9es pour entra\u00eener le mod\u00e8le d\u2019IA, ce qui permettra ensuite de d\u00e9tourner son usage.  <\/p>\n\n\n\n

Enfin, les attaques par exfiltration consistent \u00e0 d\u00e9rober des informations sur le syst\u00e8me d\u2019IA en production, comme les donn\u00e9es d’entra\u00eenement du mod\u00e8le, les donn\u00e9es des utilisateurs ou bien des donn\u00e9es telles que les param\u00e8tres du mod\u00e8le.  <\/p>\n\n\n\n

Dans le guide “Recommandations de s\u00e9curit\u00e9 pour un syst\u00e8me d’IA G\u00e9n\u00e9rative” qu’elle a publi\u00e9 fin avril, l’ANSSI alerte sur les risques que ces attaques font peser sur les entreprises et administrations. A c\u00f4t\u00e9 de l’atteinte \u00e0 la r\u00e9putation des services qui sont expos\u00e9s au grand public (par exemple les chatbots), de la perte de donn\u00e9es sensibles ou du vol des param\u00e8tres de mod\u00e8les d\u2019IA qui ne sont pas publics, l’Agence souligne les possibilit\u00e9s de lat\u00e9ralisation d\u2019une attaque vers des applications m\u00e9tier interconnect\u00e9es \u00e0 l’IA (par exemple la messagerie interne ou un logiciel de CRM)[4]<\/a><\/sup>.<\/p>\n\n\n\n

L’\u00e9tude “Artificial Intelligence Index Report 2024” publi\u00e9e par l’universit\u00e9 de Stanford souligne, sur la base de sondages, que si les entreprises sollicit\u00e9es commencent \u00e0 prendre des mesures pour att\u00e9nuer ces risques, la plupart des entreprises, \u00e0 l’\u00e9chelle mondiale, n’en ont jusqu’\u00e0 pr\u00e9sent att\u00e9nu\u00e9 qu’une petite partie[5]<\/a><\/sup>.<\/p>\n\n\n\n

L’amplification des risques existants ainsi que la difficult\u00e9 de d\u00e9tecter tant les cyberattaques s’appuyant sur l’IA que les atteintes port\u00e9es aux syst\u00e8mes d’IA viennent confirmer les aspects particuliers de la cybercriminalit\u00e9 li\u00e9e \u00e0 l’Intelligence Artificielle. <\/p>\n\n\n\n

C’est une des raisons pour lesquelles les pouvoirs publics, dans de nombreux pays, se voient contraints de renouveler ou compl\u00e9ter leur arsenal l\u00e9gislatif pour la cybers\u00e9curit\u00e9 et l’IA. <\/p>\n\n\n\n

Les obligations de cybers\u00e9curit\u00e9<\/h3>\n\n\n\n

Le succ\u00e8s l\u00e9gislatif de l’Intelligence Artificielle se traduit dans le nombre de proc\u00e9dures l\u00e9gislatives \u00e0 travers le monde, qui passe de 1 247 en 2022 \u00e0 2 175 en 2023, selon l’\u00e9tude pr\u00e9cit\u00e9e de l’universit\u00e9 de Stanford. <\/p>\n\n\n\n

Dans l’Union europ\u00e9enne, le podium est tenu par le R\u00e8glement sur l’Intelligence Artificielle (IA Act<\/em>), en cours de promulgation. Ce texte reconna\u00eet le r\u00f4le crucial de la cybers\u00e9curit\u00e9 notamment pour “garantir la r\u00e9silience des syst\u00e8mes d’IA face aux tentatives de d\u00e9tourner leur utilisation, leur comportement ou leur performance ou de compromettre leurs propri\u00e9t\u00e9s face \u00e0 des tiers malveillants qui exploitent leurs vuln\u00e9rabilit\u00e9s<\/em>“. Il reconna\u00eet ainsi la sp\u00e9cificit\u00e9 des attaques possibles contre l’IA, que ce soit par manipulation, infection ou exfiltration, et <\/p>\n\n\n\n

recommande aux fournisseurs de prendre des mesures de protection appropri\u00e9es par rapport \u00e0 ces risques. <\/p>\n\n\n\n

En particulier, lorsque le syst\u00e8me d’IA s’int\u00e8gre comme composant de s\u00e9curit\u00e9 d\u2019un produit couvert par une l\u00e9gislation d\u2019harmonisation (par exemple la directive sur la commercialisation des \u00e9quipements radio\u00e9lectriques ou celle sur les ascenseurs), il est de droit class\u00e9 parmi les syst\u00e8mes \u00e0 haut risque[6]<\/a><\/sup>. Les syst\u00e8mes de cette cat\u00e9gorie (qui couvre \u00e9galement les IA destin\u00e9es \u00e0 des secteurs jug\u00e9s sensibles comme la sant\u00e9 ou l’exploitation d’infrastructures critiques) doivent \u00eatre d\u00e9velopp\u00e9s avec “un niveau appropri\u00e9 d\u2019exactitude, de robustesse et de cybers\u00e9curit\u00e9<\/em>“. Ce niveau est pr\u00e9cis\u00e9 notamment par des indicateurs de r\u00e9f\u00e9rence et m\u00e9thodes de mesure. Il doit \u00eatre \u00e9tabli par des tests. <\/p>\n\n\n\n

A cet effet, les fournisseurs d’IA \u00e0 haut risque doivent mener un travail d\u2019identification et de gestion des risques et \u00e9tablir des contr\u00f4les de s\u00e9curit\u00e9. Leur engagement sur leur produit est \u00e9tabli par une \u00e9valuation de conformit\u00e9 et attest\u00e9 par des mentions l\u00e9gales obligatoires (nom, raison sociale\u2026) qu’ils doivent apposer sur le syt\u00e8me d’IA. <\/p>\n\n\n\n

De plus, lors de leur diffusion, les IA \u00e0 haut risque doivent \u00eatre fournies avec une documentation technique suffisante pour que les utilisateurs qui les d\u00e9ploient puissent les utiliser de mani\u00e8re appropri\u00e9e et en interpr\u00e9ter les r\u00e9sultats.  Cette documentation doit d\u00e9crire, en particulier, les mesures de contr\u00f4le humain que les utilisateurs peuvent ou doivent prendre, selon le cas, avant toute mise en service. <\/p>\n\n\n\n

Ces diff\u00e9rentes obligations sont \u00e9galement d\u00e9clin\u00e9es pour les autres cat\u00e9gories d’IA, avec un encadrement variable en fonction de leurs niveaux de risques respectifs, \u00e0 savoir : inacceptable, haut, limit\u00e9 ou minimal. <\/p>\n\n\n\n

Il en va de m\u00eame pour les mod\u00e8les d\u2019IA “\u00e0 usage g\u00e9n\u00e9ral” (“GPAI”), cat\u00e9gorie \u00e0 part qui d\u00e9signe les syt\u00e8mes capables, avant leur mise sur le march\u00e9, d’ex\u00e9cuter un large \u00e9ventail de t\u00e2ches distinctes et qui peuvent \u00eatre int\u00e9gr\u00e9s en aval dans des syst\u00e8mes d’AI ou des applications.  <\/p>\n\n\n\n

Les obligations de l’IA Act se recoupent ou se compl\u00e8tent avec celles des autres textes de l’Union europ\u00e9enne sur le num\u00e9rique, qu’ils soient en vigueur ou en cours d’adoption. <\/p>\n\n\n\n

Ainsi, les exigences du RGPD concernant la cybers\u00e9curit\u00e9 se recoupent avec celles du R\u00e8glement IA, avec la m\u00eame notion de propoitionnalit\u00e9 entre les mesures techniques et organisationnelles n\u00e9cessaires pour garantir un certain niveau de s\u00e9curit\u00e9, d’une part, et le risque que cette s\u00e9curit\u00e9 doit couvrir, d’autre part. <\/p>\n\n\n\n

La CNIL a r\u00e9cemment \u00e9mis au sujet de l’IA des recommandations permettant notamment de mutualiser les efforts en mati\u00e8re de s\u00e9curit\u00e9 : r\u00e9aliser une analyse d’impact au titre du RGPD qui tienne compte de la particularit\u00e9 de l’IA ; tenir compte de la protection des donn\u00e9es d\u00e8s la conception du syst\u00e8me, ainsi que dans la collecte et la gestion des donn\u00e9es[7]<\/a><\/sup>.  Elle rappelle, par exemple, que le vol ou la perte de donn\u00e9es \u00e0 l’occasion d’une attaque en confidentialit\u00e9 r\u00e9ussie contre un mod\u00e8le d’IA (par inf\u00e9rence d\u2019appartenance, exfiltration ou inversion par exemple) peut constituer une violation de donn\u00e9es \u00e0 caract\u00e8re personnel et demande alors non seulement \u00e0 \u00eatre notifi\u00e9e \u00e0 la CNIL si elle entra\u00eene un risque pour les droits et libert\u00e9s des personnes concern\u00e9es, mais aussi \u00e0 provoquer le retrait du mod\u00e8le d’IA. <\/p>\n\n\n\n

Comme le RGPD, l’IA Act<\/em> propose des outils tels que la mise en \u0153uvre de code de conduite et la certification. <\/p>\n\n\n\n

Pour ce faire le r\u00e8glement prend en compte le r\u00f4le attribu\u00e9 \u00e0 l’ENISA par le R\u00e8glement sur la Cybers\u00e9curit\u00e9[8]<\/a><\/sup>.<\/p>\n\n\n\n

En cours d’adoption, le  projet de r\u00e8glement sur la cybers\u00e9curit\u00e9 des produits \u00e0 contenu num\u00e9rique (Cyberr\u00e9silience Act<\/em>) \u00e9tendra \u00e0 l’ensemble du march\u00e9 du num\u00e9rique des exigences aujourd’hui initi\u00e9es par le R\u00e8glement IA sur le seul secteur de l’Intelligence Artificielle.  En particulier, les r\u00e8gles pour la mise sur le march\u00e9 des produits ayant une composante num\u00e9rique seront harmonis\u00e9es et un cadre commun d’exigences s’appliquera en mati\u00e8re de cybers\u00e9curit\u00e9, pour r\u00e9gir \u00e0 la fois la conception, le d\u00e9veloppement et la maintenance de ces produits. La transparence sur la s\u00e9curit\u00e9 des produits mat\u00e9riels et logiciels constitue, l\u00e0 aussi, un aspect important. De fa\u00e7on notable, le R\u00e8glement Cyberr\u00e9silience ajoutera une obligation de diligence couvrant l’ensemble du cycle de vie des produits \u00e0 contenu num\u00e9rique[9]<\/a><\/sup>. Ce r\u00e8glement viendra ainsi compl\u00e9ter des l\u00e9gislations plus sectorielles comme la directive visant \u00e0 assurer un niveau commun \u00e9lev\u00e9 de cybers\u00e9curit\u00e9 dans l’Union (Directive NIS 2). <\/p>\n\n\n\n

Les Etats-Unis ne sont pas en reste. <\/p>\n\n\n\n

Le nombre d’adminisrations f\u00e9d\u00e9rales \u00e9mettant des r\u00e9glementations sur l’IA est pass\u00e9 de 17 en 2022 \u00e0 21 en 2023, avec par exemple le minist\u00e8re des Transports et le minist\u00e8re de l’\u00c9nergie. En octobre 2022, le gouvernement am\u00e9ricain a d\u00e9voil\u00e9 son “Blueprint for an AI Bill of Rights<\/em>“, centr\u00e9 sur des normes de protection des donn\u00e9es et sur l’exigence de tests rigoureux en phase de d\u00e9veloppement, avant que les syst\u00e8mes d’IA ne deviennent accessibles au public. <\/p>\n\n\n\n

Dans les Etats f\u00e9d\u00e9r\u00e9s, la r\u00e9glementation de l’IA s’active aussi, en particulier sur les aspects de gouvernance, mais \u00e9galement dans le cadre d’ajouts aux lois sur la protection de la vie priv\u00e9e.  Dans le Kentucky, la loi ELVIS (Ensuring Likeness Voice and Image Security Act<\/em>), promulgu\u00e9e le 21 mars dernier, est la premi\u00e8re l\u00e9gislation sp\u00e9cifiquement con\u00e7ue pour prot\u00e9ger les musiciens contre l’utilisation non autoris\u00e9e de leurs voix par le biais de technologies d’intelligence artificielle et contre les Deepfakes<\/em> audio et le clonage vocal. Les Etats de l’Oklahoma et de New York envisagent des lois plus compl\u00e8tes sur l’IA.<\/p>\n\n\n\n

Dans ce contexte l\u00e9gislatif foisonnant, les d\u00e9veloppeurs pourraient se trouver en peine de disposer de directives concr\u00e8tes ou de bonnes pratiques. C’est ce besoin que viennent combler les “Recommandations de s\u00e9curit\u00e9 pour un syst\u00e8me d’IA G\u00e9n\u00e9rative” publi\u00e9es par l’ANSSI en avril dernier[10]<\/a><\/sup>. La nature \u00e9minemment \u00e9volutive de l’Intelligence Artificielle appelle aussi des normes souples et un suivi pragmatique : aussi paradoxal que cela paraisse, la Hard Law<\/em> a besoin de s’appuyer sur de la Soft Law<\/em>.  <\/p>\n\n\n\n

<\/h2>\n\n\n\n

<\/p>\n\n\n\n

<\/p>\n\n\n\n

\n
\n
 <\/strong><\/em><\/h6>\n<\/div>\n<\/blockquote>\n\n\n\n

<\/p>\n\n\n\n

[1]<\/a><\/sup> https:\/\/cyber.gouv.fr\/publications\/panorama-de-la-cybermenace-2023<\/p>\n\n\n\n

[2]<\/a><\/sup> “Artificial Intelligence Index Report 2024”, Stanford University, 2024 (https:\/\/hai.stanford.edu\/research\/ai-index-report)<\/p>\n\n\n\n

[3]<\/a><\/sup> ChatGPT Spit Out Sensitive Data When Told to Repeat \u2018Poem\u2019 Forever, Wired, 2 d\u00e9c. 2023 (https:\/\/www.wired.com\/story\/chatgpt-poem-forever-security-roundup\/)<\/p>\n\n\n\n

[4]<\/a><\/sup> https:\/\/cyber.gouv.fr\/publications\/recommandations-de-securite-pour-un-systeme-dia-generative<\/p>\n\n\n\n

[5]<\/a><\/sup> https:\/\/hai.stanford.edu\/research\/ai-index-report<\/p>\n\n\n\n

[6]<\/a><\/sup> Pour un panorama complet du R\u00e8glement IA, voir : https:\/\/feral.law\/publications\/ai-act-lue-adopte-le-premier-reglement-sur-lintelligence-artificielle-au-monde\/<\/p>\n\n\n\n

[7]<\/a><\/sup> https:\/\/www.cnil.fr\/fr\/les-fiches-pratiques-ia<\/p>\n\n\n\n

[8]<\/a><\/sup> R\u00e8glement UE 2019\/881 du 17 avril 2019 relatif \u00e0 l\u2019ENISA (Agence de l\u2019Union europ\u00e9enne pour la cybers\u00e9curit\u00e9) et \u00e0 la certification de cybers\u00e9curit\u00e9 des technologies de l\u2019information et des communications (r\u00e8glement sur la cybers\u00e9curit\u00e9)<\/p>\n\n\n\n

[9]<\/a><\/sup> https:\/\/www.europarl.europa.eu\/topics\/fr\/article\/20221103STO48002\/lutte-contre-la-cybercriminalite-nouvelles-lois-de-l-ue-sur-la-cybersecurite<\/p>\n\n\n\n

[10]<\/a><\/sup> https:\/\/cyber.gouv.fr\/publications\/recommandations-de-securite-pour-un-systeme-dia-generative<\/p>\n\n\n\n

<\/p>\n\n\n\n

<\/p>\n\n\n\n

\n\n\n\n

<\/p>\n\n\n\n

Retrouver les autres articles de la SAGA AI : <\/em><\/h4>\n\n\n\n

<\/p>\n\n\n\n