La loi de l’UE « doit donner aux personnes touchées par les systèmes d’IA les moyens d’agir »

L’Institut Ada Lovelace, organisme de recherche indépendant, a publié une série de propositions sur la manière dont l’Union européenne (UE) peut modifier sa prochaine loi sur l’intelligence artificielle (AIA) afin de responsabiliser les personnes touchées par la technologie au niveau individuel et collectif.

Les modifications proposées visent également à élargir et à remodeler le sens du terme « risque » dans le règlement, qui, selon l’Institut, devrait être fondé sur un objectif « raisonnablement prévisible » et aller au-delà de son accent actuel sur les droits individuels et la sécurité pour inclure également les risques systémiques et environnementaux.

« La réglementation de l’IA est un défi juridique difficile, il convient donc de féliciter l’UE d’avoir été la première à proposer un cadre complet », a déclaré Alexandru Circiumaru, responsable des politiques publiques européennes à l’Institut Ada Lovelace. « Cependant, les propositions actuelles peuvent et doivent être améliorées, et les décideurs politiques de l’UE ont la possibilité de renforcer considérablement la portée et l’efficacité de cette législation historique. »

Dans sa forme actuelle, l’AIA, qui a été publiée par la Commission européenne (CE) le 21 avril 2021, adopte une approche fondée sur les risques et axée sur le marché pour réglementer la technologie, en mettant l’accent sur l’établissement de règles concernant l’utilisation de pratiques d’IA « à haut risque » et « interdites ».

Cependant, les experts et les organisations des droits civils numériques ont affirmé que la proposition réglementaire est empilée en faveur des organisations – publiques et privées – qui développent et déploient des technologies d’IA, qui sont essentiellement chargées d’exercices de cocher des cases, tandis que les gens ordinaires se voient offrir peu de protection ou de recours.

Ils ont affirmé qu’en fin de compte, la proposition ne fera pas grand-chose pour atténuer les pires abus de la technologie de l’IA et agira essentiellement comme un feu vert pour un certain nombre de cas d’utilisation à haut risque en raison de son accent sur les normes techniques et la façon dont elle aborde l’atténuation des risques.

Publiés le 31 mars 2022, les amendements proposés par l’Institut Ada Lovelace pour traiter de ces questions comprennent la reconnaissance des « personnes concernées » en tant qu’acteurs distincts dans le texte de l’AIA, qui ne reconnaît actuellement que les « fournisseurs » – ceux qui mettent un système d’IA sur le marché – et les « utilisateurs » – ceux qui déploient le système d’IA.

Il a déclaré que l’AIA devrait également être utilisée pour créer un cadre de recours complet autour des « personnes concernées », y compris un droit pour les individus de porter plainte, un droit d’intenter une action collective et un droit à l’information pour compléter ce qui est déjà prévu par le règlement général sur la protection des données (RGPD).

« La loi de l’UE sur l’IA, une fois adoptée, sera le premier cadre réglementaire complet en matière d’IA au monde. Cela en fait un texte de loi d’importance mondiale avec un impact historique bien au-delà de sa juridiction légale », a déclaré Imogen Parker, directrice associée de l’Institut.

« Les enjeux pour tout le monde sont élevés avec l’IA, c’est pourquoi il est si vital que l’UE réussisse et s’assure que la loi fonctionne vraiment pour les personnes et la société. »

L’Institut Ada Lovelace recommande en outre de renommer les « utilisateurs » en « déployeurs » afin de mettre davantage en évidence la distinction entre ceux qui utilisent la technologie et ceux sur lesquels elle est utilisée, ainsi que de déterminer le risque en fonction de « l’objectif raisonnablement prévisible » du système, plutôt que de la « finalité prévue » telle que définie par le fournisseur lui-même.

« L’approche actuelle peut ne pas offrir suffisamment de clarté sur le moment où un déployeur a dépassé l’objectif prévu », a déclaré l’Institut. « Changer le libellé en « objectif raisonnablement prévisible » obligerait les fournisseurs à examiner plus en détail l’éventail des utilisations potentielles de leur technologie. Cela encouragerait également une plus grande clarté dans la définition des limites des systèmes que les fournisseurs mettent sur le marché quant à la mesure dans laquelle les déployeurs peuvent expérimenter un système d’IA sans encourir d’obligations supplémentaires.

Selon les propositions actuelles, les systèmes à haut risque ne sont également soumis qu’à des exigences ex ante, ce qui signifie qu’ils s’appliquent aux systèmes d’IA avant leur déploiement, ce qui, selon l’Institut, reflète une approche de l’IA fondée sur la « sécurité des produits » qui « ne parvient pas à saisir » la façon dont ils sont utilisés dans le monde réel.

Pour y remédier, il recommande de soumettre les systèmes à haut risque à des évaluations ex post et d’établir un processus pour ajouter de nouveaux types d’IA à la liste des systèmes à haut risque.

En termes de catégorisation biométrique et de reconnaissance des émotions, l’Institut recommande d’ajouter les deux à la liste des « risques inacceptables » de l’article 5 de l’AIA, en disant: « Leur utilisation pourrait conduire à une discrimination sur la base de caractéristiques protégées par le droit de l’UE ».

D’autres groupes de la société civile ont également appelé à des changements majeurs à l’AIA à plusieurs reprises depuis sa publication.

En septembre 2021, par exemple, European Digital Rights (EDRi) a critiqué l’approche « technocratique » de l’UE en matière de réglementation de l’IA, qui, selon elle, était trop étroitement axée sur la mise en œuvre de mesures techniques d’atténuation des biais – autrement connues sous le nom de « débiasing » – pour être efficace pour prévenir toute la gamme des dommages liés à l’IA.

Il a ajouté qu’en adoptant une approche techno-centrée sur la « débiasion », les décideurs politiques réduisent les problèmes sociaux, politiques et économiques complexes à des questions purement techniques de qualité des données, cédant ainsi un pouvoir et un contrôle importants sur une série de questions aux entreprises technologiques.

Le même mois, le groupe non gouvernemental Fair Trials a déclaré que l’UE devrait imposer une interdiction pure et simple de l’utilisation de l’IA pour « prédire » un comportement criminel au motif que son utilisation finira par renforcer la discrimination et porter atteinte aux droits humains fondamentaux, y compris le droit à un procès équitable et la présomption d’innocence.

L’appel à interdire les systèmes de police prédictive a été réitéré en mars 2022 par une coalition de 38 organisations de la société civile, dont Fair Trials et EDRi.

Ils ont déclaré que parce que les données sous-jacentes utilisées pour créer, former et exploiter de tels systèmes reflètent souvent des biais structurels historiques et des inégalités dans la société, leur déploiement « entraînerait une surveillance excessive des personnes, des communautés et des zones géographiques racialisées, et une surveillance, une remise en question, une détention et une incarcération de manière disproportionnée dans toute l’Europe ».

Et en novembre 2021, 114 organisations ont signé une lettre ouverte appelant les institutions européennes à veiller à ce que l’AIA « aborde les impacts structurels, sociétaux, politiques et économiques de l’utilisation de l’IA, soit à l’épreuve du temps et donne la priorité aux valeurs démocratiques et à la protection des droits fondamentaux ».

Plus précisément, les organisations – qui comprenaient Access Now, Fair Trials, Algorithm Watch, Homo Digitalis et Privacy International – ont recommandé : d’imposer davantage d’obligations aux utilisateurs de systèmes d’IA à haut risque pour faciliter une plus grande responsabilisation ; créer des exigences obligatoires en matière d’accessibilité afin que les personnes handicapées puissent facilement obtenir de l’information sur les systèmes d’IA; et interdire l’utilisation de tout système présentant un risque inacceptable pour les droits fondamentaux.

Les organisations ont ajouté que l’AIA ne contient actuellement aucune disposition ou mécanisme de recours individuel ou collectif et, en tant que tel, « ne traite pas pleinement la myriade de préjudices qui découlent de l’opacité, de la complexité, de l’échelle et du déséquilibre de pouvoir dans lesquels les systèmes d’IA sont déployés ».

Bien qu’elle ne s’adresse pas directement à l’AIA, Michelle Bachelet, haut-commissaire des Nations Unies aux droits de l’homme, a également appelé à un moratoire sur la vente et l’utilisation de systèmes d’IA qui présentent un risque sérieux pour les droits de l’homme, au moins jusqu’à ce que des garanties adéquates soient mises en œuvre, ainsi qu’à une interdiction pure et simple des applications d’IA qui ne peuvent pas être utilisées conformément au droit international des droits de l’homme.

« L’intelligence artificielle atteint maintenant presque tous les coins de notre vie physique et mentale et même des états émotionnels », a déclaré Bachelet. « Les systèmes d’IA sont utilisés pour déterminer qui obtient des services publics, décider qui a une chance d’être recruté pour un emploi, et bien sûr, ils affectent les informations que les gens voient et peuvent partager en ligne.

« Compte tenu de la croissance rapide et continue de l’IA, combler l’immense lacune en matière de responsabilité dans la façon dont les données sont collectées, stockées, partagées et utilisées est l’une des questions les plus urgentes en matière de droits de l’homme auxquelles nous sommes confrontés. »