Les législateurs de l’UE proposent une interdiction limitée des systèmes de police prédictive

Deux eurodéputés chargés conjointement de superviser et de modifier la prochaine loi sur l’intelligence artificielle (AIA) de l’Union européenne ont déclaré que l’utilisation d’outils de police prédictive alimentés par l’IA pour effectuer des « évaluations individualisées des risques » devrait être interdite au motif qu’elle « viole la dignité humaine et la présomption d’innocence ».

Ioan-Dragoş Tudorache, corapporteur au nom de la commission des libertés civiles, de la justice et des affaires intérieures (LIBE), et Brando Benifei, corapporteur au nom de la commission du marché intérieur et de la protection des consommateurs (IMCO), ont confirmé leur soutien à une interdiction partielle des systèmes d’IA de police prédictive dans un projet de rapport.

« La police prédictive viole la dignité humaine et la présomption d’innocence, et comporte un risque particulier de discrimination. Il est donc inséré parmi les pratiques interdites », indique le rapport de 161 pages.

À l’heure actuelle, l’AIA énumère quatre pratiques qui sont considérées comme « un risque inacceptable » et qui sont donc interdites, notamment : les systèmes qui faussent le comportement humain; les systèmes qui exploitent les vulnérabilités de groupes sociaux spécifiques; les systèmes qui permettent de « noter » les individus; et l’identification biométrique à distance et en temps réel des personnes dans les lieux publics.

Les critiques ont déjà déclaré à Computer Weekly que bien que la proposition prévoie une « interdiction horizontale large » de ces pratiques d’IA, de telles utilisations sont toujours autorisées dans un contexte d’application de la loi.

Bien que l’interdiction de la police prédictive suggérée par les rapporteurs limite l’utilisation de tels systèmes par les services répressifs, l’interdiction ne s’étendrait qu’aux systèmes qui « prédisent la probabilité qu’une personne physique offense ou récidive », et non aux systèmes prédictifs basés sur le lieu utilisés pour profiler les zones et les lieux.

Sarah Chander, conseillère politique principale chez European Digital Rights (EDRi), a déclaré à Computer Weekly : « L’interdiction de la police prédictive est une étape historique dans la politique numérique européenne – jamais auparavant la discrimination raciale fondée sur les données n’a figuré aussi haut dans l’agenda de l’UE. Mais l’interdiction de la police prédictive n’a pas été étendue aux systèmes de police prédictive qui profilent les quartiers en fonction du risque de criminalité, ce qui peut accroître les expériences de police discriminatoire pour les communautés racialisées et pauvres.

Fair Trials de l’organisation non gouvernementale (ONG) a également accueilli favorablement la proposition, mais a également contesté l’exclusion de l’analyse prédictive basée sur le lieu.

« À maintes reprises, nous avons vu comment l’utilisation de ces systèmes exacerbe et renforce les actions discriminatoires de la police et de la justice pénale, alimente les inégalités systémiques dans la société et, en fin de compte, détruit la vie des gens », a déclaré Griff Ferris, responsable juridique et politique chez Fair Trials. « Cependant, l’interdiction doit également s’étendre aux systèmes de police prédictive qui ciblent des zones ou des lieux qui ont le même effet.

« Nous appelons maintenant tous les députés européens à rester fidèles à leur mandat de protection des droits des personnes en soutenant et en votant en faveur de l’interdiction de toute utilisation de l’IA prédictive dans la police et la justice pénale. »

Le 1er mars 2022, Fair Trials, EDRi et 43 autres organisations de la société civile ont collectivement appelé les législateurs européens à interdire les systèmes de police prédictive alimentés par l’IA, arguant qu’ils ciblent de manière disproportionnée les personnes les plus marginalisées de la société, violent les droits fondamentaux et renforcent la discrimination structurelle.

Fair Trials a également appelé à une interdiction pure et simple de l’utilisation de l’IA et des systèmes automatisés pour « prédire » le comportement criminel en septembre 2021.

Outre les amendements relatifs à la police prédictive, le texte du projet de rapport suggère un certain nombre d’autres modifications à l’AIA.

Il s’agit notamment d’étendre la liste des applications à haut risque pour couvrir les cas d’utilisation de l’IA dans le triage médical, l’assurance, les contrefaçons profondes et celles conçues pour interagir avec les enfants; et la création d’une approche à deux niveaux selon laquelle la Commission européenne assumera une plus grande responsabilité dans l’évaluation des systèmes d’IA lorsqu’il y a des « infractions généralisées », c’est-à-dire lorsqu’un système affecte des individus dans trois États membres ou plus.

Les rapporteurs ont également élargi les mécanismes de recours en incluant le droit pour les personnes de porter plainte auprès des autorités de contrôle et de demander réparation individuelle et collective lorsque leurs droits ont été violés. Par exemple, les groupes de consommateurs seraient autorisés à engager des procédures judiciaires en vertu de la directive sur les actions représentatives.

Le projet de rapport propose également des amendements pour reconnaître les personnes « touchées » par l’IA, alors que l’AIA ne reconnaît actuellement que les « fournisseurs » – ceux qui mettent un système d’IA sur le marché – et les « utilisateurs » – ceux qui déploient le système d’IA.

Ceci est conforme aux recommandations publiées par l’Ada Lovelace Institute le 31 mars 2022, qui a déclaré que l’AIA devrait reconnaître les « personnes touchées » en tant qu’acteurs distincts.

L’Institut Ada Lovelace a également recommandé de remodeler la signification du terme « risque » au sein de l’AIA afin de juger les systèmes en fonction de leur objectif « raisonnablement prévisible », que le rapport Tudorache-Benifei a maintenant inscrit dans ses amendements suggérés.

En termes de gouvernance, le rapport propose un certain nombre d’obligations pour les autorités publiques – mais pas pour les entités commerciales privées – y compris la nécessité de mener des analyses d’impact sur les droits fondamentaux, d’informer les personnes touchées par des systèmes d’IA à haut risque et d’enregistrer tout cas d’utilisation à haut risque dans la base de données publique définie à l’article 60 de l’AIA.

« Les négociateurs du Parlement européen comblent une lacune importante : le droit des personnes concernées de se plaindre lorsque les systèmes d’IA violent nos droits », a déclaré Chander d’EDRi. « Cependant, ils peuvent aller plus loin et exiger que tous les utilisateurs d’IA à haut risque, et pas seulement les autorités publiques, soient transparents quant à leur utilisation. »

Le rapport Tudorache-Benifei fixera les termes du débat autour de l’AIA, les commissions LIBE et IMCO devant discuter de ses conclusions le 11 mai avant de voter définitivement sur les amendements à la fin du mois de novembre 2022.

Cependant, il n’est actuellement pas clair si les commissions adopteront les amendements proposés dans le rapport en raison des opinions divergentes des législateurs européens sur la question de la police prédictive.

Le 5 octobre 2021, par exemple, le Parlement européen a approuvé un rapport de la commission LIBE sur l’utilisation de l’IA par la police en Europe, qui s’opposait à l’utilisation de cette technologie pour « prédire » les comportements criminels et appelait à l’interdiction de la surveillance de masse biométrique.

Mais deux semaines plus tard, le Parlement a voté en faveur d’une proposition de la commission LIBE visant à prolonger le mandat de l’agence criminelle internationale Europol, ce qui lui permettrait d’échanger plus facilement des informations avec des entreprises privées et de développer des outils de police alimentés par l’IA.

Les groupes de défense des droits civils ont déclaré à l’époque que le mandat proposé représentait un « chèque en blanc » pour la police afin de créer des systèmes d’IA qui risquent de porter atteinte aux droits humains fondamentaux.

Il y a aussi des points de divergence entre Benifei et Tudorache eux-mêmes. Par exemple, ils n’ont pas pu s’entendre sur des points concernant l’identification biométrique à distance, de sorte qu’elle a été laissée de côté dans le rapport.