L’utilisation de l’intelligence artificielle (IA) par la police britannique pourrait porter atteinte aux droits de l’homme et exacerber davantage les inégalités existantes sans garanties, supervision et prudence suffisantes, selon une enquête de la Chambre des Lords.
Après une enquête de 10 mois sur l’utilisation de technologies algorithmiques avancées par la police britannique, y compris la reconnaissance faciale et divers outils de « prédiction » de la criminalité, la commission des affaires intérieures et de la justice (HAJC) des Lords a décrit la situation comme « un nouveau Far West » caractérisé par un manque de stratégie, de responsabilité et de transparence du haut vers le bas.
Dans un rapport publié le 30 mars 2022, le HAJC a déclaré : « L’utilisation de technologies de pointe dans l’application de la loi pose un risque réel et actuel pour les droits de l’homme et l’état de droit. À moins que cela ne soit reconnu et traité, les avantages potentiels de l’utilisation de technologies de pointe peuvent être compensés par le préjudice qui se produira et la méfiance que cela créera.
Dans le cas des technologies de « police prédictive », le CSAH a noté leur tendance à produire un « cercle vicieux » et à « enraciner des modèles préexistants de discrimination » parce qu’elles dirigent les patrouilles de police vers des zones à faible revenu et déjà surcontrôlées sur la base de données historiques sur les arrestations.
« En raison de la présence policière accrue, il est probable qu’une proportion plus élevée des crimes commis dans ces zones sera détectée que dans les zones qui ne sont pas sur-surveillées. Les données refléteront ce taux de détection accru comme un taux de criminalité accru, qui sera introduit dans l’outil et s’intégrera dans le prochain ensemble de prédictions », a-t-il déclaré.
En ce qui concerne la reconnaissance faciale, l’autre technologie algorithmique majeure déployée par la police, le rapport a noté qu’elle pourrait avoir un effet dissuasif sur les manifestations, saper la vie privée et conduire à des résultats discriminatoires.
« L’utilisation de technologies de pointe dans l’application de la loi présente un risque réel et actuel pour les droits de l’homme et l’état de droit. À moins que cela ne soit reconnu et traité, les avantages potentiels de l’utilisation de technologies de pointe peuvent être compensés par le préjudice qui se produira et la méfiance que cela créera.
Rapport du CJM
« Bien que nous ayons trouvé beaucoup d’enthousiasme quant au potentiel des technologies de pointe dans l’application de la loi, nous n’avons pas détecté d’engagement correspondant à une évaluation approfondie de leur efficacité », indique le rapport du HAJC.
Il a ajouté qu’en plus de « l’absence de normes scientifiques ou éthiques minimales qu’un outil d’IA doit respecter avant de pouvoir être utilisé dans le domaine de la justice pénale », la grande majorité des organismes publics impliqués dans le développement et le déploiement de ces technologies n’avaient pas l’expertise et les ressources nécessaires pour effectuer des évaluations appropriées des nouveaux équipements.
« En conséquence, nous risquons de déployer des technologies qui pourraient être peu fiables, disproportionnées ou simplement inadaptées à la tâche à accomplir », a déclaré le HAJC, ajoutant que le système nécessitait « une rationalisation urgente et des réformes de la gouvernance » car « dans l’état actuel des choses, les utilisateurs l’inventent en fait au fur et à mesure ».
La conclusion du comité était conforme aux commentaires de Karen Yeung, professeure interdisciplinaire en droit, éthique et informatique à la Birmingham Law School, qui a déclaré au HAJC en octobre 2021 que les autorités policières avaient commencé à utiliser les nouvelles technologies « simplement parce que nous pouvons… sans preuves claires » de leur efficacité ou de leurs impacts.
Cela comprend les essais « très peu rigoureux » et l’utilisation de la reconnaissance faciale, ainsi que des outils de prédiction de la criminalité tels que la matrice des gangs de la police du Met ou l’outil d’évaluation des risques de préjudice de la police de Durham.
La présidente du HAJC, la baronne Hamwee, résumant les 55 contributions écrites du comité et les 20 entretiens avec des témoins, a déclaré: « Nous avons eu la forte impression que ces nouveaux outils sont utilisés sans se demander s’ils produisent toujours un résultat justifié. « L’ordinateur » a-t-il toujours raison ? C’était une technologie différente, mais regardez ce qui est arrivé à des centaines de directeurs de bureaux de poste. »
Le rapport du CJM contient un certain nombre de recommandations sur la façon de répondre aux préoccupations soulevées par son enquête. Cela comprend la création d’un organisme national unique chargé d’établir des normes scientifiques minimales pour l’utilisation des nouvelles technologies par les organismes répressifs, de certifier chaque nouvelle solution technologique par rapport à ces normes et d’auditer régulièrement leur déploiement.
Cet organisme national devrait également être créé sur une base statutaire indépendante, disposer de son propre budget et du pouvoir de mettre en œuvre des moratoires.
Pratiques d’approvisionnement douteuses et transparence
En ce qui concerne l’acquisition de nouvelles technologies, le HAJC a noté une série de « pratiques de vente douteuses » découlant d’un conflit d’intérêts entre les forces de police, qui sont obligées en vertu de la secte publiqueou Equality Duty (PSED) pour examiner comment leurs politiques et pratiques pourraient être discriminatoires, et les fournisseurs du secteur privé, qui veulent souvent protéger leur propriété intellectuelle et leurs secrets commerciaux.
« Nous avons entendu parler d’entreprises qui refusent de s’engager de manière constructive avec des clients tels que les forces de police pour des raisons de confidentialité. [The Birmingham Law School’s] Yeung craignait que certains fournisseurs de technologie n’invoquent des droits de propriété intellectuelle pour faire des « promesses creuses » sur la représentativité des données de formation, les cachant à leurs clients, aux examinateurs externes et aux tribunaux », indique le rapport.
« Le Metropolitan Police Service nous a également parlé de « vendeurs réticents à partager des informations, citant des raisons de confidentialité commerciale ». »
En août 2020, l’utilisation de la technologie de reconnaissance faciale en direct (LFR) par la police du sud du Pays de Galles (SWP) a été jugée illégale par la Cour d’appel, en partie parce que la police ne s’est pas conformée à son PSED.
Il a été noté dans le jugement que le fabricant dans cette affaire – la société japonaise de biométrie NEC – n’a pas divulgué les détails de son système à SWP, ce qui signifie que la force n’a pas pu évaluer pleinement la technologie et ses impacts.
« Pour des raisons de confidentialité commerciale, le fabricant n’est pas prêt à divulguer les détails afin qu’ils puissent être testés. Cela peut être compréhensible, mais à notre avis, cela ne permet pas à une autorité publique de s’acquitter de son propre devoir, non délégable, en vertu de l’article 149 », indique la décision.
Pour faire face à ces problèmes et à d’autres problèmes d’approvisionnement, le HAJC a recommandé que, bien que les forces soient libres de se procurer des solutions technologiques certifiées par l’organisme national, un soutien supplémentaire devrait être fourni afin qu’ils puissent devenir des « clients compétents » des nouvelles technologies.
« La certification préalable au déploiement pourrait, en soi, les rassurer sur la qualité des produits qu’ils achètent. Des directives d’approvisionnement améliorées sont également nécessaires », a-t-il déclaré, ajoutant que des comités d’éthique locaux et régionaux devraient également être établis sur une base statutaire pour examiner si les utilisations proposées et réelles d’une technologie donnée sont « légitimes, nécessaires et proportionnées ».
Sur le plan de la transparence, le CJUM a noté que, bien qu’il n’y ait actuellement « aucune obligation systémique » pour les organismes d’application de la loi de divulguer des renseignements sur leur utilisation des technologies de pointe, un « devoir de franchise » devrait être établi, parallèlement à un registre public des algorithmes de police, afin que les organismes de réglementation et le grand public puissent comprendre exactement comment les nouveaux outils sont déployés.
Nécessité d’une législation explicite
S’adressant à Computer Weekly, Hamwee du HAJC a déclaré que les membres du comité étaient « perplexes et anxieux » lorsqu’ils ont commencé à comprendre la portée de la façon dont les technologies de pointe sont déployées dans le système judiciaire et se sont retrouvés avec « beaucoup de préoccupations » quant aux implications pour les droits de l’homme et les libertés civiles.
« Nous ne pouvions pas déterminer qui était responsable de quoi – plus de 30 corps (que nous avons identifiés – et nous en avons peut-être manqué certains) avec une sorte de rôle suggéré que si les choses tournaient mal, il serait presque impossible de demander des comptes à quiconque », a-t-elle déclaré. « Et si les choses tournaient mal, elles pourraient très mal tourner – vous pourriez même être condamné et emprisonné sur la base de preuves que vous ne comprenez pas et que vous ne pouvez pas contester. »
Hamwee a ajouté que si le comité reconnaissait que l’IA pouvait apporter des « avantages considérables », par exemple en termes d’efficacité et de nouvelles méthodes de travail, les décisions finales doivent toujours être prises par un être humain et une nouvelle législation est nécessaire pour contrôler la façon dont les technologies sont utilisées par la police britannique.
« Je doute qu’un membre du comité pense que les nouvelles lois sont la réponse à tout, mais nous avons besoin d’une législation – comme base de réglementation par un organisme national, avec un registre des algorithmes utilisés dans les outils pertinents et la certification de chaque outil », a-t-elle déclaré. « Les lecteurs de Computer Weekly ne seraient pas déférents envers la technologie, mais pour beaucoup de gens, c’est souvent une question de »l’ordinateur le dit ». Des normes strictes signifieront que le public pourra avoir confiance dans la façon dont la police, en particulier, utilise les technologies de pointe, telles qu’elles sont aujourd’hui et telles qu’elles pourraient l’être à l’avenir.
« Je doute qu’un membre du comité pense que les nouvelles lois sont la réponse à tout, mais nous avons besoin d’une législation. Des normes strictes signifieront que le public pourra faire confiance à la façon dont la police utilise les technologies de pointe, telles qu’elles sont aujourd’hui et telles qu’elles pourraient l’être à l’avenir.
Baronne Hamwee, HAJC
Le CJUM a donc également recommandé que « le gouvernement présente une législation primaire qui incarne des principes généraux et qui est appuyée par des règlements détaillés établissant des normes minimales » parce que « cette approche établirait le juste équilibre entre les préoccupations selon lesquelles une loi trop prescriptive pourrait étouffer l’innovation et la nécessité d’assurer la sécurité et l’éthique de nous.e de technologies ».
Computer Weekly a communiqué avec le ministre des Services de police Kit Malthouse pour obtenir des commentaires sur les conclusions de l’enquête, mais n’a reçu aucune réponse.
Malthouse a déjà déclaré lors d’un webinaire sur les défis et l’avenir des services de police que l’acquisition et l’utilisation des technologies numériques seraient une priorité majeure à l’avenir, et a déclaré au HAJC en janvier 2022 que l’utilisation des nouvelles technologies par la police devrait être testée devant les tribunaux plutôt que définie par une nouvelle législation, qui, selon lui, pourrait « étouffer l’innovation ».
Cela est conforme aux affirmations du gouvernement précédent sur la technologie policière. Par exemple, en réponse à un rapport du Comité des sciences et de la technologie de juillet 2019, qui appelait à un moratoire sur l’utilisation par la police de la technologie de reconnaissance faciale en direct jusqu’à ce qu’un cadre juridique approprié soit en place, le gouvernement a affirmé en mars 2021 – après un retard de deux ans – qu’il existait « déjà un cadre juridique complet pour la gestion de la biométrie, y compris la reconnaissance faciale »..
Paul Wiles, l’ancien commissaire à la conservation et à l’utilisation du matériel biométrique, a également déclaré au Comité des sciences et de la technologie en juillet 2021 que, bien qu’il existe actuellement un « cadre juridique général » régissant l’utilisation des technologies biométriques, leur nature omniprésente et leur prolifération rapide signifiaient qu’un cadre juridique plus explicite était nécessaire.
En mars 2022, l’examen stratégique des services de police en Angleterre et au Pays de Galles a confirmé le rôle central que la technologie jouerait dans les services de police à l’avenir, mais a également mis en garde contre la nécessité d’un examen éthique plus approfondi pour assurer la confiance du public.
Bien que l’examen se soit concentré sur les services de police dans leur ensemble – soulignant la nécessité d’une « réforme de fond en comble » pour faire face à la crise actuelle de confiance du public – un certain nombre de ses 56 recommandations portaient spécifiquement sur le rôle de la technologie.
L’une des recommandations de l’examen était que le ministère de l’Intérieur présente un projet de loi visant à introduire un devoir de franchise envers les forces de police.
Technologie3 ans ago
Monde3 ans ago
Technologie1 an ago
Monde3 ans ago
Monde3 ans ago
Monde3 ans ago
France3 ans ago
France3 ans ago