Connect with us

Technologie

Un chercheur en IA affirme que les fournisseurs de technologies policières sont hostiles à la transparence

Published

on


Sandra Wachter, chercheuse en intelligence artificielle (IA), affirme que bien que l’enquête de la Chambre des Lords sur la technologie policière « ait été un grand pas dans la bonne direction » et ait réussi à mettre en évidence les principales préoccupations concernant l’IA et les algorithmes de la police, le conflit d’intérêts entre les organismes de justice pénale et leurs fournisseurs pourrait encore freiner des changements significatifs.

Wachter, qui a été invité à l’enquête en tant que témoin expert, est professeur agrégé et chercheur principal à l’Oxford Internet Institute qui se spécialise dans le droit et l’éthique de l’IA.

S’adressant à Computer Weekly, Wachter a déclaré qu’elle espérait qu’au moins certaines des recommandations seraient transposées dans la législation, mais qu’elle s’inquiétait de l’impact de l’hostilité des fournisseurs d’IA à la transparence et à l’ouverture.

« Cela m’inquiète principalement du point de vue de la propriété intellectuelle et des secrets commerciaux », a-t-elle déclaré. « Il y a une réticence ou une hésitation dans le secteur privé à être complètement ouvert sur ce qui se passe réellement pour diverses raisons, et je pense que cela pourrait être un obstacle à la mise en œuvre des recommandations de l’enquête. »

À la suite d’une enquête de 10 mois sur l’utilisation de technologies algorithmiques avancées par la police britannique, y compris la reconnaissance faciale et divers outils de « prédiction » de la criminalité, le Comité des affaires intérieures et de la justice (HAJC) des Lords a constaté qu’il y avait « beaucoup d’enthousiasme » à propos de l’utilisation des systèmes d’IA de la part de ceux qui occupaient des postes de direction, mais « nous n’avons détecté aucun engagement correspondant à une évaluation approfondie de leur efficacité ».

Le HAJC a également noté une série de « pratiques de vente douteuses » découlant d’un conflit d’intérêts entre les forces de police, qui sont tenues en vertu de l’obligation d’égalité dans le secteur public (PSED), d’examiner comment leurs politiques et pratiques pourraient être discriminatoires, et les fournisseurs du secteur privé.

Pour régler les problèmes liés à l’approvisionnement auprès de fournisseurs privés, le HAJC a recommandé d’accorder un soutien supplémentaire aux acheteurs de la police afin qu’ils puissent devenir des « clients compétents » des nouvelles technologies et d’établir un organisme national pour certifier les nouvelles technologies.

« La certification préalable au déploiement pourrait, en soi, les rassurer sur la qualité des produits qu’ils achètent. Des directives d’approvisionnement améliorées sont également nécessaires », a déclaré le comité, ajoutant que des comités d’éthique locaux et régionaux devraient également être établis sur une base statutaire pour examiner si les utilisations proposées et réelles d’une technologie donnée sont « légitimes, nécessaires et proportionnées ».

Il a également noté que, bien qu’il n’y ait actuellement « aucune obligation systémique » pour les organismes d’application de la loi de divulguer des renseignements sur leur utilisation des technologies de pointe, un « devoir de franchise » devrait être établi, parallèlement à un registre public des algorithmes de police, afin que les organismes de réglementation et le grand public puissent comprendre exactement comment les nouveaux outils sont déployés.

Promouvoir l’ouverture et une transparence significative

Wachter – qui a déclaré au HAJC en octobre 2021 que les organismes britanniques d’application de la loi qui se procurent des technologies d’IA devraient utiliser leur pouvoir d’achat pour exiger l’accès aux systèmes des fournisseurs afin de tester et de prouver leurs affirmations sur l’exactitude et la partialité – a souligné que le manque de transparence des fournisseurs sur leurs systèmes est très peu susceptible d’être un « problème technique de nous ne pouvons pas l’expliquer ». mais plutôt un cas de « nous ne voulons pas nécessairement vous le dire ».

En août 2020, l’utilisation de la technologie de reconnaissance faciale en direct par la police du sud du Pays de Galles (SWP) a été jugée illégale par la Cour d’appel, en partie parce que la police ne s’est pas conformée à son PSED.

Il a été noté dans le jugement que le fabricant dans cette affaire – la société japonaise de biométrie NEC – n’a pas divulgué les détails de son système à SWP, ce qui signifiait que la force ne pouvait pas évaluer pleinement la technologie et ses impacts.

« Pour des raisons de confidentialité commerciale, le fabricant n’est pas prêt à divulguer les détails afin qu’ils puissent être testés », a déclaré la décision. « Cela peut être compréhensible, mais à notre avis, cela ne permet pas à une autorité publique de s’acquitter de son propre devoir, non délégable. »

Interrogée sur l’exemple du SWP, Wachter a déclaré qu’elle pensait qu’il y avait un terrain d’entente. « Quand les gens parlent de transparence, ils parlent généralement comme un ou zéro – donc soit tout est transparent, soit rien n’est transparent », a-t-elle déclaré. « Je pense que c’est un peu malavisé – tout le monde n’a pas besoin de tout savoir, mais les bonnes personnes doivent en savoir assez. »

Wachter a déclaré qu’une partie du problème est que les utilisateurs de la police achètent les arguments des fournisseurs privés selon lesquels certains aspects de la technologie ne peuvent tout simplement pas être divulgués ou discutés.

Pour contourner ce problème, elle a déclaré qu’il s’agissait de renforcer la fiabilité et la fiabilité, et l’agriculture.Reed avec le HAJC sur la nécessité d’un système de certification tiers, un peu comme un MoT pour les véhicules, dans lequel des experts qualifiés et de confiance analysent la technologie pour comprendre exactement comment elle fonctionne et pour s’assurer qu’elle ne cause pas de dommages.

Quant à la quantité d’informations qui devraient être incluses dans les registres publics proposés des algorithmes de police, Wachter a déclaré que, bien qu’il doive toujours y avoir des informations ouvertes sur la technologie utilisée par la police, elle a suggéré d’aller plus loin en obligeant les entreprises à publier leurs résultats de test pour la technologie.

« Le grand public a le droit de savoir à quoi sert l’argent de ses impôts », a-t-elle déclaré. « Et si elle est utilisée pour dissuader les gens, les envoyer en prison, pour les surveiller, alors j’ai le droit de savoir que cette technologie fonctionne comme prévu. »

Les travaux universitaires évalués par des pairs de Wachter ont porté sur la façon de tester les systèmes d’IA pour détecter les biais, l’équité et la conformité aux normes de la loi sur l’égalité au Royaume-Uni et dans l’Union européenne (UE).

La méthode développée par Wachter et ses collègues – surnommée « explications contrefactuelles » – montre pourquoi et comment une décision a été prise (par exemple, pourquoi une personne a-t-elle besoin d’aller en prison), et ce qui devrait être différent pour obtenir un résultat différent, ce qui peut être une base utile pour contester les décisions. Tout cela sans porter atteinte aux droits de propriété intellectuelle des entreprises.

« Lorsque vous exécutez ce test, nous disons que vous devriez publier les résultats pour montrer au monde extérieur que votre algorithme adhère à cela », a-t-elle déclaré, ajoutant que les fournisseurs sont toujours tenus d’être légalement conformes. « Si votre système est raciste et que vous ne le savez pas, cela n’a pas d’importance – vous serez toujours responsable. Donc, la structure incitative est que vous devriez tester, tester, tester, parce que vous ne pouvez pas dire à un régulateur par la suite « oh, je ne savais pas ce qui se passait » – si vous devez le faire de toute façon, alors vous pourriez aussi bien le publier. »

Résistance potentielle du gouvernement au changement

Bien que le gouvernement n’ait pas encore répondu officiellement aux conclusions de l’enquête – et qu’il ait jusqu’au 30 mai 2022 pour le faire – le ministre de la Police, Kit Malthouse, a déjà suggéré au HAJC que l’utilisation des nouvelles technologies par la police devrait être testée devant les tribunaux plutôt que définie par une nouvelle législation, ce qui, selon lui, pourrait « étouffer l’innovation ».

Cela est conforme aux affirmations du gouvernement précédent sur la technologie policière. Par exemple, en réponse à un rapport du Comité des sciences et de la technologie de juillet 2019, qui appelait à un moratoire sur l’utilisation par la police de la technologie de reconnaissance faciale en direct jusqu’à ce qu’un cadre juridique approprié soit en place, le gouvernement a affirmé en mars 2021 – après un retard de deux ans – qu’il existait « déjà un cadre juridique complet pour la gestion de la biométrie, y compris la reconnaissance faciale »..

Mais selon Wachter, bien que l’approche suggérée par Malthouse puisse être acceptable dans certaines circonstances limitées, telles que « si nous ne sommes pas sûrs si et quand un préjudice pourrait réellement survenir », dans le cas d’outils tels que la reconnaissance faciale et l’analyse policière « prédictive », le préjudice a déjà été bien documenté.

« Nous savons que les données sont problématiques », a-t-elle déclaré. « Nous savons que les systèmes sont problématiques. Personne ne peut vraiment prétendre qu’il n’y a pas de problème. »

Wachter a ajouté que la grande majorité des gens au Royaume-Uni n’ont tout simplement pas les ressources nécessaires pour contester la police devant les tribunaux sur leur utilisation de la technologie. « Dire: » Eh bien, essayons simplement de voir qui vient se plaindre « , ce n’est pas ce qu’un législateur devrait faire », a-t-elle déclaré. « Vous devriez protéger tout le monde parce que la liberté de chacun est en jeu. »

Répondant à l’argument selon lequel la législation « étoufferait l’innovation », Wachter a déclaré : « C’est un argument tellement ennuyeux – la plupart du temps, quand les gens disent innovation, ils veulent dire profit. Ne confondons pas ces deux choses.

« Peu importe les lois, je peux faire des recherches et développer ce que je veux. Le frein est de savoir si quelque chose est déployé ou non dans la pratique, puis nous parlons de profits. Je pense que c’est très souvent ce que les gens veulent dire. »

Elle a ajouté: « Une bonne loi vise à guider l’innovation éthique et responsable et tente de prévenir l’innovation nuisible. Ceux qui ne veulent pas suivre les directives éthiques et ces règles, je ne sais pas si ce sont eux avec qui je veux faire affaire, en particulier dans le secteur de la justice pénale. »

Bien que le HAJC ait conclu, conformément à un certain nombre de témoins experts de l’enquête, que les responsables du déploiement de la technologie policière « l’inventent au fur et à mesure » sans tenir dûment compte de l’efficacité et des répercussions des systèmes, il existe un engagement clair à fournir plus de technologies pour la police à malthouse et à l’Examen stratégique des services de police publié en mars 2022.

Quant à savoir pourquoi la police britannique est si déterminée à déployer de nouvelles technologies malgré leur efficacité souvent discutable, Wachter a déclaré: « Je pense que c’est très motivé par des idées d’austérité et d’essayer de réduire les coûts. Le secteur public a toujours été, mais surtout maintenant, soumis à une pression massive pour réduire les coûts, et les nouvelles technologies sont considérées comme un moyen d’y parvenir. »

Click to comment

Leave a Reply

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Tendance