TfL sous le feu des critiques pour s’être appuyé sur les données de vérification faciale d’Uber dans les décisions de licence

Vérification faciale

S’adressant à Computer Weekly, Nawrozzadeh a ajouté qu’il avait « traité une série de ces cas » depuis qu’Uber a introduit son système de vérification faciale Real-Time ID Check.

Dans l’affaire à partir du 5 juillet, l’erreur d’identification s’est produite alors que le chauffeur, membre de l’App Drivers &Couriers Union (ADCU), travaillait pour la branche de livraison de nourriture de l’application ride hailing, Uber Eats. L’erreur, cependant, a entraîné la désactivation de ses comptes Uber Eats et des chauffeurs par l’entreprise.

En vertu de la réglementation des transports de Londres, Uber est tenu d’informer TfL lorsqu’un chauffeur est licencié via un formulaire spécifique, qui, selon Computer Weekly, devrait déclencher une « évaluation de la qualité » par le régulateur pour décider si le chauffeur en question doit continuer à détenir un permis de location privé.

Ce processus impliquerait également normalement que TfL informe le conducteur par écrit qu’il a reçu un rapport défavorable à son sujet, afin qu’il ait la possibilité de répondre et de faire appel, si TfL décide de révoquer son permis.

Selon le secrétaire général de l’ADCU, James Farrar, les conducteurs peuvent généralement continuer à travailler pendant qu’une décision est portée en appel, sauf dans les cas plus graves où il y a un risque perçu pour la sécurité ou une fraude.

Il convient de noter qu’Uber elle-même a été autorisée à poursuivre ses activités pendant qu’elle faisait appel de ses propres décision défavorable en matière de permis.

« Ensuite, ils peuvent immédiatement révoquer », a-t-il déclaré à Computer Weekly. « Vous pouvez continuer à faire appel devant le tribunal de première instance, mais vous ne pouvez pas travailler entre-temps. »

Suite à l’erreur d’identification du chauffeur par le système de vérification faciale d’Uber, et à la désactivation ultérieure de ses comptes, TfL a été informé et a immédiatement révoqué son permis, a ajouté Farrar. Il s’agit d’une ligne de conduite qu’il prend habituellement en réponse à des allégations graves, comme la violence sexuelle ou physique.

Il a ajouté que la décision de TfL était basée sur l’absence ou très peu de données, et qu’Uber n’avait été invité par le régulateur à étayer l’allégation que lorsque le chauffeur contestait la décision de TfL. « Même s’il s’était livré à une fraude d’identité quelconque, ce qu’il n’a pas fait [as the court decision found], il ne l’aurait fait qu’en tant que chauffeur-livreur, mais TfL a révoqué le [private hire] de toute façon », a-t-il dit. « Il ne faisait aucun doute qu’il avait fait quoi que ce soit de mal alors qu’il agissait en tant que conducteur titulaire d’un permis. »

Computer Weekly a demandé à Uber s’il aimerait commenter les raisons pour lesquelles les comptes Eats et driver ont été désactivés, mais n’a reçu aucune réponse.

À la suite des conclusions du tribunal, le conducteur s’est également vu accorder ses frais de justice contre TfL, que Farrar a qualifié d’«extraordinaire ». « Habituellement, ils sont à l’abri des réclamations de coûts parce que, si vous êtes une autorité de délivrance de permis en tl’intérêt de la sécurité publique, ce n’est que dans des circonstances exceptionnelles qu’un coût sera accordé contre vous pour une décision de licence défavorable, même si elle est annulée », a-t-il déclaré.

En publiant une réponse générale aux questions de Computer Weekly, un porte-parole de TfL a déclaré: « La sécurité du public voyageur est notre priorité absolue et lorsque nous sommes informés de cas de fraude d’identité du conducteur, nous prenons des mesures immédiates pour révoquer un permis de conduire afin que la sécurité des passagers ne soit pas compromise. »

On a également demandé à Uber s’il aimerait répondre à la décision, mais Computer Weekly n’a reçu aucune réponse.

Pas un incident isolé

Le sort du chauffeur de l’ADCU dont le tribunal de première instance a entendu parler ce mois-ci est loin d’être un incident isolé, en ce qui concerne les chauffeurs Uber qui perdent leur permis à la suite d’erreurs de reconnaissance faciale.

En mars 2021, l’ADCU et sa fiducie de données associée, Workers Info Exchange (WIE), ont déclaré avoir identifié sept autres cas de chauffeurs Uber perdant leur emploi et dont le permis a été révoqué par TfL parce que le système de vérification d’identité en temps réel de l’entreprise ne reconnaissait pas leur visage.

Incidemment, lorsque TfL a été invitée à commenter la décision de juillet 2021, elle a fait une demande avortée pour le nom du conducteur afin de prouver qu’elle commentait le cas correct, ce qui donne une indication sur le nombre de cas de cette nature dans lesquels il est impliqué.

L’ADCU n’a pas souhaité divulguer le nom du conducteur à Computer Weekly par crainte qu’ils puissent faire face à des répercussions de TfL.

Quant à savoir pourquoi l’outil de vérification faciale d’Uber peut être considéré comme sujet aux erreurs, les recherches sur les systèmes de Microsoft, ainsi que sur les actions de Microsoft lui-même, suggèrent qu’il existe des préjugés contre des groupes particuliers, en particulier les personnes de couleur et les femmes.

En 2018, une recherche du MIT a indiqué que les systèmes de reconnaissance faciale et de détection de Microsoft – en particulier l’API Visage utilisée par Uber – avaient des préjugés sexistes et raciaux, constatant qu’il avait des taux d’erreur beaucoup plus élevés lors de l’identification des femmes ou des personnes à la peau plus foncée.

« Les disparités substantielles dans la précision de la classification des femelles plus sombres, des femelles plus claires, des mâles plus foncés et des mâles plus clairs dans les systèmes de classification des sexes nécessitent une attention urgente si les entreprises commerciales veulent construire des algorithmes d’analyse faciale véritablement équitables, transparents et responsables », ont déclaré les auteurs Joy Buolamwini et Timnit Gebru.

Ventes suspendues

En juin 2020, Microsoft – aux côtés d’Amazon et d’IBM – a suspendu les ventes de ses technologies de reconnaissance faciale aux forces de l’ordre américaines en réponse à plusieurs semaines de manifestations de masse contre le meurtre de George Floyd par la police le 25 mai.

Le président de Microsoft, Brad Smith, a précédemment déclaré à ITV en janvier 2019 que l’un des défis de la technologie dans sa forme actuelle était qu’elle « ne fonctionne pas aussi bien pour les femmes que pour les hommes, elle ne fonctionne pas aussi bien pour les personnes de couleur », ajoutant qu’elle était plus susceptible de trouver des erreurs, des incohérences et généralement de « ne pas identifier » les personnes de ces groupes.

Commentant les allégations du syndicat concernant le système real-time ID Check d’Uber lorsqu’elles ont été faites pour la première fois en mars, un porte-parole de Microsoft a déclaré que l’entreprise était « engagée à tester et à améliorer l’API Face, en accordant une attention particulière à l’équité et à son exactitude dans tous les groupes démographiques ».

« Nous fournissons également à nos clients des conseils détaillés pour obtenir les meilleurs résultats et des outils qui les aident à évaluer l’équité de leur système. »

Un porte-parole d’Uber a ajouté que le système a été conçu pour protéger la sécurité des passagers en s’assurant que le bon chauffeur ou le bon messager utilise le compte.

« Bien qu’aucune technologie ou processus ne soit parfait et qu’il y ait toujours place à l’amélioration, nous pensons que la technologie, combinée au processus approfondi en place pour assurer un minimum de deux examens humains manuels avant toute décision de retirer un conducteur, est juste et importante pour la sécurité de notre plate-forme », ont-ils déclaré.

Dans une lettre d’avril 2021 envoyée directement à l’ADCU – qui a également été partagée avec Computer Weekly – Microsoft a déclaré au syndicat « les erreurs dans le processus d’examen humain associées à la mise en œuvre par Uber de notre technologie de reconnaissance faciale ne fournissent pas de base pour Que Microsoft mette fin à sa licence d’utilisation de la technologie, en particulier lorsqu’Uber a reconnu l’échec et s’engage à l’amélioration ».

Dans le cadre d’une enquête pour Wired à partir de début mars 2021, 14 autres coursiers d’Uber Eats ont partagé des preuves avec le journaliste Andrew Kersley qui ont montré comment la technologie n’a pas reconnu leurs visages, entraînant des menaces de résiliation et de fermeture de compte.

En ce qui concerne l’impact sur les conducteurs, Farrar a déclaré: « Ils ont dû soit se rabattre sur le crédit universel, soit essayer de trouver des somse d’autres moyens de travail, et n’ont pas été en mesure de l’obtenir – il a eu un effet dévastateur et beaucoup de ces gars sont les principaux soutiens de famille ainsi ».

Computer Weekly a demandé à Uber s’il souhaite commenter l’affirmation selon laquelle son logiciel de vérification faciale a conduit à la désactivation injustifiée des comptes de plusieurs chauffeurs, mais n’a reçu aucune réponse.

Le conducteur est tiré par d’autres processus automatisés

L’ADCU fait également appel d’une série d’autres décisions de révocation de licence de TfL devant la Magistrate’s Court, qui sont également basées sur des informations erronées qui ont conduit à des accusations de fraude de la part d’Uber.

En avril 2021, par exemple, Uber a reçu l’ordre, dans un jugement par défaut, du tribunal de district d’Amsterdam (où se trouve le siège européen d’Uber) de réintégrer six chauffeurs parce que la décision de désactiver leurs comptes et de résilier leur emploi était « basée uniquement sur un traitement automatisé, y compris le profilage », ce qui va à l’encontre de l’article 22 du règlement général sur la protection des données (RGPD).

Le chauffeur abdifatah abdalla, basé à Londres, par exemple, a affirmé qu’il avait été accusé, sans fournir de preuves, d’avoir partagé les détails de son compte avec un tiers lorsque l’application a détecté deux tentatives de connexion à partir d’endroits différents entraînant sa désactivation

Son permis de location privée a été révoqué par TfL un mois plus tard, le laissant incapable de conduire pour d’autres applications de covoiturage telles que Kapten et Bolt.

Le même mois, le tribunal de première instance de la ville de Londres a ordonné séparément à TfL de rétablir la licence de location privée d’Abdalla, concluant qu’«aucune enquête n’a eu lieu », et a en outre critiqué la « volonté du régulateur d’accepter » les preuves fournies par Uber.

Appels

Tous les conducteurs impliqués dans l’affaire d’Amsterdam doivent maintenant faire appel séparément des décisions de TfL en matière de permis devant le tribunal de première instance du Royaume-Uni, car la révocation immédiate d’un permis signifie qu’il ne peut pas être fait appel au niveau de TfL, a déclaré Farrar.

« Dès que TfL a reçu ces avis de licenciement [from Uber], il a adopté une vision très dure qu’il s’agissait de menaces à la sécurité et a immédiatement révoqué ces licences », a déclaré Farrar. « Normalement, la révocation immédiate serait pour quelque chose comme la violence physique ou sexuelle, mais dans ces cas, TfL a dit qu’ils étaient immédiats et que ces chauffeurs et aucun préavis – juste ‘boom’, kafkaïen, vous êtes désactivé d’Uber et vous avez perdu votre permis.

« Nous [now] doivent se retourner séparément et se battre pour la restauration des licences … faire appel au magistrat pour revoir les décisions de TfL, mais pour ce faire, la barre est assez haute parce que vous devez prouver que la décision est fausse … il ne s’agit pas seulement de présenter un point de vue alternatif, vous devez atteindre une norme.

Computer Weekly a demandé à TfL s’il souhaite commenter le fait que plusieurs décisions de magistrats ont conclu qu’il s’était fondé uniquement sur des preuves d’Uber sans mener sa propre enquête en tant qu’autorité de délivrance de licences sur les événements réels, mais n’a reçu aucune réponse sur ce point.

Mise en œuvre précipitée de la vérification faciale

L’ADCU a déjà affirmé, et maintient, qu’Uber s’est empressé de mettre en œuvre son système d’identification dans le but de reconquérir sa licence d’exploitation londonienne après que TfL a décidé fin 2019 qu’elle ne serait pas renouvelée en cas de problèmes avec des chauffeurs non autorisés utilisant la plateforme.

Les preuves fournies à TfL par Uber lors de son appel en matière de licences en septembre 2020 ont montré qu’en raison de défaillances dans le processus d’identification manuelle de l’entreprise, celle-ci avait commencé à déployer le système à partir d’avril 2020.

« TfL s’est activement intéressé à [Uber’s] les propositions relatives à ce produit. Il y a des avantages évidents au produit et TfL prend en charge toute technologie qui augmente la sécurité des passagers en s’assurant que le conducteur est autorisé par TfL et autorisé à utiliser l’application Uber », a écrit helen Chapman, directrice des licences, de la réglementation et de la facturation de TfL, dans sa déclaration de témoin.

« Je considère l’utilisation de ce produit comme un pas dans la bonne direction, même s’il est clair que sa mise en œuvre n’en est encore qu’à ses débuts », a déclaré Chapman. « Je ne peux donc pas faire de commentaires significatifs sur son efficacité à ce stade. »

Elle a ajouté que TfL avait reçu d’Uber une évaluation d’impact sur la protection des données (AIPD) pour le système en mars 2020.

Les AIPD sont remarquables parce qu’elles sont conçues pour accroître la sensibilisation aux questions de confidentialité et de protection des données au sein des organisations, et leur permettent non seulement de se conformer aux lois pertinentes, mais aussi d’identifier et de résoudre tout problème à un stade précoce avant qu’un préjudice ne soit causé.

« Une AIPD n’est pas simplement une approbation automatique ou une technicité dans le cadre d’un processus d’approbation. Il est essentiel de réintégrer les résultats de votre AIPD dans votre plan de projet », indique le Bureau du commissaire à l’information (ICO) dans ses directives sur la réalisation des AIPD. « Vous ne devriez pas considérer une AIPD comme un exercice ponctuel à classer. Une AIPD est un processus « vivant » qui vous aide à gérer et à examiner les risques du traitement et les mesures que vous avez mises en place sur une base continue.

Lettre au maire

En mars 2021, l’ADCU, WEI et le groupe de défense des droits numériques Big Brother Watch ont cosigné une lettre au maire de Londres Sadiq Khan concernant le cas d’un autre conducteur mal identifié par real-time ID Check.

Dans celui-ci, ils ont affirmé que TfL avait « exercé une pression importante sur Uber, sous la menace de perdre sa licence, pour introduire rapidement la technologie de reconnaissance faciale à Londres », ajoutant qu’il avait également refusé de partager le DPIA avec l’ADCU.

« Nous sommes d’avis que l’utilisation obligatoire d’une telle technologie ne peut être justifiée et est totalement disproportionnée par rapport au risque. Dans les preuves présentées par TfL lors de l’appel de licence d’Uber, seuls 21 chauffeurs ont partagé l’accès à leur application de chauffeur sur les 90 000 analysés sur plusieurs années. Cela n’était possible à l’époque qu’en raison d’un problème de sécurité dans l’application d’Uber qui a depuis été rectifié », a déclaré la lettre, consultée par Computer Weekly.

« L’utilisation actuelle de cette technologie intrusive, inexacte et dangereuse est disproportionnée et inutile puisqu’il existe d’autres moyens plus proportionnés d’atteindre le même objectif. La promotion par TfL des niveaux orwelliens de surveillance de 100 000 Londoniens travaillant dans l’économie à la demande n’est pas une réponse raisonnable ou proportionnée à l’échec de l’employeur à la demande à auditer et à tester la sécurité de leurs systèmes.

Il a ajouté: « Les freins, les équilibres et la diligence raisonnable ont échoué à tous les niveaux. TfL a adopté toutes les garanties d’une procédure régulière dans sa course politique pour être perçue comme une autorité d’application agressive.

Compte tenu des multiples rapports d’erreurs d’identification conduisant, à leur tour, à des désactivations par Uber et à des révocations de licences par TfL, Computer Weekly a demandé à l’organisme de réglementation s’il soutenait toujours le déploiement de la technologie, mais n’a reçu aucune réponse sur ce point.

Computer Weekly a également demandé à TfL s’il souhaitait commenter l’affirmation de l’ADCU selon laquelle elle avait exercé une pression importante sur Uber pour qu’elle introduise la technologie de reconnaissance faciale, mais n’a de nouveau reçu aucune réponse.