Eticas décrit l’approche de l’audit algorithmique « accusatoire »

Constatations et réponses de l’audit

En regardant les audits menés jusqu’à présent, Eticas a affirmé que l’algorithme de YouTube renforce une vision déshumanisante et stéréotypée des migrants (qui, selon elle, sont généralement représentés comme de grands groupes de personnes non blanches avec leurs visages occlus, contrairement aux « réfugiés » qui, selon elle, sont plus souvent représentés comme de petits groupes de personnes blanches avec des visages clairement visibles); tandis que l’algorithme de TikTok privilégie tout contenu contenant un discours politique sur la migration en faveur d’un contenu clairement axé sur le « divertissement ».

Le rapport d’accompagnement de l’audit a noté que cela « conduit à la conclusion que l’algorithme de TikTok ne façonne pas activement la substance du discours politique sur la migration, mais qu’il semble réguler sa visibilité globale via son système de recommandation et son mécanisme de personnalisation ».

Dans son audit de VTC, Eticas a déclaré avoir constaté un manque général de transparence dans l’utilisation d’algorithmes par les trois entreprises dans le paiement et le profilage des travailleurs (soulevant des préoccupations quant au respect du droit du travail) et a noté que leurs algorithmes de tarification semblent s’entendre sur certaines routes vitales à travers les grandes villes, ce qui suggère à son tour « une fixation indirecte des prix par des moyens algorithmiques ».

Il a également constaté que l’algorithme d’Uber pouvait potentiellement discriminer en fonction des caractéristiques socio-économiques d’un quartier, réduisant ainsi la disponibilité du service dans les zones à faible revenu d’une manière qui pourrait constituer une violation de la loi générale espagnole sur la protection des consommateurs et des utilisateurs.

Commentant l’audit contradictoire, un porte-parole de YouTube a déclaré: « Alors que les téléspectateurs peuvent rencontrer des débats sur des questions telles que la politique d’immigration sur YouTube, les discours de haine ne sont pas autorisés sur la plate-forme. Notre politique en matière de discours de haine, que nous appliquons rigoureusement, interdit spécifiquement les contenus qui encouragent la violence ou la haine contre les personnesou groupes en fonction d’attributs tels que leur statut d’immigration, leur nationalité ou leur origine ethnique.

Cabify a également contesté le résultat de l’audit d’Eticas : « Cabify fixe ses tarifs sur le marché indépendamment des autres opérateurs, en suivant sa propre politique de prix et son propre algorithme, disponible pour tous sur son site Web. En ce sens, Cabify réitère que les prix n’ont jamais été fixés avec aucune autre entreprise technologique, comme déjà accrédité par la CNMC en 2020.

« Cabify peut garantir que son exploitation ne viole en aucun cas la loi de défense de la concurrence, niant ainsi l’affirmation qui, avec d’autres entreprises du secteur, ont fixé directement ou indirectement des conditions commerciales ou de service. »

Cabify a ajouté que, en ce qui concerne les préoccupations soulevées par Eticas concernant le respect des droits du travail par la plate-forme en Espagne, les conditions de travail des conducteurs sont fixées par les entreprises titulaires des licences d’exploitation: « Cabify exige de ses flottes collaboratrices qu’elles se conforment de manière exhaustive à la réglementation applicable, même en prévoyant cela comme une cause de résiliation des contrats », a-t-il déclaré.

CFP a également contacté TikTok, Uber et Bolt au sujet des audits, mais les entreprises n’ont pas répondu.

Le processus d’audit accusatoire

Nalbantova a noté que si chaque audit différait nécessairement en fonction du contexte du système en question et de la question étudiée, ainsi que du niveau d’information disponible pour Eticas en tant que tiers externe, l’approche sous-jacente consiste toujours à considérer les algorithmes et l’IA comme des systèmes socio-techniques.

« Nous venons de la conscience que tout type d’algorithme, tout type de système d’IA, utilise des données qui sont informées par ce qui se passe dans la société, puis les résultats de ces processus algorithmiques affectent la société à leur tour, donc c’est une communication et une interaction bidirectionnelles là-bas », a déclaré Nalbantova.

« C’est pourquoi tout audit contradictoire devrait intégrer à la fois des éléments sociaux et techniques, et la façon dont cet élément technique pourrait ressembler dépend beaucoup du système audité et de l’approche que les auditeurs ont décidé d’adopter dans ce cas particulier. »

Malgré la variance nécessaire dans les détails des audits individuels, Eticas s’est efforcé de systématiser une méthodologie d’audit contradictoire que d’autres peuvent utiliser comme cadre reproductible pour commencer à étudier les impacts sociaux d’un algorithme donné. Nalbantova a déclaré que bien que la création de cette méthodologie soit « un processus itératif et agile », Eticas a été en mesure d’identifier les étapes communes que chaque audit contradictoire devrait prendre pour atteindre un haut niveau de rigueur, de cohérence et de transparence.

« La première étape consiste évidemment à choisir le système et à s’assurer qu’il s’agit d’un système ayant un impact, et d’un système auquel vous pouvez accéder d’une manière ou d’une autre », a-t-elle déclaré, ajoutant que ces « points d’accès » pourraient inclure les communautés touchées à interroger, l’interface publique d’un système Web ou basé sur une application, ou des bases de données de code source ouvertes (bien que cela soit très rare).

À partir de là, les auditeurs devraient commencer une « analyse contextuelle » pour commencer à comprendre le système et la façon dont il interagit avec l’environnement juridique, social, culturel, politique et économique dans lequel il fonctionne, ce qui les aide à formuler une hypothèse initiale de ce qui se passe sous le capot. Cette analyse contextuelle devrait également être répétée en continu au fur et à mesure que l’audit progresse.

Eticas s’adresse ensuite directement aux organisations qui développent et déploient les systèmes, afin qu’elles aient également la possibilité de s’impliquer dans le processus, mais donne la priorité à l’engagement et à la « construction d’alliances » avec les personnes et les communautés touchées.

« Une étape sur laquelle nous insistons dans notre méthodologie est l’implication des communautés touchées. Ainsi, dans certains cas, les communautés touchées sont venues nous voir avec un problème qu’elles ne savent peut-être pas comment examiner », a-t-elle déclaré. « Par exemple, avec notre audit des applications de VTC, il s’agissait d’un partenariat organique avec deux organisations, le Taxi Project et Observatorio TAS, qui défendent les droits des travailleurs dans le secteur des taxis. »

Tout cela implique également une « évaluation de faisabilité » de l’audit et si elle peut aller de l’avant de manière réaliste, car s’il n’y a pas de points d’accès identifiés, ou si les auditeurs ne peuvent pas légalement obtenir les données nécessaires, alors cela peut même ne pas être possible.

Une fois que les auditeurs ont identifié un système, effectué une analyse contextuelle, approché diverses parties prenantes et évalué la faisabilité globale de l’audit, Nalbantova a déclaré que l’étape finale consiste à concevoir une méthodologie pour l’audit qui couvre la collecte et l’analyse des données, qui se termine par l’examen des atténuations possibles et des recommandations pour tout effet néfaste identifié.

« Ce processus n’est pas sans défis, et il nécessite beaucoup de créativité.Mais nous avons constaté que ces étapes répondent plus ou moins à la plupart des problèmes qui surviennent lors de la planification et de l’exécution d’un audit contradictoire et peuvent être adaptées à différents systèmes », a-t-elle déclaré.

Garder l’esprit ouvert

Dans son rapport sur l’audit de TikTok, Eticas a noté que si l’algorithme de l’entreprise n’a pas détecté les intérêts politiques des utilisateurs pour la personnalisation aussi rapidement que prévu initialement (choisissant plutôt de donner la priorité au contenu « divertissement » quelles que soient les opinions politiques d’un utilisateur), les enquêtes du Wall Street Journal et de NewsGuard de 2021 et 2022 respectivement ont révélé tout le contraire.

Ces enquêtes « ont toutes deux trouvé des preuves que l’algorithme de TikTok capte l’utilisateur implicite [political] Intérêts peu de temps après la création du compte et organise rapidement des flux de recommandations hautement personnalisés [within 40 minutes to two hours]», a-t-il déclaré.

« Avec cela, les résultats de notre audit et d’autres études récentes semblent suggérer que le niveau de personnalisation du système de recommandation de TikTok a été ajusté au cours de la dernière année. »

Nalbantova a ajouté que bien que les résultats aient été inattendus, ils illustrent que les algorithmes évoluent avec le temps et la nécessité de réévaluer continuellement leurs impacts.

« Parfois, ils sont très dynamiques et changent très rapidement… C’est pourquoi il est si important que tout processus d’audit soit vraiment transparent et public afin qu’il puisse être reproduit par d’autres, et qu’il puisse être testé de plus en plus », a-t-elle déclaré.

« Nous n’avons pas de délai précis pour la répétition des audits contradictoires, mais pour les audits internes, par exemple, nous recommandons au moins une fois par an ou idéalement deux fois par an, de sorte qu’un délai similaire pourrait être utilisé. »

Elle a ajouté que pour les algorithmes des médias sociaux, qui « changent tout le temps », les audits devraient être encore plus réguliers.

Cependant, Patricia Vázquez Pérez, responsable du marketing, des relations publiques et des communications chez Eticas, a noté que la réponse des entreprises à leurs audits faisait défaut.

En réponse à la vérification des services de covoiturage, par exemple, elle a noté que Cabify avait eu une « forte réponse » et a tenté de discréditer la rigueur du rapport et de remettre en question ses conclusions.

« Habituellement, avant de faire un audit, nous entrons en contact avec cette entreprise, essayant d’exposer les hypothèses initiales de ce que nous pensons qu’il pourrait se passer, et la plupart du temps, nous obtenons le silence », a-t-elle déclaré.

« Parfois, après la publication du rapport et des audits, nous recevons des réponses négatives de la part des entreprises. Ils n’ont jamais été ouverts à dire : « D’accord, maintenant que vous avez publié ceci, nous sommes ouverts à vous montrer notre code pour un audit interne » – ils n’ont jamais voulu cela. »

Nalbantova a déclaré que les audits contradictoires d’Eticas montrent que les entreprises ne s’engagent à la transparence qu’en théorie: « Les entreprises ne le disent qu’en principe et ne font rien dans la pratique. »

Elle a toutefois ajouté qu’Eticas s’efforcera toujours de fournir des mesures d’atténuation possibles pour les problèmes identifiés par les audits, même lorsque les entreprises réagissent négativement aux résultats d’un audit.

CFP a contacté Cabify pour savoir si elle réagissait à l’audit d’Eticas et si elle travaillerait aux côtés d’auditeurs externes à l’avenir : « Cabify réitère son engagement envers les consommateurs et les institutions à offrir un service transparent, équitable et de qualité qui favorise une mobilité durable et accessible et améliore la vie dans les villes. La société a coopéré et continuera de coopérer avec les administrations et autorités publiques, étant à leur entière disposition pour toute consultation ou demande d’information. »

Toutes les autres entreprises auditées ont également été interrogées pour savoir si elles travailleraient aux côtés d’Eticas ou d’autres auditeurs externes à l’avenir, mais aucune n’a répondu sur ce point.

Eticas travaille actuellement à l’élaboration d’un guide pour l’audit contradictoire qui détaille sa méthodologie et qu’elle prévoit de publier dans les mois à venir.

Nalbantova a déclaré qu’il contiendrait des informations sur toutes les étapes nécessaires pour mener un audit contradictoire, quelles méthodes utiliser (ainsi que comment et quand), des détails sur les forces et les limites de l’approche d’audit contradictoire. Tout cela se ferait avec l’idée d’aider à intégrer la pratique tout en maintenant des niveaux élevés de rigueur et de transparence tout au long du processus.

« Avec ce guide, ce que nous essayons de faire, c’est de donner aux chercheurs en sciences sociales, aux journalistes, aux scientifiques des données des organisations de la société civile, aux utilisateurs, en particulier aux membres des communautés touchées, les moyens de devenir des auditeurs », a-t-elle déclaré. « Nous pensons que peu importe qui effectue réellement l’audit autant que la méthodologie qu’ils suivent. »