L’examen minutieux de l’IA nécessite des audits holistiques de bout en bout des systèmes

Qu’est-ce qu’un audit socio-technique ?

Gemma Galdon-Clavell, présidente de la conférence et directrice d’Eticas, a déclaré: « Les systèmes techniques, lorsqu’ils sont basés sur des données personnelles, ne sont pas seulement techniques, ils sont socio-techniques, car les données proviennent de processus sociaux. »

Elle a donc décrit un audit socio-technique comme « une enquête de bout en bout sur le fonctionnement d’un système, à partir du moment où vous choisissez les données qui vont entraîner votre système, jusqu’au moment où la décision algorithmique est gérée par un être humain » ou qui a un impact sur quelqu’un.

Elle a ajouté que si les organisations se concentrent uniquement sur les aspects techniques d’un système et oublient l’interaction sociale que le système produit, « vous n’auditez pas vraiment [because] Vous ne regardez pas les préjudices, vous ne regardez pas le contexte ».

Cependant, le consensus parmi les participants à la conférence était que les organisations ne parviennent pas actuellement à interroger de manière significative leurs systèmes.

Shea Brown, PDG de BABL AI, a donné l’exemple de l’humain dans la boucle comme un aspect souvent négligé des audits socio-techniques, malgré une quantité importante de risques introduits dans le système lorsque les humains interviennent dans une décision automatisée.

« La plupart des risques que nous trouvons, même au-delà de choses comme les préjugés, sont les endroits où l’algorithme interagit avec une personne », a-t-il déclaré. « Donc, si vous ne parlez pas à cette personne, [you can’t] Déterminez ce que vous comprenez de ce que cet algorithme vous dit, comment l’interprétez-vous, comment l’utilisez-vous?

Une autre partie importante du problème est le fait que les systèmes d’IA sont souvent développés de manière aléatoire, ce qui rend beaucoup plus difficile la réalisation d’audits socio-techniques ultérieurs.

« Si vous passez du temps dans des entreprises technologiques, vous apprenez rapidement qu’elles ne savent souvent pas ce qu’elles font », a déclaré Jacob Metcalf, chercheur en éthique technologique chez Data & Society, ajoutant que les entreprises ne connaîtront souvent pas d’informations de base telles que si leurs ensembles de formation à l’IA contiennent des données personnelles ou leur composition démographique.

« Il y a des problèmes de gouvernance vraiment fondamentaux autour de l’IA, et l’idée est que ces évaluations vous obligent à avoir la capacité et l’habitude de demander: » Comment ce système est-il construit et que fait-il réellement dans le monde? »

Galdon-Clavell a ajouté que, d’après son expérience de l’audit chez Eticas, « les gens ne documentent pas pourquoi les choses sont faites, donc quand vous devez auditer un système, vous ne savez pas pourquoi les décisions ont été prises… Tout ce que vous voyez, c’est le modèle, vous n’avez pas accès à la façon dont cela s’est produit ».

Une méthodologie standardisée pour les tests contradictoires

Pour lutter contre le manque de connaissances internes sur la manière dont les systèmes d’IA sont développés, les experts en audit ont convenu de l’urgence d’une méthodologie standardisée pour mener un audit socio-technique.

Ils ont ajouté que, bien qu’il n’existe pas actuellement de méthodologie normalisée, elle devrait inclure des mesures pratiques à prendre à chaque étape du processus d’audit, mais ne pas être normative au point de ne pas tenir compte de la nature hautement contextuelle de l’IA.

Cependant, l’universitaire des droits numériques Michael Veale a déclaré que la normalisation est un processus délicat lorsqu’il s’agit de répondre à des questions intrinsèquement sociales.

« Une tendance très inquiétante à l’heure actuelle est que des législateurs tels que la Commission européenne poussent les choix chargés de valeurs autour des droits fondamentaux dans les OEN. [standards development organisations]», a-t-il déclaré, ajoutant que ces organismes ont le devoir de repousser et de refuser tout mandat leur permettant de fixer des normesds autour de questions sociales ou politiques.

« Je pense que l’étape consiste vraiment à dire: » Eh bien, quelles choses pouvons-nous standardiser? « . Il peut y avoir des aspects procéduraux, il peut y avoir des aspects techniques qui conviennent à cela. [but] il est très dangereux de se retrouver dans une situation où vous séparez le politique du technique – ils sont très profondément liés dans les systèmes algorithmiques », a ajouté Veale.

« Beaucoup de nos angoisses autour des algorithmes représentent nos préoccupations avec nos situations sociales et nos sociétés. Nous ne pouvons pas transmettre ces préoccupations aux organismes de normalisation pour qu’ils les uniformisent – cela entraînerait une crise de légitimité. »

Un autre risque de la normalisation prescriptive, selon Brown, est que le processus descend dans un exercice glorifié de cocher des cases. « Il y a un danger que les interrogatoires cessent et que nous perdions la capacité de vraiment nous attaquer aux préjudices s’ils deviennent standardisés », a-t-il déclaré.

Pour éviter que les audits socio-techniques ne deviennent de simples exercices de cocher des cases, ainsi que pour s’assurer que les personnes impliquées n’abusent pas autrement du processus, Galdon-Calvell a postulé que les audits devraient être de nature contradictoire.

« Vous pouvez avoir des audits qui sont effectués par des personnes extérieures au système, en exploitant les possibilités du système d’être rétro-conçu, et donc par des approches contradictoires que vous pourriez exposer lorsque les audits ont été utilisés comme un exercice de case à cocher, ou comme un exercice d’inspection non significatif », a-t-elle déclaré, ajoutant qu’Eticas et d’autres personnes présentes discuteraient de la façon dont ce processus pourrait fonctionner dans les semaines à venir.

Les difficultés du secteur public

Les problèmes liés à l’audit sociotechnique sont également exacerbés pour les organisations du secteur public car, même si un fournisseur d’IA a documenté de manière adéquate le processus de développement, il n’a pas la capacité de l’examiner ou est empêché d’inspecter le système en raison de droits de propriété intellectuelle (PI) restrictifs.

« Dans de nombreux cas, la documentation n’existe tout simplement pas pour que les gens du secteur public puissent comprendre ce qui se passe, ou elle n’est pas transférée, ou il y a trop de documentation et personne ne peut la comprendre », a déclaré Divij Joshi, chercheur doctorant à l’University College London.

« Quand les gens ne veulent pas vous dire comment [an algorithm] fonctionne, c’est soit parce qu’ils ne veulent pas, soit parce qu’ils ne savent pas. Je ne pense pas que l’un ou l’autre soit acceptable »

« C’est assez effrayant pour moi que dans le secteur public, les agences qui devraient être dûment habilitées par divers types de réglementations à inspecter les technologies qu’elles achètent, ne soient pas en mesure de le faire … en raison des droits de propriété intellectuelle. »

Ramak Molavi, chercheur principal à la Fondation Mozilla, a également critiqué la configuration des marchés publics, ajoutant que le manque général de connaissances du secteur public en matière d’IA signifie qu’ils « sont totalement dépendants des fournisseurs de connaissances, ils prennent [what they say] Comme réalité – ils ont une opinion, mais pour eux, ce n’est pas une opinion, c’est une description ».

Donnant l’exemple d’un gouvernement d’État local en Australie qui avait contracté un système de protection sociale alimenté par l’IA auprès d’un fournisseur privé, Jat Singh, professeur de recherche à l’Université de Cambridge, a ajouté que, après que des fonctionnaires se soient vu refuser l’accès pour inspecter une décision particulière en matière de bien-être sur la base de la propriété intellectuelle, le gouvernement de Nouvelle-Galles du Sud a simplement introduit une nouvelle disposition dans le processus d’appel d’offres qui signifiait que l’entreprise devait renoncer à l’information.

Au cours de l’enquête de la commission des affaires intérieures et de la justice de la Chambre des Lords sur l’utilisation de technologies algorithmiques avancées par la police britannique, Sandra Wachter, professeur de technologie et de réglementation à l’Oxford Internet Institute, a fait valoir un point similaire, affirmant que les acheteurs du secteur public devraient utiliser leur pouvoir d’achat pour exiger l’accès aux systèmes des fournisseurs afin de tester et de prouver leurs affirmations sur, par exemple, l’exactitude et le biais.

« Quand les gens ne veulent pas vous dire comment [an algorithm] fonctionne, c’est soit parce qu’ils ne veulent pas, soit parce qu’ils ne savent pas. Je ne pense pas que l’un ou l’autre soit acceptable, en particulier dans le secteur de la justice pénale », a-t-elle déclaré, ajoutant que si un équilibre doit être trouvé entre les intérêts commerciaux et la transparence, les gens ont le droit de savoir comment les décisions qui changent la vie à leur sujet sont prises.

« Quand les gens dis-le ne concernent que les secrets commerciaux, je ne pense pas que ce soit une réponse acceptable. Quelqu’un doit comprendre ce qui se passe réellement. L’idée que la liberté et la liberté peuvent être éclipsées par des intérêts commerciaux, je pense, serait irresponsable, surtout s’il existe un moyen de trouver un bon terrain d’entente où vous pouvez pleinement comprendre ce que fait un algorithme… sans révéler tous les secrets commerciaux. »

Limites de l’audit

Galdon-Clavell a déclaré que l’audit devrait être considéré comme un outil parmi d’autres – bien qu’important – pour rendre le déploiement de l’IA plus responsable.

« L’audit de l’IA est au cœur des efforts visant à garantir que les principes que nous avons développés autour de l’IA sont traduits en pratiques spécifiques qui signifient que les technologies qui prennent des décisions concernant nos vies passent par un processus visant à garantir que ces décisions sont justes, acceptables et transparentes », a-t-elle déclaré.

« L’audit de l’IA est au cœur des efforts visant à garantir que… Les technologies qui prennent des décisions concernant nos vies passent par un processus visant à s’assurer que ces décisions sont justes, acceptables et transparentes.

Jennifer Cobbe, associée de recherche à l’Université de Cambridge, a ajouté qu’il était important de se rappeler que l’audit seul ne peut pas résoudre tous les problèmes liés au fonctionnement de l’IA, et que même les audits les mieux intentionnés ne peuvent pas résoudre les problèmes avec des systèmes qui sont intrinsèquement nuisibles aux personnes ou aux groupes de la société.

« Nous devons réfléchir aux types de choses qui vont au-delà de ces mécanismes, ainsi qu’au contrôle démocratique. Quel genre de choses disons-nous simplement ne pas être permises dans une société démocratique, parce qu’il y en a tout simplement trop dangereux ? », a-t-elle déclaré.

Alors que l’actuelle loi européenne sur l’IA, par exemple, a tenté de tracer des lignes rouges autour de certains cas d’utilisation de l’IA considérés comme « un risque inacceptable » – y compris les systèmes qui faussent le comportement humain ou ceux qui permettent l’identification biométrique à distance et en temps réel des personnes dans les lieux publics – les critiques ont déjà partagé des préoccupations selon lesquelles l’interdiction ne s’étend pas à l’utilisation de l’IA par les forces de l’ordre.

Outre l’interdiction de certains cas d’utilisation de l’IA, l’audit doit également être accompagné de mesures supplémentaires si l’on veut que les systèmes soient considérés comme fiables à distance.

« Un objectif crucial et souvent négligé de la vérification et de l’évaluation est de donner aux parties lésées ou aux communautés touchées l’occasion de contester la façon dont le système a été construit et ce qu’il fait », selon Metcalf. « Si le but de l’évaluation est de réduire les dommages, alors la façon dont l’évaluation est structurée doit permettre aux parties touchées d’exiger un changement. »

Il a ajouté que l’objectif final était un plus grand contrôle démocratique de l’IA et d’autres technologies algorithmiques : « C’est un moment où nous devons affirmer le droit de contrôler démocratiquement ces systèmes. L’IA est pour que les gens aient une vie meilleure. Ce n’est pas aux entreprises de limiter notre avenir. »

Les exigences d’audit socio-technique devraient également, selon Molavi de Mozilla, être accompagnées d’une application stricte. « C’est une question politique de savoir si vous voulez financer l’application de la loi ou non », a-t-elle déclaré, ajoutant que dans les domaines de la protection de la vie privée et des données, par exemple, « nous n’avons presque personne qui applique la loi ».