Obligations algorithmiques de transparence nécessaires dans le secteur public

Le gouvernement devrait forcer les organismes du secteur public à faire preuve de plus de transparence quant à leur utilisation d’algorithmes qui prennent des décisions « affectant la vie » à l’sujet des individus, indique un examen des biais algorithmiques.

Publié par le Centre for Data Ethics and Innovation (CDEI), l’organe consultatif du gouvernement britannique sur l’utilisation responsable de l’intelligence artificielle (IA) et d’autres technologies axées sur les données, l’examen de 151 pages propose un certain nombre de mesures que le gouvernement, les régulateurs et l’industrie peuvent mettre en place pour atténuer les risques associés aux biais dans la prise de décisions algorithmiques.

« Il est essentiel que nous travaillions dur maintenant pour bien faire les choses à mesure que l’adoption de la prise de décision algorithmique augmente », a déclaré Adrian Weller, membre du conseil d’administration de l’IDC. « Le gouvernement, les organismes de réglementation et l’industrie doivent travailler en collaboration avec des experts interdisciplinaires, des intervenants et le public pour s’assurer que les algorithmes sont utilisés pour promouvoir l’équité, et non la saper.

« Le Centre for Data Ethics and Innovation a défini aujourd’hui une série de mesures pour aider le Royaume-Uni à y parvenir, en se concentrant sur l’amélioration de la transparence et de la responsabilisation dans les processus décisionnels qui ont un impact significatif sur les individus. Non seulement le rapport propose-t-il une feuille de route pour s’attaquer aux risques, mais il met en évidence la possibilité qu’une bonne utilisation des données présente pour remédier à l’injustice historique et éviter de nouveaux préjugés dans des domaines clés de la vie.

L’examen note que le biais peut entrer dans les systèmes de prise de décision algorithmiques de plusieurs façons. Il s’agit notamment de préjugés historiques, dans lesquels des données reflétant des décisions humaines auparavant biaisées ou des inégalités sociales historiques sont utilisées pour construire le modèle; biais de sélection des données, dans lequel les méthodes de collecte de données utilisées signifient qu’elles ne sont pas représentatives; et le biais algorithmique de conception, dans lequel la conception de l’algorithme lui-même conduit à une introduction de biais.

Le biais peut également entrer dans le processus de prise de décision algorithmique en raison d’une erreur humaine car, selon la façon dont les humains interprètent ou utilisent les sorties d’un algorithme, il existe un risque de réentréné dans le processus car ils appliquent leurs propres biais conscients ou inconscients à la décision finale.

« Il y a également un risque que les biais puissent être amplifiés au fil du temps par des boucles de rétroaction, car les modèles sont progressivement reformés sur les nouvelles données générées, entièrement ou partiellement, par l’utilisation de versions antérieures du modèle dans la prise de décision », indique l’examen. « Par exemple, si un modèle de prévision des taux de criminalité fondé sur les données historiques sur les arrestations est utilisé pour donner la priorité aux ressources policières, les arrestations dans les zones à haut risque pourraient encore augmenter, renforçant ainsi le déséquilibre. »

Le CDEI a également noté que « prendre des décisions concernant les individus est une responsabilité fondamentale de nombreuses parties du secteur public » et, à ce titre, le gouvernement devrait instaurer une obligation de transparence obligatoire à toutes les organisations du secteur public en utilisant des algorithmes pour s’acquitter de cette responsabilité, ce qui contribuerait à « renforcer et maintenir la confiance du public », ainsi qu’à introduire des niveaux plus élevés de responsabilisation.

« Le gouvernement devrait mener un projet afin d’élargir plus précisément cette obligation et de mettre à l’essai une approche pour la mettre en œuvre, mais il devrait exiger la publication proactive d’informations sur la façon dont la décision d’utiliser un algorithme a été prise, le type d’algorithme, la façon dont elle est utilisée dans le processus décisionnel global et les mesures prises pour assurer un traitement équitable des personnes », a-t-il déclaré.

« Le Bureau du Cabinet et le Service commercial de la Couronne devraient mettre à jour les modèles de contrats et d’ententes-cadres pour les marchés publics afin d’incorporer un ensemble de normes minimales relatives à l’utilisation éthique de l’IA, en particulier en ce qui concerne les niveaux prévus de transparence et d’explication, et les tests continus pour l’équité. »

Mais le CDEI a déclaré que si cette information n’est pas intelligible, elle pourrait ne pas informer le public et susciter encore plus d’inquiétude. Toute publication liée à la transparence devrait donc être facile à trouver, à comprendre et à utiliser, et devrait absolument éviter d’être utilisée pour servir des objectifs de communication étroits ou pour manipuler délibérément un auditoire, a-t-il dit.

« Nous devrions être en mesure d’atténuer ces risques si nous considérons la transparence dans le contexte des décisions prises par le secteur public et si elle n’est pas considérée comme une fin en soi, mais parallèlement à d’autres principes de bonne gouvernance, y compris la reddition de comptes », a déclaré l’IMDC.

Il a demandé au gouvernement de publier des lignes directrices qui clarifient l’application de la Loi sur l’égalité à la prise de décisions algorithmiques, qui devraient inclure des renseignements sur la collecte de données pour mesurer les préjugés, ainsi que la légalité de diverses techniques d’atténuation des biais qui pourraient mener à une discrimination positive.

Les organisations des secteurs public et privé devraient également utiliser les données pourntify et atténuer les préjugés, ce qui signifie qu’ils doivent comprendre les capacités et les limites de leurs outils algorithmiques, et examiner attentivement comment ils assureront un traitement équitable des individus, il a dit.

Mais le CDEI a mis en garde : « L’atténuation des biais ne peut pas être traitée comme une question purement technique; elle exige un examen attentif du contexte politique, opérationnel et juridique plus large.

L’examen recommande que le gouvernement et les organismes de réglementation fournissent des directives claires sur la façon dont les organisations peuvent utiliser activement les données pour lutter contre les préjugés actuels et historiques, ce qui devrait répondre à l’idée fausse selon laquelle la loi sur la protection des données empêche la collecte ou l’utilisation de données pour surveiller et atténuer la discrimination.

Gemma Galdon Clavell, directrice du cabinet de conseil en audit algorithmique Eticas, basé à Barcelone, a déjà déclaré à Computer Weekly comment les algorithmes alimentés par l’IA ont été utilisés comme un outil de « diagnostic des biais », montrant comment la même technologie peut être réutilisée pour renforcer les résultats sociaux positifs si la motivation est là.

« Il y avait cette société d’IA [Ravel Law] en France, qui a utilisé les données ouvertes du gouvernement Français sur les condamnations judiciaires, et ils ont constaté que certains juges avaient clairement tendance à accorder des peines plus sévères aux personnes d’origine migrante, de sorte que les gens étaient condamnés à des peines différentes pour la même infraction en raison de la partialité des juges », a déclaré Galdon Clavell.

« Il s’agit d’un exemple où l’IA peut nous aider à identifier où les préjugés humains ont fait défaut à des groupes spécifiques de personnes dans le passé, c’est donc un excellent outil de diagnostic lorsqu’il est utilisé de la bonne façon. »

Toutefois, elle a noté que la réponse du gouvernement Français à cette question n’était pas de s’attaquer au problème des préjugés judiciaires, mais d’interdire l’utilisation de l’IA pour analyser les pratiques professionnelles des magistrats et des autres membres du pouvoir judiciaire.