Le gouvernement britannique publie un cadre sur la prise de décision automatisée

Le gouvernement britannique a publié un cadre sur l’utilisation de systèmes de prise de décision automatisés dans le secteur public, qui définira comment la technologie peut être déployée en toute sécurité, de manière durable et éthique.

Élaboré en collaboration par le Bureau du Cabinet, le Bureau central du numérique et des données et le Bureau de l’intelligence artificielle, le Cadre d’éthique, de transparence et de responsabilisation pour la prise de décisions automatisées vise à améliorer l’alphabétisation générale au sein du gouvernement en ce qui concerne l’utilisation de la prise de décisions automatisées ou algorithmiques, et est destiné à être utilisé par tous les fonctionnaires.

Le cadre s’applique à la fois aux décisions automatisées (lorsqu’il n’y a pas de jugement humain) et à la prise de décisions assistées automatisées, et devrait être utilisé pour éclairer les meilleures pratiques dans chacune d’elles.

Composé de sept principes fondamentaux – tels que tester le système pour éviter toute conséquence imprévue, fournir des services équitables pour tous les utilisateurs et tous les citoyens, clarifier qui est responsable du fonctionnement du système et traiter les données en toute sécurité d’une manière qui protège les intérêts des citoyens – le cadre comprend des étapes pratiques sur la façon d’atteindre chacun d’eux.

Par exemple, lors de l’essai du système pour les résultats involontaires, le cadre recommande aux organisations d’adopter des « tests d’équipe rouge », qui fonctionne à partir de l’hypothèse que « tous les systèmes d’algorithmes sont capables d’infliger un certain degré de préjudice ».

Le cadre souligne également la nécessité pour les organisations de mener des évaluations de la protection des données et de l’impact sur l’égalité, qui sont nécessaires pour se conformer à la législation britannique.

Il recommande en outre d’utiliser le cadre parallèlement aux orientations existantes telles que la Stratégie nationale des données et le Cadre d’éthique des données.

Il convient toutefois de noter que le Service numérique du gouvernement (SDD) a publié un cadre d’éthique des données mis à jour en septembre 2020 après avoir constaté qu’il y avait « peu de sensibilisation » de la version précédente par l’ensemble du gouvernement.

D’autres principes du cadre comprennent aider les citoyens et les utilisateurs à comprendre l’impact des systèmes sur eux, à assurer le respect de la loi et à construire quelque chose qui soit à l’épreuve de l’avenir.

« En vertu de la loi sur la protection des données, pour les processus entièrement automatisés, vous êtes tenu de fournir aux individus des informations spécifiques sur le processus. Les propriétaires de processus doivent introduire des moyens simples pour la personne affectée de demander une intervention humaine ou de contester une décision », a-t-il déclaré.

« Lorsque des systèmes automatisés ou algorithmiques aident à prendre une décision prise par un agent responsable, vous devriez être en mesure d’expliquer comment le système a pris cette décision ou suggéré une décision en anglais clair. »

Le cadre reconnaît également explicitement que « les algorithmes ne sont pas la solution à tous les problèmes politiques » et que les autorités publiques devraient se demander si l’utilisation d’un système automatisé est appropriée dans leur contexte spécifique avant d’aller de l’avant avec leur déploiement.

« L’examen minutieux devrait être appliqué à toutes les décisions automatisées et algorithmiques. Ils ne devraient pas être la solution de choix pour résoudre les problèmes les plus complexes et les plus difficiles en raison du risque élevé qui y est associé », peut-on ajouter sur le site Web du gouvernement, ajoutant que les risques associés aux systèmes de prise de décisions automatisés dépendent fortement des domaines politiques et du contexte dans lequel ils sont utilisés.

« Les propriétaires principaux devraient procéder à une évaluation approfondie des risques, en explorant toutes les options. Vous devez être certain que l’intention, la spécification ou le résultat de la politique seront mieux atteints grâce à un système de prise de décision automatisé ou algorithmique.

Il a ajouté que le cadre doit être respecté lorsque les organismes du secteur public travaillent avec des tiers, ce qui exige un engagement précoce pour s’assurer qu’il est intégré dans tout arrangement commercial.

Malgré le cadre, y compris des exemples de la façon dont les systèmes décisionnels uniquement automatisés et partiellement automatisés sont utilisés dans les lieux de travail – par exemple, pour décider du montant payé par un employé, les principes eux-mêmes ne traitent pas directement des effets que ces systèmes peuvent avoir sur la dynamique du milieu de travail.

« Si le gouvernement veut établir la confiance dans la façon dont la technologie est utilisée au travail, nous avons besoin de règles bien meilleures sur la façon dont la technologie est utilisée au travail »

« Le nouveau cadre est un grand pas en avant dans la fourniture de conseils clairs sur l’utilisation de la prise de décisions automatisées. Nous nous félicitons de l’affirmation claire selon laquelle les algorithmes ne sont pas la réponse à toutes les questions, en particulier en ce qui concerne la croissance de la surveillance numérique et de la gestion des personnes », a déclaré Andrew Pakes, directeur de recherche chez Prospect Union, qui représente la science, la technologie et d’autres travailleurs spécialisés.

« Avec l’augmentation de l’IA [artificial intelligence] et l’analyse des personnes sofpendant Covid, il est profondément décevant que le cadre ne reconnaisse pas la nécessité de consulter et d’impliquer les travailleurs dans les décisions sur la façon dont la technologie nous affectera. Si le gouvernement veut établir la confiance dans la façon dont la technologie est utilisée au travail, nous avons besoin de règles bien meilleures sur la façon dont la technologie est utilisée au travail.

En novembre 2020, un examen des biais algorithmiques publié par le Centre for Data Ethics and Innovation (CDEI) a déclaré que le gouvernement britannique devrait forcer les organismes du secteur public à faire preuve de plus de transparence quant à leur utilisation d’algorithmes qui prennent des décisions « affectant la vie » à l’sujet des individus.

« Le gouvernement devrait mener un projet pour s’appliquer plus précisément à cette obligation et mettre à l’essai une approche pour la mettre en œuvre, mais il devrait exiger la publication proactive d’informations sur la façon dont la décision d’utiliser un algorithme a été prise, le type d’algorithme, la façon dont il est utilisé dans le processus décisionnel global et les mesures prises pour assurer un traitement équitable des personnes », a-t-il déclaré.

« Le Bureau du Cabinet et le Service commercial de la Couronne devraient mettre à jour les contrats modèles et les ententes-cadres pour les marchés publics afin d’incorporer un ensemble de normes minimales relatives à l’utilisation éthique de l’IA, en particulier en ce qui concerne les niveaux prévus de transparence et d’explication, et les tests continus d’équité. »

Toute publication liée à la transparence devrait donc être facile à trouver, à comprendre et à utiliser, et devrait absolument éviter d’être utilisée pour servir des objectifs de communication étroits ou pour manipuler délibérément un public, a-t-il ajouté.

L’examen du CDEI sur les biais algorithmiques est cité dans plusieurs parties du cadre comme une ressource pertinente qui devrait être considérée par les organismes du secteur public lors du déploiement de systèmes de prise de décision automatisés.

« Les actions, les processus et les données sont ouverts à l’inspection en publiant des informations sur le projet dans un format complet, ouvert, compréhensible, facilement accessible et gratuit », a-t-il déclaré.