Connect with us

Technologie

La science des données éthique et professionnelle nécessaire pour éviter d’autres controverses sur les algorithmes

Published

on


Selon un rapport de BCS, le Chartered Institute for IT, des normes éthiques et professionnelles strictes devraient être appliquées au développement d’algorithmes ayant des impacts sociaux pour rétablir la confiance du public dans la technologie.

Intitulé La question de l’examen: comment pouvons-nous faire des algorithmes faire la bonne chose?, le rapport analyse les défaillances qui ont conduit au fiasco des examens algorithmiques d’Ofqual afin d’identifier comment les principes d’ouverture, de responsabilité et d’objectivité peuvent être intégrés dans le développement d’algorithmes qui prennent des décisions à enjeux élevés sur la vie des gens.

L’algorithme d’Ofqual, qui a déclassé près de 40% des résultats du niveau A des élèves, a depuis été abandonné par le ministère de l’Éducation (DfE) au profit des notes prédites par les enseignants à la suite d’une réaction massive des élèves.

Le rapport formule un certain nombre de recommandations sur la façon dont la confiance dans les algorithmes peut être rétablie, notamment que le gouvernement approuve les travaux en cours de BCS, de la Royal Statistical Society (RSS) et d’autres pour professionnaliser la science des données; que le gouvernement assume un rôle de chef de file pour s’assurer qu’une bonne pratique éthique et professionnelle dans la conception d’algorithmes devienne omniprésente; et que les algorithmes sont soumis à des évaluations d’impact indépendantes avant d’entrer en service.

« Le manque de confiance du public dans l’analyse des données sera très dommageable à long terme. Les systèmes d’information qui s’appuient sur des algorithmes peuvent être une force pour le bien, mais – comme les étudiants l’ont découvert à un coût énorme – nous les avons utilisés pour porter des jugements à enjeux élevés sur des individus sur la base de données subjectives, incertaines et partielles », a déclaré Bill Mitchell OBE, directeur des politiques sous le titre bcs.

« Nous avons besoin d’une véritable surveillance de la façon dont les algorithmes sont utilisés, y compris l’identification des conséquences imprévues, et de la capacité au niveau du système de remédier aux dommages qui pourraient être causés à une personne lorsque quelque chose ne va pas.

« Cela signifie, tout d’abord, professionnaliser la science des données afin que le Royaume-Uni dispose des équipes scientifiques de données les plus fiables, éthiques et recherchées au monde. »

Le rapport ajoute qu’il y a un « manque de bonnes pratiques professionnelles et de normes professionnelles employées autour de l’élaboration et de la mise en œuvre de systèmes d’information », et que tout système automatisé qui s’appuie sur des jugements statistiquement fondés en temps réel devrait être considéré comme un « système algorithmique à haut risque ».

« L’atténuation des risques causés par ces systèmes dans la formulation ou la mise en œuvre des politiques exige de comprendre toutes les pratiques commerciales organisationnelles et la façon dont les équipes interdisciplinaires travaillent ensemble au-delà des frontières des politiques », a-t-il déclaré.

Concevoir des algorithmes éthiquement : ouverture, responsabilité et objectivité

Le rapport décrit les étapes clés du développement algorithmique et de la conception auxquelles les organisations devraient réfléchir, y compris les objectifs stratégiques, la propriété, les modèles de données et la collecte de données.

« e n’est qu’après des choix [the above] sont faits peut un ensemble d’algorithmes peuvent être développés qui automatisent collectivement ces jugements les données sont aptes à être utilisé », a déclaré le rapport, ajoutant que des tests rigoureux du système tout au long de son cycle de développement, à la fois des éléments distincts et le paquet global, est nécessaire pour comprendre si le système est assez bon pour une utilisation.

« Toutes les étapes ci-dessus exigent un jugement éthique sain pour faire les meilleurs choix possibles. Ils impliquent de nombreuses parties prenantes différentes qui ont besoin des bons mécanismes de gouvernance pour travailler en étroite collaboration à la fois rapidement et efficacement », a-t-il déclaré.

« Heureusement, les travaux de professionnalisation de ces pratiques ont déjà commencé… de façonner et de développer en collaboration la profession de science des données. Nous recommandons le soutien du gouvernement et nous nous joignons à cette collaboration, en veillant à ce qu’il adopte avec enthousiasme les normes et pratiques professionnelles qui sont élaborées par ce partenariat.

Bien que le rapport indique que le DfE et l’Ofqual ont consulté un large éventail d’intervenants sur certaines questions, comme la question de savoir si les estimations calculées des notes devraient être utilisées pour remplacer les examens et le type de données qui devraient servir de base à ces calculs, d’autres questions ont été complètement négligées, y compris la meilleure façon de maintenir les normes et la meilleure façon de combiner la note prévue d’un enseignant avec les données historiques pour obtenir un résultat.

Elle a conclu que « ‘ouverture signifie être ouverte sur les données qui seront utilisées, la provenance de ces données, la façon dont elles seront utilisées et quels critères seront utilisés pour déterminer si le système d’information résultant est adapté à l’insein ».

Identifiant les faiblesses dans les tentatives d’objectivité, le rapport du BCS indique également qu’il est nécessaire de clarifier les systèmes d’information destinés à atteindre au niveau individuel, et que cela devrait être établi « dès le début » du processus.

Par exemple, la distribution des notes en fonction des caractéristiques des différentes cohortes d’élèves afin qu’elles soient statistiquement en ligne avec les années précédentes – ce que l’algorithme Ofqual a fait – est différente de s’assurer que chaque élève est traité aussi équitablement que possible, ce qui aurait dû être discuté et compris par toutes les parties prenantes depuis le début, a-t-il dit.

En ce qui concerne la reddition de comptes, BCS a déclaré : « Il est essentiel de mettre au point des mécanismes efficaces pour la gouvernance conjointe de la conception et du développement des systèmes d’information dès le départ. »

Bien qu’elle s’abstienne de répartir le blâme, elle ajoute : « La situation actuelle de classement des examens ne devrait pas être attribuée à un seul ministère ou bureau du gouvernement. »

PDG de la RSS, Stian Westlake, cependant, a déclaré à Sky Nouvelles le fiasco des résultats a été « une surprise prévisible » en raison de la demande de DfE que Ofqual réduire l’inflation de grade.

« e fait que cela aurait pu produire beaucoup d’inexactitude, ce qui se traduit par des notes injustes pour les individus, qui était su », at-il dit.

Malgré l’offre RSS d’aider à l’algorithme en avril, Ofqual a déclaré à l’époque qu’il n’accepterait d’envisager d’accepter son aide que si les universitaires concernés avaient signé des accords de non-divulgation (NDA), ce qui les aurait empêchés de commenter le modèle choisi pendant cinq ans après le jour des résultats.

Click to comment

Leave a Reply

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Trending