L’IA ne peut jamais avoir le contrôle sur les décisions de combat, ont déclaré Lords

Biais d’automatisation

Ensuite, il y a le problème supplémentaire du biais d’automatisation (faisant référence à la tendance des humains à faire davantage confiance aux résultats des systèmes automatisés qu’ils ne feraient confiance aux informations provenant d’une autre source), dont l’élimination complète serait une « chimère ».

« C’est un domaine extrêmement actif et de longue date de la recherche sur les facteurs humains sur la façon de réduire les biais d’automatisation ou de les éliminer, et nous ne savons pas comment », a-t-elle déclaré.

Sur la question de savoir si une arme alimentée par l’IA serait jamais capable d’évaluer de manière autonome la proportionnalité des décisions de combat, Nolan a déclaré qu’elle pensait qu’il était « absolument impossible » pour une machine de prendre ce genre de déterminations, car seul un humain pouvait évaluer le contexte stratégique global.

« Vous devez connaître la valeur militaire stratégique anticipée de l’action, et il n’y a aucun moyen qu’une arme puisse le savoir », a-t-elle déclaré. « Une arme est sur le terrain, regardant peut-être des images, une sorte d’apprentissage automatique et des trucs de perception. Il ne sait rien. C’est juste faire quelques calculs qui n’offrent pas vraiment de rapport avec la valeur militaire. »

Expliquant comment les modèles d’IA allouent mathématiquement des pixels pour identifier le contenu des images – ce que tout AWS devrait faire sur le terrain à partir d’un flux en direct – Taniel Yusef, chercheur invité au Centre for the Study of Existential Risk de l’Université de Cambridge, a déclaré que bien que les mathématiques sous-jacentes puissent être « précises », cela ne signifie pas nécessairement que les résultats seront « corrects ».

Donnant l’exemple du moment où elle a testé un algorithme conçu pour distinguer les images de chats et de chiens, Yusef a déclaré que même des tâches simples comme celle-ci peuvent mal tourner.

« Il a décidé que le chat était un chien », a-t-elle déclaré. « Ce qui m’inquiète, c’est que lorsque cela se produit sur le terrain, vous aurez des gens sur le terrain qui diront que ces civils ont été tués, et vous aurez un rapport par l’arme qui se rapporte, ‘Mais regardez les calculs’.

« Les calculs indiquent que c’était une cible qui était une base militaire… Parce que les mathématiques le disent, et nous nous en remettons beaucoup aux mathématiques parce que les mathématiques sont très spécifiques, et les mathématiques seront correctes. Il y a une différence entre correct et précis. Il y a une différence entre précis et précis. Les calculs seront corrects parce qu’ils ont été codés correctement, mais ils ne seront pas justes sur le terrain », a déclaré Yusef.

« Donc, quand vous posez la question de la proportionnalité et si c’est techniquement possible [to delegate responsibility to AI], non, ce n’est pas techniquement possible, parce que vous ne pouvez pas connaître le résultat d’un système, comment il atteindra l’objectif que vous avez codé, jusqu’à ce qu’il l’ait fait, et vous ne savez pas comment il est arrivé là », a-t-elle déclaré.

Interjection des pairs

Quand un pair est intervenu pour dire que les humains pouvaient faire des erreurs similaires, comme « l’autre jour, j’ai vu un chien que je pensais être un chat », Yusef a répondu: « Vous ne l’avez pas tiré. »

Christian Enemark, professeur de relations internationales à l’Université de Southampton, a déclaré: « La décharge autonome de [discrimination and proportionality] Pour une entité non humaine, c’est sans doute un non-sens philosophique. »

Il a ajouté que ce devrait toujours être un agent humain qui prend les décisions et en assume la responsabilité, et que la conversation générale sur AWS devrait être élargie pour inclure d’autres domaines pratiques où ils pourraient être utilisés.

« Les armes peuvent être utilisées en dehors d’un conflit armé, et pourtant la conversation a été principalement dirigée vers les conflits armés et le droit qui régit les conflits armés, qui est le droit international humanitaire », a-t-il déclaré. « Mais il n’est pas nécessaire qu’il soit aussi restreint, et il devrait sans doute être élargi pour inclure l’utilisation de la violence par l’État, par exemple, à des fins d’application de la loi – nous devons réfléchir aux implications de l’incorporation de l’IA dans ce contexte.

« Et une fois que nous sortons du contexte d’un conflit armé, nous ne sommes pas limités à parler de droit humanitaire. Nous sommes maintenant ouverts à être inspirés et guidés par le droit international des droits de l’homme. »

Lors de sa première séance de témoignages, le comité a appris que les avantages potentiels de l’utilisation de l’IA dans les systèmes d’armes et les opérations militaires ne devraient pas être confondus avec une meilleure conformité au droit international humanitaire, au motif que l’accélération de la guerre au-delà des capacités cognitives ordinaires des humains limiterait la capacité des gens à prévenir une attaque illégale ou inutile.

Les témoins experts de cette session ont également noté que le déploiement d’armes d’IA pourrait également rendre le recours à la violence plus fréquent plutôt que moins fréquent, car le seuil de recours à la force serait beaucoup plus bas.