Big Data Londres: le service de données numériques du NHS a lutté contre les demandes de tests Covid

Un élément clé du traitement des données de NHS Digital a eu du mal à faire face à la demande causée par les tests Covid-19, selon l’un de ses technologues seniors.

Le Master Person Service (MPS), qui est conçu pour relier les enregistrements de traitement aux individus grâce à des données démographiques, a reçu jusqu’à un million de demandes par heure à certaines périodes l’année dernière, lorsque les tests étaient à leur apogée.

« Le service a eu du mal à répondre aux volumes de tests Covid », a déclaré James Zwiers, responsable de l’ingénierie logicielle et des opérations informatiques pour la direction des services de données de l’organisation, lors d’une session lors de la conférence Big Data LDN à Londres le 22 septembre. « C’est là que le défi était plus que n’importe où. »

NHS Digital a augmenté la capacité de MPS à faire face à la demande.

Les services du NHS sont fournis par un large éventail d’organisations qui collectent des données de différentes manières. Le numéro NHS fournit un identifiant unique pour chaque individu en Angleterre, avec des équivalents en Écosse, au Pays de Galles et en Irlande du Nord, mais ceux-ci ne sont pas largement connus des individus et n’ont pas besoin d’être collectés comme condition de traitement.

MPS vise à combler le vide lorsque les gens ne connaissent pas leur numéro NHS ou qu’ils en fournissent un non valide en appliquant un algorithme en quatre étapes à leurs données démographiques telles que l’âge, le sexe et le code postal. Il vise à générer le nombre correct de NHS dans 99% des cas, ainsi qu’à fournir un score de confiance.

Décrivant l’architecture globale des services de traitement des données de NHS Digital, James Zwiers a déclaré qu’il utilisait Amazon Web Services, Splunk, GitLab, Terraform et Kubernetes pour gérer plus de 200 ensembles de données sur la santé et les services sociaux qui couvrent la population de l’Angleterre et, dans certains cas, tout le Royaume-Uni.

Les ensembles de données comprennent ceux utilisés pour gérer la réponse à la pandémie, tels que les processus nhs Test and Trace et les passeports Covid. Ils ne traitent pas les données en temps réel, certaines informations sur les services ambulanciers faisant l’affaire en 15 à 60 minutes, mais d’autres données des hôpitaux n’ailleurs que mensuellement.

Bien que l’architecture de données de NHS Digital soit exécutée dans un cloud public, Zwiers a déclaré qu’elle était protégée par une série de mesures. Les données ne peuvent circuler que dans une seule direction, avec des processus en lecture seule ou en écriture sur un seul emplacement, tous les services de calcul ont un seul objectif et NHS Digital vérifie l’identité de tous les utilisateurs. « Si vous n’avez pas besoin d’accéder aux données, vous n’y avez pas accès », a-t-il déclaré.

Le National Cyber Security Centre (NCSC), l’unité de sécurité de l’information du GCHQ, est impliqué dans la protection des systèmes, Zwiers ajoutant que les « acteurs de l’État-nation » sont connus pour s’intéresser à leur contenu.

Il a déclaré que NHS Digital acceptait les données des fournisseurs de soins de santé dans une gamme de formats, y compris XML, JSON et ceux générés par Microsoft Excel. L’utilisation par Public Health England de l’ancien format de fichier .xls d’Excel, qui limite le nombre de lignes à 65 535, a été blâmée pour la perte de données sur 15 841 résultats de tests Covid-19 en septembre et octobre 2020.

« J’aimerais que nous nous éloignions d’Excel, mais pour le gouvernement, Excel est là pour rester », a déclaré Zwiers, ajoutant que NHS Digital acceptait les données dans une gamme de formats pour réduire le fardeau de déclaration des organisations de fournisseurs.