Le BEIS remplace le système de subventions Excel par un portail de gestion des données

Le Département des affaires, de l’énergie et de la stratégie industrielle (BEIS) remplace un système Excel pour les demandes de subvention par un système de gestion des données (DMS) sur mesure construit par la société de conseil et de logiciels Aiimi.

BEIS a signé un contrat d’un an d’une valeur de 900 000 £ pour capturer et traiter en toute sécurité les données de retour de subvention de soutien aux entreprises Covid-19. Le système sera également utilisé pour une subvention pour les maisons vertes.

Le département a travaillé avec Aiimi, une entreprise technologique basée à Milton Keynes, pour construire un système en temps quasi réel. Ainsi, les données relatives aux subventions provenant de plus de 300 autorités locales à travers le Royaume-Uni seront capturées, ingérées, préparées et enrichies à l’aide d’une combinaison de technologies Microsoft Azure et Databricks.

Gavin Dollin, sponsor produit et responsable des services de données chez BEIS, a déclaré: « Le système de gestion des données chez BEIS jette les bases d’un excellent service de données. Il réunit les technologies de Microsoft Azure et de Databricks pour créer une plate-forme qui non seulement répond à nos besoins actuels, mais qui changera et se développera pour correspondre à notre parcours de données en constante évolution.

Les subventions de soutien aux entreprises Covid-19 fourniront des prêts, des allégements fiscaux, des subventions en espèces, un soutien financier et des subventions commerciales. La Subvention pour les maisons vertes encourage les propriétaires et les propriétaires résidentiels à installer des améliorations éconergétiques en offrant des contributions financières pour le coût de l’isolation, du chauffage à faible teneur en carbone et de l’étanchéité aux courants d’air.

« Le système de gestion des données du BEIS jette les bases d’un excellent service de données. Il répond non seulement à nos besoins actuels, mais il changera et se développera pour correspondre à notre parcours de données en constante évolution.

Ryan Moore, responsable des données et de l’analyse chez Aiimi, a déclaré: « L’équipe de projet mixte BEIS et Aiimi a établi de nouvelles normes dans la façon dont nous abordons la conception de la plate-forme de données, en appliquant des techniques de recherche utilisateur pour comprendre et définir les capacités de la solution. Nos efforts conjoints ont créé une base solide pour une plate-forme de données en évolution et un outil puissant pour mesurer la performance des initiatives conçues pour stimuler le changement économique et la reprise à travers le Royaume-Uni.

Jack Lawton, directeur de la science des données chez Aiimi, a été le chef de projet de l’engagement avec BEIS. « Nous considérons le contenu et les données comme les deux faces d’une même médaille », a-t-il déclaré. « Si vous commencez à traiter le contenu comme des données et vice-versa, vous obtenez le meilleur parti de chacun. C’est notre approche.

Le produit principal d’Aiimi, Insight Engine, est conçu pour traiter le contenu et les données de la même manière, a-t-il déclaré, mais il ne figure pas dans le projet BEIS.

L’entreprise est passée d’environ 30 personnes lorsque Lawton s’est joint à l’entreprise il y a sept ans, à plus de 100 aujourd’hui, a-t-il déclaré. Il a déménagé de Londres à Milton Keynes pour s’adapter à la croissance, mais applique une politique de recrutement à distance.

L’équipe du projet BEIS comprenait 10 à 15 consultants Aiimi à différents moments et un nombre similaire de fonctionnaires.

Le projet est basé sur la plateforme Microsoft Azure. Le lac de données qu’il a mis en place est complété par une application de capture de données conforme à la politique de sécurité informatique du BEIS.

Du côté du traitement et de l’analyse des données, la technologie Databricks qu’elle utilise prend tout son sens, a-t-il déclaré, car les données ne sont pas toujours fournies dans le bon format. « Nous traitons des données soumises par les autorités locales, sous la forme de feuilles de calcul Excel. Malheureusement, Excel permet beaucoup de liberté pour apporter des changements, ce qui peut entraîner des problèmes lorsque vous voulez en apporter beaucoup, et en quelque sorte les unifier », a déclaré Lawton.

« Nous considérons le contenu et les données comme les deux faces d’une même médaille. Si vous commencez à traiter le contenu comme des données et vice-versa, vous obtenez le meilleur parti de chaque valeur. C’est notre approche »

Jack Lawton: Aiimi

Databricks permet l’exécution d’analyses complexes à grande échelle, en utilisant Apache Spark, qui est la technologie open source que les fondateurs de Databricks ont inventée à l’origine. L’équipe du projet a également utilisé le système de stockage de données Delta Lake de Databricks, dont la vertu est de montrer l’historique de ce qui a été fait sur un ensemble de données, ainsi que de le traiter, a déclaré Lawton.

En ce qui concerne la conception organisationnelle de l’équipe de projet du système de gestion des données, il a déclaré qu’elle illustrait l’approche générale du ministère, qui consiste à le gérer comme une équipe mixte. « Qui connaît mieux les données du BEIS que le BEIS? Ce sont les experts en la matière. Et en le développant avec eux, nous redouagons les compétences de l’équipe afin qu’elle puisse soutenir le DMS lorsque nous aurons terminé », a déclaré Lawton.

Le rôle du SGD est de permettre au BEIS de mieux rendre compte au gouvernement des données sur les demandes de subventions recueillies par les autorités locales auprès de particuliers et d’entreprises. Le magasin de données nettoyé et unifié peut également être analysé using algorithmes ou tableaux de bord d’apprentissage automatique.

« L’un des éléments clés de la plate-forme DMS est les couches « laboratoire » et « expositions » dans le lac de données », a déclaré Lawton. « Le but de ceux-ci est de permettre aux analystes d’explorer et de jouer avec les données et de les montrer sans trop de chaînes. Et puis, si cette analyse est utile à l’entreprise, il est relativement simple de l’adapter sous gestion centrale par l’équipe DMS.

« La possibilité de recueillir des données provenant de sources externes dans le portail de saisie de données est l’avantage différenciant de ce système pour le BEIS. Vous pouvez prendre des données sensibles des autorités locales et les pipeliner en toute sécurité. Tout est analysé par le virus.

L’ingénierie des données pour le projet a été achevée, tout comme un déploiement limité des déclarations de subvention Covid, mais le système complet n’est pas encore entre les mains des autorités locales. Le contrat court jusqu’en décembre 2022.