Le supercalculateur le plus rapide d’Europe forme de grands modèles linguistiques en Finlande

L’Université de Turku en Finlande est l’un des 10 laboratoires de recherche universitaires à travers l’Europe à collaborer à la construction de nouveaux grands modèles linguistiques dans une variété de langues européennes. Le groupe a choisi d’entraîner des algorithmes sur le supercalculateur LUMI, l’ordinateur le plus rapide d’Europe – et le troisième plus rapide au monde.

LUMI, qui signifie Large Unified Modern Infrastructure, est alimenté par des unités centrales de traitement (CPU) et des unités de traitement graphique (GPU) AMD. L’Université de Turku a contacté AMD pour obtenir de l’aide dans le portage de logiciels essentiels vers LUMI. Le SCC s’y est joint parce que LUMI est hébergé au centre de données du SCC à Kajaani, en Finlande.

« Aujourd’hui, AMD, le SCC et l’Université de Turku collaborent à l’utilisation de LUMI pour former des modèles de langage de type GPT à grande échelle, en utilisant de grands ensembles de données », a déclaré Aleksi Kallio, responsable de l’intelligence artificielle (IA) et de l’analyse des données au SCC. Le projet implique le finnois, ainsi que plusieurs autres langues européennes.

Les grands modèles de langage deviennent des composants standard dans les systèmes qui offrent aux utilisateurs une interface basée sur le dialogue. Ils permettent aux gens de communiquer par le texte et la parole. Les principaux utilisateurs d’un grand modèle de langage sont les entreprises, qui adoptent la technologie et se retrouvent rapidement dépendantes d’organisations telles qu’OpenAI. Les gouvernements sont également intéressés par l’utilisation de grands modèles linguistiques, et ils se méfient encore plus de devenir dépendants d’autres organisations – en particulier étrangères. Mais même si les entreprises et les gouvernements aimeraient développer leurs propres modèles dans leurs propres environnements, c’est tout simplement trop difficile à aborder.

Le développement d’un grand modèle de langage nécessite beaucoup de puissance de calcul. Pour commencer, les modèles sont énormes – utilisant des dizaines à des centaines de milliards de paramètres interdépendants. La résolution de toutes les variables nécessite beaucoup de réglage et beaucoup de données. Ensuite, il y a des problèmes non techniques. Comme c’est le cas pour toute technologie fondamentale émergente, de nouvelles questions se posent quant à l’impact qu’elle aura sur la géopolitique et les politiques industrielles. Qui contrôle les modèles ? Comment sont-ils formés? Qui contrôle les données utilisées pour les former ?

« Une fois que les grands modèles de langage sont déployés, ce sont des boîtes noires, pratiquement impossibles à comprendre », a déclaré Kallio. « C’est pourquoi il est important d’avoir autant de visibilité que possible pendant la construction des modèles. Et pour cette raison, la Finlande a besoin de son propre grand modèle linguistique formé en Finlande. Pour garder les choses équilibrées et démocratiques, il est important que nous ne dépendions pas seulement de quelques entreprises pour développer le modèle. Nous avons besoin d’un effort collectif.

« Actuellement, la seule façon de former un algorithme de langage est d’avoir beaucoup de données – à peu près tout Internet – puis une énorme puissance de calcul pour former un grand modèle avec toutes ces données », a-t-il déclaré. « Comment rendre ces modèles plus efficaces en matière de données est un sujet brûlant dans la recherche. Mais pour l’instant, il est impossible de contourner le fait que vous avez besoin de beaucoup de données d’entraînement, ce qui est difficile pour les petites langues comme le finnois.

La nécessité d’une grande quantité de texte disponible dans une langue donnée, ainsi que la nécessité de ressources de calcul intensif pour former de grands modèles linguistiques, font qu’il est très difficile pour la plupart des pays du monde de devenir autosuffisants en ce qui concerne cette technologie émergente.

Le puissant supercalculateur et la coopération entre les différents acteurs font de la Finlande un point de départ naturel pour le développement ouvert de grands modèles linguistiques pour plus de langues.

« LUMI utilise des GPU AMD MI250X, qui conviennent parfaitement à l’apprentissage automatique pour les applications d’IA », a déclaré Kallio. « Non seulement ils sont puissants, mais ils ont aussi beaucoup de mémoire, ce qui est nécessaire. L’apprentissage profond de ces réseaux neuronaux implique beaucoup de calculs assez simples sur de très grandes matrices.

Mais LUMI utilise également d’autres types d’unités de traitement – CPU et puces spécialisées. Pour transmettre des données et des commandes entre les différents composants, le système a également besoin de réseaux exceptionnellement rapides. « L’idée est que vous disposez d’un environnement riche de capacités informatiques différentes ainsi que de capacités de stockage différentes », a déclaré Kallio. « Ensuite, vous disposez d’une interconnexion rapide, ce qui vous permet de déplacer facilement les données et de toujours utiliser les unités les plus appropriées pour une tâche donnée. »

Il y a quelques années, la recherche sur l’apprentissage automatique pouvait être effectuée avec une seule unité GPU dans un ordinateur de bureau personnel. C’était suffisant pour créer des résultats crédibles. Mais les algorithmes modernes sont si sophistiqués qu’ils nécessitent des milliers de GPU travaillant ensemble pendant des semaines, voire des mois, pour les entraîner. De plus, la formation n’est pas la seule phase qui nécessite Puissance de calcul extraordinaire. Bien que la formation d’un algorithme nécessite beaucoup plus de calcul que l’utilisation de l’algorithme, les modèles de langage actuels à grande échelle nécessitent toujours de grands serveurs pour la phase d’utilisation.

Les modèles de pointe actuels sont basés sur des centaines de milliards de paramètres, qu’aucun ordinateur n’aurait pu gérer il y a quelques années à peine. Il n’y a pas de fin en vue à l’escalade – à mesure que les chercheurs développent de nouveaux algorithmes, une informatique plus sophistiquée est nécessaire pour les former. Ce qu’il faut, c’est progresser dans les algorithmes eux-mêmes, afin que les modèles puissent être formés sur des serveurs réguliers et utilisés sur des appareils mobiles.

« Du bon côté, il y a des tonnes de startups qui proposent de nouvelles idées, et il est possible que certaines d’entre elles volent », a déclaré Kallio. « N’oubliez pas qu’aujourd’hui, nous faisons du calcul scientifique sur des unités de traitement graphique développées pour les jeux vidéo. Il y a 15 ans, personne n’aurait deviné que c’était là où nous en serions aujourd’hui. En regardant vers l’avenir, qui sait ce que nous ferons avec l’apprentissage automatique dans 15 ans. »