Nvidia cible le goulot d’étranglement de la mémoire des centres de données

Nvidia espère faire passer les unités de traitement graphique (GPU) du centre de données à un niveau supérieur en s’attaquant à ce qu’elle considère comme un goulot d’étranglement limitant le traitement des données dans les architectures traditionnelles.

En général, l’unité centrale de traitement (CPU) d’un serveur de centre de données transmettrait certains calculs de traitement des données à un GPU, qui est optimisé pour exécuter de telles charges de travail.

Mais, selon Nvidia, la bande passante de mémoire limite le niveau d’optimisation. Un GPU sera généralement configuré avec une quantité relativement plus petite de mémoire rapide par rapport au Processeur, qui a une plus grande quantité de mémoire plus lente.

Le déplacement des données entre le Processeur et le GPU pour exécuter une charge de travail de traitement des données nécessite une copie de la mémoire CPU plus lente à la mémoire GPU.

Pour tenter d’éliminer ce goulot d’étranglement de mémoire, Nvidia a dévoilé son premier processeur de centre de données, Grace, basé sur une microarchitecture Arm. Selon Nvidia, Grace fournira 10 fois les performances des serveurs les plus rapides d’aujourd’hui sur l’IA la plus complexe et les charges de travail informatiques haute performance. Il prend en charge la prochaine génération de la technologie cohérente d’interconnexion NVLink de Nvidia, qui, selon l’entreprise, permet aux données de se déplacer plus rapidement entre la mémoire du système, les processeurs et les GPU.

Nvidia a décrit Grace comme un processeur hautement spécialisé ciblant les plus grandes applications HPC et AI à forte intensité de données comme la formation de modèles de traitement en langage naturel de prochaine génération qui ont plus d’un billion de paramètres.

Le Swiss National Supercomputing Center (CSCS) est la première organisation à annoncer publiquement qu’elle utilisera la puce Grace de Nvidia dans un superordinateur appelé Alps, qui devrait être mis en ligne en 2023.

CSCS conçoit et exploite un système dédié aux prévisions météorologiques numériques (NWP) pour le compte de MétéoSuisse, le service météorologique suisse. Ce système fonctionne sur les GPU depuis 2016.

Le supercalculateur Alps sera construit par Hewlett Packard Enterprise en utilisant la nouvelle gamme de produits supercalculateurs HPE Cray EX ainsi que la plate-forme de supercalculation Nvidia HGX, qui comprend les GPU Nvidia, son kit de développeur de logiciels informatiques haute performance et le nouveau processeur Grace. Le système des Alpes remplacera le supercalculateur Piz Daint existant du CSCS.

Selon Nvidia, profitant du couplage serré entre les processeurs Nvidia et les GPU, alps devrait être en mesure de former GPT-3, le plus grand modèle de traitement du langage naturel au monde, en seulement deux jours – 7 fois plus rapide que nvidia 2,8-AI exaflops Selene supercalculateur, actuellement reconnu comme le premier superordinateur du monde pour l’IA par MLPerf.

Elle a indiqué que les utilisateurs du CSCS seront en mesure d’appliquer cette performance d’IA à un large éventail de recherches scientifiques émergentes qui peuvent bénéficier de la compréhension du langage naturel. Cela comprend, par exemple, l’analyse et la compréhension d’énormes quantités de connaissances disponibles dans les articles scientifiques et la génération de nouvelles molécules pour la découverte de médicaments.

« Les scientifiques seront non seulement en mesure d’effectuer des simulations, mais aussi de pré-traiter ou de post-traiter leurs données. Cela rend l’ensemble du flux de travail plus efficace pour eux », a déclaré Thomas Schulthess, directeur du CSCS.