L’exécution de modèles de deep learning plus vastes ouvre la voie à de nouvelles possibilités scientifiques mais les systèmes et architectures conventionnels limitent les problèmes pouvant être traités car l’entraînement de ces modèles demande trop de temps. C’est pourquoi Cray a collaboré avec Microsoft et le CSCS, centre de calcul scientifique de renommée mondiale, afin de mettre à profit ses dizaines d’années d’expérience du calcul haute performance pour renforcer considérablement les capacités du Microsoft Cognitive Toolkit (ex-CNTK) sur un supercalculateur Cray® XC50™ du CSCS surnommé « Piz Daint ».
En accélérant le processus d’apprentissage, les data scientists obtiennent des résultats en quelques heures voire quelques minutes seulement alors qu’il fallait des semaines ou des mois auparavant. L’intégration des architectures et solutions de supercalcul aux environnements de deep learning permet aujourd’hui de résoudre toute une nouvelle catégorie de problèmes tels que passer de la reconnaissance d’images à celle des vidéos, et de la simple reconnaissance vocale au traitement contextuel du langage naturel.
Les problèmes de deep learning présentent des similitudes algorithmiques avec les applications qui s’exécutent traditionnellement sur les supercalculateurs massivement parallèles. En optimisant la communication entre les nœuds grâce au réseau Aries du Cray® XC™ et à une bibliothèque MPI haute performance, chaque tâche d’apprentissage dispose d’un nombre ressources de calcul nettement supérieur, ce qui réduit le temps nécessaire pour entraîner un modèle.
« L’expertise de Cray dans l’analyse et le profilage des performances associée à l’architecture unique de ses systèmes XC, nous a permis de soumettre des problèmes de deep learning à notre supercalculateur Piz Daint et de les traiter à une échelle jamais atteinte par quiconque jusqu’alors », déclare le Professeur Thomas C. Schulthess, directeur du Centre suisse de calcul scientifique (CSCS). « Le plus passionnant est que nos chercheurs et scientifiques sont désormais en mesure d’utiliser notre supercalculateur Cray XC pour aborder une nouvelle catégorie de problèmes de deep learning qui étaient jusqu’ici impossibles à traiter. »
« Faire appel au supercalcul pour optimiser les tâches de deep learning constitue une avancée majeure en matière d’entraînement et d’évaluation à grande échelle des algorithmes de cette discipline », déclare le Dr. Xuedong Huang, ingénieur éminent au sein de la division Microsoft AI and Research. « Notre collaboration avec Cray et le CSCS démontre à quel point le Microsoft Cognitive Toolkit permet de repousser les limites du deep learning. »
Une équipe d’experts de Cray, Microsoft et du CSCS a renforcé le Microsoft Cognitive Toolkit à hauteur de plus de 1000 accélérateurs GPU NVIDIA® Tesla® P100 sur le supercalculateur Cray XC50 du CSCS. Le résultat de cette collaboration ouvre la voie pour les chercheurs à de nouvelles tâches de deep learning à grande échelle encore plus vastes et plus complexes et multicouches, en exploitant toute la puissance d’un supercalculateur Cray.
Afin de simplifier la construction et le déploiement d’environnements de deep learning associant le supercalcul, Cray propose aux clients de sa gamme Cray XC des toolkits de deep learning comme le Microsoft Cognitive Toolkit, qui permettent d’exploiter pleinement le potentiel des applications dans ce domaine, c’est-à-dire à grande échelle sur un supercalculateur Cray. La fusion du calcul haute performance (HPC) et du deep learning marque une nouvelle avancée majeure vers la convergence du supercalcul et du big data visée par Cray.
« Seul Cray parvient à allier les solutions et meilleures pratiques de supercalcul et l’expérience en matière d’optimisation des performances pour permettre le traitement à grande échelle de problèmes de deep learning », déclare le Dr. Mark S. Staveley, directeur du deep learning et de l’apprentissage automatique chez Cray. « Nos équipes s’emploient à élargir le champ des possibles en proposant de nouvelles approches et tailles de modèle de façon à convertir les rêves et théories des scientifiques en quelque chose de concret qu’ils peuvent explorer. Notre collaboration avec Microsoft et le CSCS change la donne quant à ce que permet d’accomplir le deep learning. »
En accélérant le processus d’apprentissage, les data scientists obtiennent des résultats en quelques heures voire quelques minutes seulement alors qu’il fallait des semaines ou des mois auparavant. L’intégration des architectures et solutions de supercalcul aux environnements de deep learning permet aujourd’hui de résoudre toute une nouvelle catégorie de problèmes tels que passer de la reconnaissance d’images à celle des vidéos, et de la simple reconnaissance vocale au traitement contextuel du langage naturel.
Les problèmes de deep learning présentent des similitudes algorithmiques avec les applications qui s’exécutent traditionnellement sur les supercalculateurs massivement parallèles. En optimisant la communication entre les nœuds grâce au réseau Aries du Cray® XC™ et à une bibliothèque MPI haute performance, chaque tâche d’apprentissage dispose d’un nombre ressources de calcul nettement supérieur, ce qui réduit le temps nécessaire pour entraîner un modèle.
« L’expertise de Cray dans l’analyse et le profilage des performances associée à l’architecture unique de ses systèmes XC, nous a permis de soumettre des problèmes de deep learning à notre supercalculateur Piz Daint et de les traiter à une échelle jamais atteinte par quiconque jusqu’alors », déclare le Professeur Thomas C. Schulthess, directeur du Centre suisse de calcul scientifique (CSCS). « Le plus passionnant est que nos chercheurs et scientifiques sont désormais en mesure d’utiliser notre supercalculateur Cray XC pour aborder une nouvelle catégorie de problèmes de deep learning qui étaient jusqu’ici impossibles à traiter. »
« Faire appel au supercalcul pour optimiser les tâches de deep learning constitue une avancée majeure en matière d’entraînement et d’évaluation à grande échelle des algorithmes de cette discipline », déclare le Dr. Xuedong Huang, ingénieur éminent au sein de la division Microsoft AI and Research. « Notre collaboration avec Cray et le CSCS démontre à quel point le Microsoft Cognitive Toolkit permet de repousser les limites du deep learning. »
Une équipe d’experts de Cray, Microsoft et du CSCS a renforcé le Microsoft Cognitive Toolkit à hauteur de plus de 1000 accélérateurs GPU NVIDIA® Tesla® P100 sur le supercalculateur Cray XC50 du CSCS. Le résultat de cette collaboration ouvre la voie pour les chercheurs à de nouvelles tâches de deep learning à grande échelle encore plus vastes et plus complexes et multicouches, en exploitant toute la puissance d’un supercalculateur Cray.
Afin de simplifier la construction et le déploiement d’environnements de deep learning associant le supercalcul, Cray propose aux clients de sa gamme Cray XC des toolkits de deep learning comme le Microsoft Cognitive Toolkit, qui permettent d’exploiter pleinement le potentiel des applications dans ce domaine, c’est-à-dire à grande échelle sur un supercalculateur Cray. La fusion du calcul haute performance (HPC) et du deep learning marque une nouvelle avancée majeure vers la convergence du supercalcul et du big data visée par Cray.
« Seul Cray parvient à allier les solutions et meilleures pratiques de supercalcul et l’expérience en matière d’optimisation des performances pour permettre le traitement à grande échelle de problèmes de deep learning », déclare le Dr. Mark S. Staveley, directeur du deep learning et de l’apprentissage automatique chez Cray. « Nos équipes s’emploient à élargir le champ des possibles en proposant de nouvelles approches et tailles de modèle de façon à convertir les rêves et théories des scientifiques en quelque chose de concret qu’ils peuvent explorer. Notre collaboration avec Microsoft et le CSCS change la donne quant à ce que permet d’accomplir le deep learning. »