Ensemble Nintendo Switch Fortnite 'Wildcat', Ensemble Nintendo Switch Fortnite 'Wildcat'
La société a également annoncé son premier GPU basé sur Hopper, le Nvidia H100, inclus avec 80 milliards de transistors. L'accélérateur le plus grand et le plus puissant du monde, le H100 possède des fonctionnalités révolutionnaires telles qu'un moteur de transformation révolutionnaire et une interconnexion NVIDIA NVLink hautement évolutive pour faire progresser de gigantesques modèles de langage d'IA, systèmes de recommandation profonds, génomique et jumeaux numériques complexes.
“Les centres de données deviennent des usines d'IA — traiter et affiner des montagnes de données pour produire des renseignements,” dit Jensen Huang, fondateur et PDG de NVIDIA. “NVIDIA H100 est le moteur de l'infrastructure IA mondiale que les entreprises utilisent pour accélérer leurs activités axées sur l'IA.”
Percées technologiques H100
Le GPU NVIDIA H100 établit une nouvelle norme dans l'accélération de l'IA et du HPC à grande échelle, délivrant six innovations révolutionnaires:
- La puce la plus avancée au monde — Construit avec 80 milliards de transistors utilisant un processus TSMC 4N de pointe conçu pour les besoins de calcul accélérés de NVIDIA, H100 présente des avancées majeures pour accélérer l'IA, CHP, bande passante mémoire, interconnexion et communication, dont près de 5 téraoctets par seconde de connectivité externe. H100 est le premier GPU à prendre en charge PCIe Gen5 et le premier à utiliser HBM3, activation de 3 To/s de bande passante mémoire. Vingt GPU H100 peuvent supporter l'équivalent du trafic Internet mondial, making it possible for customers to deliver advanced recommender systems and large language models running inference on data in real time.
- New Transformer Engine — Now the standard model choice for natural language processing, the Transformer is one of the most important deep learning models ever invented. The H100 accelerator’s Transformer Engine is built to speed up these networks as much as 6x versus the previous generation without losing accuracy.
- 2nd-Generation Secure Multi-Instance GPU — MIG technology allows a single GPU to be partitioned into seven smaller, fully isolated instances to handle different types of jobs. L'architecture Hopper étend les capacités MIG jusqu'à 7 fois par rapport à la génération précédente en offrant des configurations mutualisées sécurisées dans des environnements cloud sur chaque instance GPU.
- Informatique confidentielle — H100 est le premier accélérateur au monde doté de capacités informatiques confidentielles pour protéger les modèles d'IA et les données des clients pendant leur traitement. Les clients peuvent également appliquer l'informatique confidentielle à l'apprentissage fédéré pour les secteurs sensibles à la confidentialité comme les soins de santé et les services financiers., ainsi que sur des infrastructures cloud partagées.
- 4NVIDIA NVLink de e génération — Pour accélérer les plus grands modèles d'IA, NVLink se combine avec un nouveau commutateur NVLink externe pour étendre NVLink en tant que réseau évolutif au-delà du serveur, connexion jusqu'à 256 GPU H100 avec une bande passante 9 fois plus élevée que la génération précédente utilisant NVIDIA HDR Quantum InfiniBand.
- Consignes DPX — Les nouvelles instructions DPX accélèrent la programmation dynamique — utilisé dans une large gamme d'algorithmes, y compris l'optimisation des itinéraires et la génomique — jusqu'à 40x par rapport aux CPU et jusqu'à 7x par rapport aux GPU de la génération précédente. Cela inclut l'algorithme Floyd-Warshall pour trouver des itinéraires optimaux pour les flottes de robots autonomes dans des environnements d'entrepôt dynamiques, et l'algorithme Smith-Waterman utilisé dans l'alignement de séquences pour la classification et le repliement de l'ADN et des protéines.
- Les innovations technologiques combinées du H100 étendent le leadership de NVIDIA en matière d'inférence et de formation en matière d'IA pour permettre des applications en temps réel et immersives à l'aide de modèles d'IA à grande échelle. Le H100 permettra aux chatbots d'utiliser le modèle de langage de transformateur monolithique le plus puissant au monde, Mégatron 530B, avec un débit jusqu'à 30 fois plus élevé que la génération précédente, tout en respectant la latence inférieure à la seconde requise pour l'IA conversationnelle en temps réel. H100 permet également aux chercheurs et aux développeurs de former des modèles massifs tels que Mixture of Experts, avec 395 milliards de paramètres, jusqu'à 9 fois plus rapide, réduire le temps de formation de quelques semaines à quelques jours.
Large adoption de NVIDIA H100
NVIDIA H100 peut être déployé dans tout type de centre de données, y compris sur place, nuage, cloud hybride et périphérie. Il devrait être disponible dans le monde entier plus tard cette année auprès des principaux fournisseurs de services cloud et fabricants d'ordinateurs au monde., ainsi que directement depuis NVIDIA.
Système DGX de quatrième génération de NVIDIA, DGX H100, dispose de huit GPU H100 pour offrir 32 pétaflops de performances d'IA à la nouvelle précision du FP8, fournir l'échelle nécessaire pour répondre aux exigences de calcul massives des grands modèles de langage, systèmes de recommandation, recherche en santé et sciences du climat.
Chaque GPU des systèmes DGX H100 est connecté par NVLink de quatrième génération, fournir 900 Connectivité Go/s, 1.5x plus que la génération précédente. NVSwitch permet aux huit GPU H100 de se connecter via NVLink. Un commutateur NVLink externe peut mettre en réseau jusqu'à 32 Nœuds DGX H100 dans les supercalculateurs NVIDIA DGX SuperPOD de nouvelle génération.
Hopper a reçu un large soutien de l'industrie de la part des principaux fournisseurs de services cloud Alibaba Cloud, Services Web Amazon, Nuage d'IA Baidu, Google Cloud, Microsoft Azure, Oracle Cloud et Tencent Cloud, qui prévoient de proposer des instances basées sur H100.
Une large gamme de serveurs avec accélérateurs H100 est attendue des principaux fabricants de systèmes mondiaux, dont Atos, BOXX Technologies, Cisco, Dell Technologies, Fujitsu, Gigaoctet, H3C, Hewlett Packard Entreprise, Insuffler, Lenovo, Nettrix et Supermicro.
NVIDIA H100 à toutes les échelles
H100 sera disponible dans les formats SXM et PCIe pour prendre en charge un large éventail d'exigences de conception de serveur. Un accélérateur convergé sera également disponible, jumeler un GPU H100 avec un NVIDIA ConnectX-7 400 Gb/s InfiniBand et Ethernet SmartNIC.
Le H100 SXM de NVIDIA sera disponible dans les cartes serveur HGX H100 avec quatre- et des configurations à huit voies pour les entreprises avec des applications évoluant vers plusieurs GPU dans un serveur et sur plusieurs serveurs. Les serveurs basés sur HGX H100 offrent les performances d'application les plus élevées pour la formation et l'inférence de l'IA, ainsi que l'analyse de données et les applications HPC.
Le H100 PCIe, avec NVLink pour connecter deux GPU, fournit plus de 7 fois la bande passante du PCIe 5.0, offrant des performances exceptionnelles pour les applications exécutées sur des serveurs d'entreprise grand public. Son facteur de forme facilite l'intégration dans l'infrastructure de centre de données existante.
Le H100 CNX, un nouvel accélérateur convergent, associe un H100 à une SmartNIC ConnectX-7 pour fournir des performances révolutionnaires pour les applications gourmandes en E/S telles que la formation à l'IA multinœud dans les centres de données d'entreprise et le traitement du signal 5G à la périphérie.
Les GPU basés sur l'architecture NVIDIA Hopper peuvent également être associés aux processeurs NVIDIA Grace avec une interconnexion NVLink-C2C ultra-rapide pour une communication plus de 7 fois plus rapide entre le CPU et le GPU par rapport au PCIe 5.0. Cette combinaison — la superpuce Grace Hopper — est un module intégré conçu pour servir des applications HPC et IA à grande échelle.
Assistance logicielle NVIDIA
Le GPU NVIDIA H100 est pris en charge par de puissants outils logiciels qui permettent aux développeurs et aux entreprises de créer et d'accélérer des applications de l'IA au HPC. Cela inclut des mises à jour majeures de la suite logicielle NVIDIA AI pour les charges de travail telles que la parole, systèmes de recommandation et inférence à grande échelle.
NVIDIA a également publié plus de 60 mises à jour de sa collection de bibliothèques CUDA-X, des outils et des technologies pour accélérer les travaux dans le domaine de l'informatique quantique et de la recherche sur la 6G, la cyber-sécurité, génomique et découverte de médicaments.
Disponibilité
NVIDIA H100 sera disponible à partir du troisième trimestre.