NVIDIA abbina i processori scalabili Intel Xeon di quarta generazione alle GPU H100

L'intelligenza artificiale è al centro delle innovazioni più trasformative dell'umanità, dallo sviluppo di vaccini COVID a velocità senza precedenti e la diagnosi del cancro all'alimentazione di veicoli autonomi e alla comprensione del cambiamento climatico. Praticamente ogni settore trarrà vantaggio dall'adozione dell'IA, ma la tecnologia è diventata più dispendiosa in termini di risorse man mano che le reti neurali sono aumentate in complessità. Per evitare di porre richieste insostenibili alla generazione di elettricità per far funzionare questa infrastruttura informatica, la tecnologia sottostante deve essere il più efficiente possibile.

L'elaborazione accelerata basata su GPU NVIDIA e la piattaforma NVIDIA AI offrono l'efficienza che consente ai data center di guidare in modo sostenibile la prossima generazione di innovazioni. E ora, in concomitanza con il lancio dei processori scalabili Intel Xeon di quarta generazione, NVIDIA and its partners have kicked off a new generation of accelerated computing systems that are built for energy-efficient AI. When combined with NVIDIA H100 Tensor Core GPUs, these systems can deliver dramatically higher performance, greater scale and higher efficiency than the prior generation, providing more computation and problem-solving per watt.

The new Intel CPUs will be used in NVIDIA DGX H100 systems, as well as in more than 60 servers featuring H100 GPUs from NVIDIA partners around the world.

Supercharging Speed, Efficiency and Savings for Enterprise AI

The coming NVIDIA and Intel-powered systems will help enterprises run workloads an average of 25x more efficiently than traditional CPU-only data center servers. This incredible performance per watt means less power is needed to get jobs done, which helps ensure the power available to data centers is used as efficiently as possible to supercharge the most important work.

Compared to prior-generation accelerated systems, this new generation of NVIDIA-accelerated servers speed training and inference to boost energy efficiency by 3.5x – which translates into real cost savings, with AI data centers delivering over 3x lower total cost of ownership.

New 4th Gen Intel Xeon CPUs Move More Data to Accelerate NVIDIA AI

Among the features of the new 4th Gen Intel Xeon CPU is support for PCIe Gen 5, which can double the data transfer rates from CPU to NVIDIA GPUs and networking. Increased PCIe lanes allow for a greater density of GPUs and high-speed networking within each server.

Una larghezza di banda di memoria più veloce migliora anche le prestazioni dei carichi di lavoro a uso intensivo di dati come l'intelligenza artificiale, mentre la velocità di rete è fino a 400 gigabit al secondo (Gbps) per connessione: supporta trasferimenti di dati più rapidi tra server e storage.

I sistemi e i server NVIDIA DGX H100 dei partner NVIDIA con GPU PCIe H100 vengono forniti con una licenza per NVIDIA AI Enterprise, un end-to-end, sicuro, suite nativa per il cloud di software di sviluppo e implementazione dell'IA, fornendo una piattaforma completa per l'eccellenza nell'AI aziendale efficiente.

I sistemi NVIDIA DGX H100 potenziano l'efficienza per l'IA Supersize

Come quarta generazione della principale infrastruttura AI appositamente costruita al mondo, I sistemi NVIDIA DGX H100 forniscono una piattaforma completamente ottimizzata alimentata dal sistema operativo del data center accelerato, Software di comando base NVIDIA.

Ogni sistema DGX H100 dispone di otto GPU NVIDIA H100, 10 Schede di rete NVIDIA ConnectX-7 e doppi processori scalabili Intel Xeon di quarta generazione per fornire le prestazioni necessarie per creare grandi modelli di intelligenza artificiale generativa, grandi modelli linguistici, sistemi di raccomandazione e altro ancora.

In combinazione con la rete NVIDIA, questa architettura potenzia l'elaborazione efficiente su larga scala offrendo prestazioni fino a 9 volte superiori rispetto alla generazione precedente e prestazioni da 20 a 40 volte superiori rispetto ai server dual-socket X86 non accelerati per la formazione AI e i carichi di lavoro HPC. Se un modello linguistico precedentemente richiesto 40 giorni per l'addestramento su un cluster di server solo X86, la NVIDIA DGX H100 che utilizza CPU Intel Xeon e connettività di rete basata su ConnectX-7 potrebbe completare lo stesso lavoro in appena 1-2 days.

NVIDIA DGX H100 systems are the building blocks of an enterprise-ready, turnkey NVIDIA DGX SuperPOD, which delivers up to one exaflop of AI performance, providing a leap in efficiency for large-scale enterprise AI deployment.

NVIDIA Partners Boost Data Center Efficiency

For AI data center workloads, NVIDIA H100 GPUs enable enterprises to build and deploy applications more efficiently.

Bringing a new generation of performance and energy efficiency to enterprises worldwide, a broad portfolio of systems with H100 GPUs and 4th Gen Intel Xeon Scalable CPUs are coming soon from NVIDIA partners, compreso ASUS, Atos, Cisco, Tecnologie Dell, Ma non c'è ancora una data di uscita per Digimon Survive, GIGABYTE, Hewlett Packard Enterprise, Ma non c'è ancora una data di uscita per Digimon Survive, QCT and Supermicro.

As the bellwether of the efficiency gains to come, il Lenovo ThinkSystem del Flatiron Institute con GPU NVIDIA H100 è in cima all'ultimo elenco Green500 e la potenza delle tecnologie NVIDIA 23 della cima 30 sistemi nell'elenco. Il sistema Flatiron utilizza CPU Intel di precedente generazione, quindi ci si aspetta ancora più efficienza dai sistemi in arrivo sul mercato.

Additionally, la connessione dei server con la rete NVIDIA ConnectX-7 e i processori scalabili Intel Xeon di quarta generazione aumenterà l'efficienza e ridurrà l'infrastruttura e il consumo energetico.

Gli adattatori NVIDIA ConnectX-7 supportano PCIe Gen 5 e 400 Gbps per connessione tramite Ethernet o InfiniBand, raddoppiando il throughput di rete tra i server e lo storage. Gli adattatori supportano il networking avanzato, storage e offload di sicurezza. ConnectX-7 riduce il numero di cavi e porte switch necessari, Per rendere l'affare ancora più dolce 17% o più sull'elettricità necessaria per il collegamento in rete di grandi cluster HPC e AI con accelerazione GPU e contribuendo alla migliore efficienza energetica di questi nuovi server.

Il software NVIDIA AI Enterprise offre una soluzione AI full-stack

Questi sistemi di nuova generazione offrono anche un balzo in avanti nell'efficienza operativa poiché sono ottimizzati per la suite software NVIDIA AI Enterprise.

In esecuzione su NVIDIA H100, NVIDIA AI Enterprise accelera la pipeline di data science e semplifica lo sviluppo e l'implementazione di modelli di IA predittivi per automatizzare i processi essenziali e ottenere rapidamente insight dai dati.

Con una vasta libreria di software full-stack, compresi i flussi di lavoro AI delle applicazioni di riferimento, quadri, modelli preaddestrati e ottimizzazione dell'infrastruttura, il software fornisce una base ideale per scalare il successo dell'IA aziendale.

Per provare NVIDIA H100 che esegue flussi di lavoro e framework AI supportati in NVIDIA AI Enterprise, iscriviti gratuitamente a NVIDIA LaunchPad.