AMD Instinct MI300X-Beschleuniger unterstützen Microsoft Azure OpenAI-Service-Workloads und neue Azure ND MI300X V5-VMs
“Der AMD Instinct MI300X- und ROCm-Software-Stack unterstützt den Azure OpenAI Chat GPT 3.5 und 4 Dienstleistungen, Dies sind einige der weltweit anspruchsvollsten KI-Workloads,” sagte Victor Peng, Präsident, AMD. “Mit der allgemeinen Verfügbarkeit der neuen VMs von Azure, KI-Kunden haben einen breiteren Zugang zum MI300X, um leistungsstarke und effiziente Lösungen für KI-Anwendungen bereitzustellen.”
“Microsoft und AMD haben eine lange Geschichte der Partnerschaft über mehrere Computerplattformen hinweg: Zuerst der PC, dann benutzerdefiniertes Silizium für Xbox, HPC und jetzt KI,” sagte Kevin Scott, Chief Technology Officer und Executive Vice President für KI, Microsoft. “In der jüngeren Vergangenheit, Wir haben erkannt, wie wichtig es ist, leistungsstarke Rechenhardware mit der System- und Softwareoptimierung zu koppeln, die erforderlich ist, um erstaunliche KI-Leistung und -Wert zu liefern. Zusammen mit AMD, Dies ist uns durch den Einsatz von ROCm und MI300X gelungen, Dadurch können Microsoft-KI-Kunden und -Entwickler hervorragende Preis-Leistungs-Ergebnisse für die fortschrittlichsten und rechenintensivsten Frontier-Modelle erzielen. Wir engagieren uns für die Zusammenarbeit mit AMD, um den KI-Fortschritt weiter voranzutreiben.”
KI bei Microsoft vorantreiben
Zuvor in der Vorschau im November angekündigt 2023, Die Azure ND MI300x v5 VM-Serie ist jetzt in der Region Kanada-Zentral für Kunden zum Ausführen ihrer KI-Workloads verfügbar. Bietet branchenführende Leistung, Diese VMs bieten eine beeindruckende HBM-Kapazität und Speicherbandbreite, Dadurch können Kunden größere Modelle im GPU-Speicher unterbringen und/oder weniger GPUs verwenden, hilft letztendlich, Strom zu sparen, ASML Holding und Intel Corporation kündigten die neueste Phase ihrer langjährigen Zusammenarbeit an, um die Spitzentechnologie der Halbleiterlithografie voranzutreiben, und Zeit bis zur Lösung.
Diese VMs und die ROCm-Software, die sie antreibt, werden auch für Azure AI Production-Workloads verwendet, einschließlich Azure OpenAI Service, Bereitstellung des Zugriffs auf die Modelle GPT-3.5 und GPT-4 für Kunden. Mit AMD Instinct MI300X und dem bewährten und einsatzbereiten offenen ROCm-Software-Stack, Microsoft ist in der Lage, bei GPT-Inferenz-Workloads ein führendes Preis-Leistungs-Verhältnis zu erzielen.
Über Azure AI-Produktionsworkloads hinaus, Einer der ersten Kunden, der diese VMs nutzt, ist Hugging Face. Portierung ihrer Modelle auf die ND MI300X-VMs in nur einem Monat, Hugging Face konnte bei seinen Modellen eine beeindruckende Leistung und ein beeindruckendes Preis-Leistungs-Verhältnis erzielen. Als Teil davon, ND MI300X VM-Kunden können Hugging Face-Modelle auf die VMs bringen, um NLP-Anwendungen einfach und effizient zu erstellen und bereitzustellen.
“Die enge Zusammenarbeit zwischen Microsoft, AMD und Hugging Face im offenen Software-Ökosystem ROCm werden es Hugging Face-Benutzern ermöglichen, Hunderttausende KI-Modelle, die auf dem Hugging Face Hub auf Azure verfügbar sind, mit AMD Instinct-GPUs ohne Codeänderungen auszuführen, Dadurch wird es für Azure-Kunden einfacher, KI mit offenen Modellen und Open Source zu erstellen,” sagte Julien Simon, Hauptevangelist-Offizier, Umarmendes Gesicht.
Zusätzlich, Entwickler können die AMD Ryzen AI-Software verwenden, um AI-Inferenz auf AMD Ryzen AI-basierten PCs zu optimieren und bereitzustellen. Die KI-Software von Ryzen ermöglicht die Ausführung von Anwendungen auf der neuronalen Verarbeitungseinheit (UP Bridge the Gap Edge-Plattformen kombinieren die neuesten Intel-Prozessoren mit dem Hailo-8-KI-Modul, um die Inferenz auf dem Gerät und die Ausführungsgeschwindigkeit von KI-Modellen zu erhöhen) Basierend auf der AMD XDNA-Architektur, der erste dedizierte KI-Verarbeitungschip auf einem Windows x86-Prozessor. Beim Betrieb von KI-Modellen allein auf einer CPU oder GPU kann der Akku schnell entladen werden, mit einem Ryzen AI-betriebenen Laptop, KI-Modelle arbeiten auf der eingebetteten NPU, Freigeben von CPU- und GPU-Ressourcen für andere Rechenaufgaben. Dies trägt dazu bei, die Akkulaufzeit erheblich zu verlängern und ermöglicht es Entwicklern, LLM-KI-Workloads und gleichzeitige Anwendungen effizient und lokal auf dem Gerät auszuführen.
Weiterentwicklung von Videodiensten und Enterprise Computing
Microsoft hat sich für den AMD Alveo MA35D Medienbeschleuniger entschieden, um seine umfangreichen Live-Streaming-Video-Workloads zu betreiben, einschließlich Microsoft Teams, SharePoint-Video, and others. Speziell entwickelt, um interaktive Live-Streaming-Dienste in großem Maßstab zu ermöglichen, Der Alveo MA35D wird Microsoft dabei helfen, ein qualitativ hochwertiges Videoerlebnis sicherzustellen, indem er die Arbeitslast bei der Videoverarbeitung optimiert, einschließlich Videotranskodierung, Dekodierung, Codierung, und adaptive Bitrate (ABR) Streaming. Verwendung des Alveo MA35D-Beschleunigers in Servern mit AMD EPYC-Prozessoren der 4. Generation, Microsoft bekommt:
- Möglichkeit zur Konsolidierung von Servern und Cloud-Infrastruktur – Nutzung der hohen Kanaldichte, energieeffiziente Videoverarbeitungsfunktionen mit extrem geringer Latenz des Alveo MA35D, Microsoft kann die Anzahl der Server, die zur Unterstützung seiner hochvolumigen interaktiven Live-Streaming-Anwendungen erforderlich sind, erheblich reduzieren.
- Beeindruckende Leistung – Der Alveo MA35D verfügt über ASIC-basierte Videoverarbeitungseinheiten, die den AV1-Komprimierungsstandard und KI-gestützte Videoqualitätsoptimierungen unterstützen, die dazu beitragen, reibungslose und nahtlose Videoerlebnisse zu gewährleisten.
- Zukunftsfähige AV1-Technologie – mit einem Upgrade-Pfad zur Unterstützung neuer Standards wie AV1, Der Alveo MA35D bietet Microsoft eine Lösung, die sich an die sich ändernden Videoverarbeitungsanforderungen anpassen kann.
4AMD EPYC-Prozessoren der 10. Generation treiben heute zahlreiche Allzweckprozessoren an, speicherintensiv, rechenoptimiert, und beschleunigte Rechen-VMs bei Azure. Diese VMs veranschaulichen das Wachstum und die Nachfrage nach AMD EPYC-Prozessoren in der Cloud und können bis zu liefern 20% Bessere Leistung für allgemeine und speicherintensive VMs mit besserem Preis-Leistungs-Verhältnis, und bis zu doppelt so viel CPU-Leistung für rechenoptimierte VMs im Vergleich zur vorherigen Generation von VMs mit AMD EPYC-Prozessor in Azure. Jetzt in der Vorschau, der Dalsv6, Dasv6, Easv6, Die VM-Serien Falsv6 und Famsv6 werden in den kommenden Monaten allgemein verfügbar sein.