SK hynix präsentiert verbesserte AiMX-Lösung auf dem AI Hardware and Edge AI Summit 2024
Stand-Highlights: Lernen Sie das aktualisierte AiMX kennen
Im KI-Zeitalter, Hochleistungsspeicherprodukte sind für den reibungslosen Betrieb von LLMs von entscheidender Bedeutung. Jedoch, da diese LLMs auf immer größeren Datensätzen trainiert werden und weiter wachsen, Es besteht ein wachsender Bedarf an effizienteren Lösungen. Diesem Bedarf begegnet SK hynix mit seinem PIM-Produkt AiMX, eine KI-Beschleunigerkarte, die mehrere GDDR6-AiMs kombiniert, um eine hohe Bandbreite und hervorragende Energieeffizienz bereitzustellen. Bei der AI Hardware & Edge AI Summit 2024, SK Hynix präsentierte seine aktualisierte Version 32 GB AiMX-Prototyp, der die doppelte Kapazität der Originalkarte bietet, die bei der letztjährigen Veranstaltung vorgestellt wurde. Hervorhebung der erweiterten Verarbeitungsfähigkeiten des neuen AiMX in einer Multi-Batch-Umgebung, SK hynix führte eine Demonstration der Prototypkarte mit dem Lama durch 3 70B-Modell, ein Open-Source-LLM. In particular, Die Demonstration unterstrich die Fähigkeit von AiMX, als hochwirksamer Aufmerksamkeitsbeschleuniger in Rechenzentren zu dienen.
AiMX kümmert sich um die Kosten, performance, und Stromverbrauchsherausforderungen, die mit LLMs nicht nur in Rechenzentren verbunden sind, aber auch in Edge-Geräten und On-Device-KI-Anwendungen. Beispielsweise, wenn es auf mobile On-Device-KI-Anwendungen angewendet wird, AiMX verbessert die LLM-Geschwindigkeit im Vergleich zu mobilem DRAM um das Dreifache und behält dabei den gleichen Stromverbrauch bei.
Empfohlene Präsentation: Beschleunigung von LLM-Diensten von Rechenzentren zu Edge-Geräten
Am letzten Tag des Gipfels, SK hynix hielt eine Präsentation, in der er detailliert darlegte, wie AiMX eine optimale Lösung zur Beschleunigung von LLM-Diensten in Rechenzentren und Edge-Geräten ist. Euicheol Lim, wissenschaftlicher Mitarbeiter und Leiter des Solution Advanced Technology-Teams, teilte die Pläne des Unternehmens zur Entwicklung von AiM-Produkten für On-Device-KI auf Basis von mobilem DRAM mit und enthüllte die Zukunftsvision für AiM. In closing, Lim betonte die Bedeutung einer engen Zusammenarbeit mit Unternehmen, die an der Entwicklung und Verwaltung von Rechenzentren und Edge-Systemen beteiligt sind, um AiMX-Produkte weiter voranzutreiben.
Vorausschauen: Die Vision von SK hynix für AiMX im KI-Zeitalter
Die KI-Hardware & Edge AI Summit 2024 stellte SK hynix eine Plattform zur Verfügung, um die Anwendungen von AiMX in LLMs über Rechenzentren und Edge-Geräte hinweg zu demonstrieren. Als Low-Power, Hochgeschwindigkeitsspeicherlösung, die große Datenmengen verarbeiten kann, AiMX wird eine Schlüsselrolle bei der Weiterentwicklung von LLMs und KI-Anwendungen spielen.