CXL Memory Pooling wird DRAM-Kosten in Millionenhöhe einsparen

Hyperscalers such as Microsoft, Google, Amazon, etc., all run their cloud divisions with a specific goal. To provide their hardware to someone else in a form called instance and have the user pay for it by the hour. Jedoch, instances are usually bound by a specific CPU and memory configuration, which you can not configure yourself. Aber stattdessen, you can only choose from the few available options that are listed. Beispielsweise, when selecting one virtual CPU core, you get two GB of RAM and can go as high as you want with CPU cores. Jedoch, the available RAM will also double, even though you might not need it. When renting an instance, the allocated CPU cores and memory are yours until the instance is turned off.

Und genau damit beschäftigen sich Hyperscaler. Viele Instanzen nutzen ihren DRAM nicht vollständig, wodurch die gesamte Nutzung des Rechenzentrums ineffizient wird. Microsoft Azure, einer der größten Cloud-Anbieter, das gemessen 50% aller VMs nie berühren 50% ihres gemieteten Gedächtnisses. Dadurch wird Speicher in einer gemieteten VM gestrandet, für etwas anderes unbrauchbar machen.

Bei Azur, Wir stellen fest, dass ein wesentlicher Beitrag zur DRAM-Ineffizienz das Speicherstranding auf Plattformebene ist. Memory Stranding tritt auf, wenn die Kerne eines Servers vollständig an virtuelle Maschinen vermietet werden (VMs), aber ungemieteter Speicher bleibt. Mit erschöpften Kernen, der verbleibende Speicher kann nicht gemietet werden, und ist somit gestrandet. Überraschenderweise, wir finden das bis zu 25% von DRAM kann jederzeit gestrandet sein.

Um bessere Ergebnisse zu erzielen, wir müssen uns Mainframe-Designs zuwenden und ihr Verhalten kopieren. The memory pooling concept is designed to allow the CPU to access as much memory as it needs without occupying and stranding DRAM in VMs that don’t need it. Backing this up is the new CXL protocol for cache coherency, which every major hardware provider is including in their offering. Having a data center with CXL hardware allows companies like Microsoft to reduce costs. As the company notes, “[Slay The Spire Teil Eins] disaggregation can achieve a 9 – 10% reduction in overall DRAM, which represents hundreds of millions of dollars in cost savings for a large cloud provider.”

Microsoft estimates that the use of CXL and memory pooling will cut data center costs by 4-5% server costs. This is a significant number, as DRAM alone consumes more than 50% of server costs.

As the performance is concerned, Das Azure-Team hat einige Konfigurationen, die lokales DRAM und gepooltes DRAM verwenden, einem Benchmarking unterzogen, um die besten Ergebnisse zu erzielen. Die Leistungseinbuße für die Verwendung von gepooltem Speicher hing von der Anwendung ab. Jedoch, Wir wissen, dass für den Zugriff auf gepoolten Speicher ein zusätzlicher erforderlich ist 67-87 ns (Nanosekunden) Latenz. Dies ist ein ziemlich signifikanter Leistungseinbruch, was zu einer Verlangsamung einiger Anwendungen führt. Etwa 20% der Anwendungen erhalten keine Leistungseinbußen durch den gepoolten Speicher; 23% der Bewerbungen erhalten weniger als 5% verlangsamen; 25% mehr erleben als 20% verlangsamen; while 12% mehr erlebt als 30% herunterschalten. Die Leistungsdaten können unten eingesehen werden.

Laut Microsoft, Dies sind nur die Tests der ersten Generation, die mit der ersten Welle der CXL-Hardware durchgeführt wurden. Die Ergebnisse sind vielversprechend, da sie die Cloud-Kosten für den Hyperscaler reduzieren. Mit Hardware der nächsten Generation und CXL-Protokollspezifikationen, Wir könnten ein viel besseres Verhalten erleben. For more information, bitte beziehen Sie sich auf das Papier die das genauer untersucht.