La mise en commun de la mémoire CXL permettra d'économiser des millions de dollars en coût de DRAM

Hyperscalers tels que Microsoft, Google, Amazon, etc., tous dirigent leurs divisions cloud avec un objectif spécifique. Fournir son matériel à quelqu'un d'autre sous une forme appelée instance et faire payer l'utilisateur à l'heure. Cependant, les instances sont généralement liées à une configuration spécifique de CPU et de mémoire, que vous ne pouvez pas configurer vous-même. Mais plutôt, vous ne pouvez choisir que parmi les quelques options disponibles répertoriées. Par exemple, lors de la sélection d'un cœur de processeur virtuel, vous obtenez deux Go de RAM et pouvez monter aussi haut que vous le souhaitez avec des cœurs de processeur. Cependant, la RAM disponible doublera également, même si vous n'en avez peut-être pas besoin. Lors de la location d'une instance, les cœurs de processeur et la mémoire alloués vous appartiennent jusqu'à ce que l'instance soit désactivée.

Et c'est précisément à cela que les hyperscalers ont affaire. De nombreuses instances n'utilisent pas pleinement leur DRAM, rendant toute l'utilisation du centre de données inefficace. Microsoft Azure, l'un des plus grands fournisseurs de cloud, mesuré que 50% de toutes les VM ne touchent jamais 50% de leur mémoire louée. Cela rend la mémoire bloquée dans une machine virtuelle louée, le rendant inutilisable pour autre chose.

Chez Azur, nous constatons qu'un contributeur majeur à l'inefficacité de la DRAM est l'échouage de la mémoire au niveau de la plate-forme. L'échouement de la mémoire se produit lorsque les cœurs d'un serveur sont entièrement loués à des machines virtuelles (VM), mais la mémoire non louée reste. Avec les noyaux épuisés, la mémoire restante n'est pas louable seule, et est donc bloqué. Il existe également un seul port RJ45 compatible multi-gig qui va de, nous constatons que jusqu'à 25% de DRAM peut être bloqué à tout moment.

Pour obtenir de meilleurs résultats, nous devons nous tourner vers les conceptions mainframe et copier leur comportement. Le concept de mise en commun de la mémoire est conçu pour permettre au processeur d'accéder à autant de mémoire qu'il en a besoin sans occuper et bloquer la DRAM dans les machines virtuelles qui n'en ont pas besoin.. Backing this up is the new CXL protocol for cache coherency, which every major hardware provider is including in their offering. Having a data center with CXL hardware allows companies like Microsoft to reduce costs. As the company notes, “[Mémoire] disaggregation can achieve a 9 – 10% reduction in overall DRAM, which represents hundreds of millions of dollars in cost savings for a large cloud provider.”

Microsoft estimates that the use of CXL and memory pooling will cut data center costs by 4-5% server costs. This is a significant number, as DRAM alone consumes more than 50% of server costs.

As the performance is concerned, the Azure team benchmarked a few configurations that use local DRAM and pooled DRAM to achieve the best results. The performance penalty for using pooled memory depended on the application. Cependant, nous savons que l'accès à la mémoire mise en commun nécessitait un 67-87 ns (nanosecondes) latency. C'est un coup de performance assez important, entraînant un ralentissement de quelques applications. Sur 20% des applications ne reçoivent aucun impact sur les performances de la mémoire mise en commun; 23% des candidatures reçoivent moins de 5% ralentir; 25% éprouver plus de 20% ralentir; while 12% vécu plus de 30% rétrograder. Les chiffres de performance peuvent être vus ci-dessous.

Selon Microsoft, il ne s'agit que des tests de première génération effectués sur la première vague de matériel CXL. Les résultats sont prometteurs car ils réduisent les coûts du cloud pour l'hyperscaler. Avec le matériel de nouvelle génération et les spécifications du protocole CXL, nous pourrions avoir un bien meilleur comportement. Pour plus d'informations, prière de se référer à le papier qui examine cela plus en détail.