La instrucción AMD WMMA es una respuesta directa a NVIDIA Tensor Cores

La IP de gráficos RDNA3 de AMD está a la vuelta de la esquina, y estamos escuchando más información sobre la próxima arquitectura. Históricamente, a medida que avanzan las GPU, no es inusual que las empresas agreguen bloques de hardware dedicados para acelerar una tarea específica. Hoy, Los ingenieros de AMD han actualizado el backend del compilador LLVM para incluir una nueva instrucción llamada Wave Matrix Multiply-Accumulate (WMMA). Esta instrucción estará presente en GFX11, cual es la arquitectura GPU RDNA3. Con WMMA, AMD ofrecerá soporte para procesar tensores de tamaño 16x16x16 en formatos de precisión FP16 y BF16. Con estas instrucciones, AMD está agregando nuevos arreglos para admitir el procesamiento de operaciones de matriz de multiplicación y acumulación. Esto imita de cerca el trabajo que NVIDIA está haciendo con Tensor Cores.

AMD ROCm 5.2 La actualización de API enumera el caso de uso para este tipo de instrucción, que puedes ver a continuación:

rocWMMA proporciona una API de C++ para facilitar la descomposición de la matriz, la multiplicación de los problemas acumulados en fragmentos y su uso en operaciones por bloques que se distribuyen en paralelo a través de los frentes de onda de la GPU.. La API es una biblioteca de encabezado de código de dispositivo GPU, lo que significa que la aceleración del núcleo de la matriz se puede compilar directamente en el código de su dispositivo kernel. Esto puede beneficiarse de la optimización del compilador en la generación del ensamblaje del kernel y no genera costos generales adicionales de vinculación a bibliotecas de tiempo de ejecución externas o tener que lanzar kernels separados..

rocWMMA se lanza como una biblioteca de encabezados e incluye proyectos de prueba y muestra para validar e ilustrar usos de ejemplo de la API de C++. La multiplicación de la matriz GEMM se usa como validación principal dado el fuerte precedente para la biblioteca. Sin embargo, la cartera de uso está creciendo significativamente y demuestra diferentes formas en que se puede consumir rocWMMA.