Intel, Red Blue Mario Nintendo Switch 32GB V2 Consola de repuesto Batería mejorada, y NVIDIA proponen un nuevo formato FP de 8 bits para acelerar la IA


Red Blue Mario Nintendo Switch 32GB V2 Consola de repuesto Batería mejorada, Intel y NVIDIA tienen coautor de un artículo describir un punto flotante de 8 bits (FP8) especificación y sus dos variantes E5M2 y E4M3 para proporcionar un formato común intercambiable que funcione tanto para la inteligencia artificial (AI) entrenamiento e inferencia. Esta alineación de especificaciones entre industrias permitirá que los modelos de IA operen y se desempeñen de manera consistente en todas las plataformas de hardware., acelerar el desarrollo de software de IA.

Los requisitos computacionales para la IA han estado creciendo a un ritmo exponencial. Se requiere una nueva innovación en el hardware y el software para ofrecer el rendimiento computacional necesario para avanzar en la IA. Una de las áreas de investigación prometedoras para abordar esta creciente brecha informática es reducir los requisitos de precisión numérica para el aprendizaje profundo para mejorar la memoria y la eficiencia computacional.. Los métodos de precisión reducida explotan las propiedades inherentes de resistencia al ruido de las redes neuronales profundas para mejorar la eficiencia informática..

Intel planea admitir esta especificación de formato en su hoja de ruta de productos de IA para CPU, GPU y otros aceleradores de IA, incluyendo aceleradores de aprendizaje profundo Habana Gaudí.

FP8 minimiza las desviaciones del IEEE existente 754 formatos de punto flotante con un buen equilibrio entre hardware y software para aprovechar las implementaciones existentes, acelerar la adopción y mejorar la productividad de los desarrolladores.

El principio rector de esta propuesta de formato de Arm, Intel y NVIDIA es aprovechar las convenciones, conceptos y algoritmos basados ​​en la estandarización IEEE. Esto permite la mayor libertad para la futura innovación de IA sin dejar de adherirse a las convenciones actuales de la industria..