AMD ha anunciado oficialmente ROCm 7, una nueva versión de su pila de software de código abierto diseñada para acelerar la inteligencia artificial (IA) y mejorar la productividad de los desarrolladores. Esta actualización sigue a la popular versión ROCm 6, que ha recibido numerosas mejoras en los últimos años, especialmente en el ámbito de la IA.
ROCm 7 trae cambios importantes, con un enfoque en mejorar el rendimiento en inferencia y la incorporación de nuevas funciones y optimizaciones.
El nuevo stack incluye varias actualizaciones, como frameworks mejorados como vLLM v1, llm-d y SGLang, destinados a mejorar el rendimiento de inferencia. También se han integrado optimizaciones como Inferencia Distribuida, Prefill y Desagregación, que se espera que mejoren considerablemente la eficiencia de las cargas de trabajo de IA.
Una de las principales novedades de ROCm 7 es la incorporación de nuevos núcleos y algoritmos como GEMM Autotuning, MoE y Attention, además de la posibilidad de crear núcleos en Python. El stack también ahora soporta tipos de datos avanzados como FP8, FP6, FP4 y precisión mixta, lo que dará lugar a una gran mejora del rendimiento, especialmente para los modelos de IA y cálculos complejos. Las GPUs MI350 de AMD ahora cuentan con soporte completo para estos tipos de datos avanzados, lo que garantiza una mayor eficiencia y rendimiento.
En cuanto a rendimiento, AMD destaca un aumento impresionante de hasta 3,5 veces en las cargas de trabajo de inferencia. Por ejemplo, ROCm 7 muestra un incremento de 3,2x en Llama 3.1 70B, 3,4x en Qwen2-72B y hasta 3,8x en DeepSeek R1 en comparación con ROCm 6. En las pruebas de DeepSeek R1, la GPU Instinct MI355X con ROCm 7 logró una mayor tasa de transferencia de hasta un 30% más rápido en comparación con la plataforma NVIDIA Blackwell B200 que ejecuta CUDA, en términos de rendimiento de FP8.
El rendimiento de entrenamiento también ha experimentado un gran aumento, con una mejora de hasta 3x en cargas de trabajo como Llama 2 70B, Llama 3.1 8B y Quen 1.5 7B. Estas mejoras consolidan a ROCm 7 como un contendiente importante en el espacio de IA.
Como parte de su expansión en el campo de la IA empresarial, ROCm 7 ofrece soluciones de extremo a extremo, integración segura de datos y facilidad de implementación, lo que lo convierte en una opción ideal para cargas de trabajo de GenAI. El stack también es compatible con una variedad de hardware, incluidos GPUs, CPUs y DPUs, y ofrece soporte para diversos casos de uso.
A finales de este año, AMD ampliará el soporte de ROCm a laptops y estaciones de trabajo basadas en Ryzen, con soporte para Linux y Windows previsto para la segunda mitad de 2025.
1 comentario