Prometedora tecnología añade terabytes de memoria a cualquier GPU, pero con una gran trampa

La startup Panmnesia de KAIST afirma haber desarrollado un nuevo enfoque para aumentar la memoria de la GPU. Esta innovación permitiría agregar memoria a escala de terabytes utilizando medios de almacenamiento rentables como SSD basados en NAND, manteniendo niveles de rendimiento aceptables. Sin embargo, existe un inconveniente: la tecnología se apoya en el estándar Compute Express Link (CXL), el cual aún no ha sido ampliamente probado en aplicaciones y requiere integración de hardware especializado.

CXL es un estándar de interconexión abierto diseñado para conectar de manera eficiente CPUs, GPUs, memoria y otros aceleradores. Permite que estos componentes compartan memoria coherentemente, lo que significa que pueden acceder a la memoria compartida sin necesidad de copiar o mover datos, reduciendo la latencia y aumentando el rendimiento. Dado que CXL no es un protocolo síncrono como el estándar DDR de JEDEC, puede acomodar varios tipos de medios de almacenamiento sin requerir sincronización exacta de tiempos o latencias.

Panmnesia afirma que las pruebas iniciales han mostrado que su solución CXL-GPU puede superar en rendimiento a los métodos tradicionales de expansión de memoria de GPU en más de tres veces. Para su prototipo, Panmnesia conectó el Punto Final CXL (que incluye terabytes de memoria) a su CXL-GPU a través de dos cables MCIO (Entrada/Salida de Múltiples Canales). Estos cables de alta velocidad admiten los estándares PCIe y CXL, facilitando la comunicación eficiente entre la GPU y la memoria.

La adopción, sin embargo, podría no ser sencilla. Es posible que las tarjetas GPU requieran ranuras adicionales compatibles con PCIe/CXL, y aún persisten desafíos técnicos significativos, especialmente en la integración de la estructura lógica y los subsistemas de CXL en las GPU actuales. La integración de nuevos estándares como CXL en hardware existente implica garantizar la compatibilidad con arquitecturas actuales y desarrollar nuevos componentes de hardware, como ranuras y controladores compatibles con CXL, lo cual puede ser complejo y exigir recursos.

A pesar de los obstáculos, el nuevo prototipo de CXL-GPU de Panmnesia promete una expansión de memoria sin precedentes para las GPUs. Sin embargo, su dependencia del estándar emergente CXL y la necesidad de hardware especializado podrían dificultar su adopción generalizada de inmediato. Aun así, los beneficios son claros, especialmente para modelos de aprendizaje profundo a gran escala que a menudo superan la capacidad de memoria de las GPUs actuales.