Científicos desarrollan modelos de IA que utilizan menos energía que una bombilla
Investigaciones recientes realizadas en la UC Santa Cruz revelan que los modernos LLMs con miles de millones de parámetros pueden funcionar con tan solo 13 vatios de energía sin perder rendimiento.
Los modelos de lenguaje grandes que impulsan los chatbots actuales, como ChatGPT, Gemini y Claude, son sistemas de inteligencia artificial generativa sumamente poderosos y, a su vez, sumamente consumidores de energía. Sin embargo, según una investigación reciente de la Universidad de California, Santa Cruz, se ha demostrado que los LLM modernos que funcionan con miles de millones de parámetros pueden operar con solo 13 vatios de potencia sin perder rendimiento. Esto equivale aproximadamente al consumo de una bombilla de luz de 100W, y representa una mejora de 50 veces en comparación con los 700W que consume una GPU Nvidia H100.
El autor principal del estudio, Jason Eshraghian, comentó que lograron el mismo rendimiento a un costo mucho menor simplemente modificando fundamentalmente cómo funcionan las redes neuronales y construyendo hardware personalizado. Eliminaron la matriz de multiplicación de la red neuronal, la cual es fundamental en los algoritmos de los LLM actuales.
Para superar este problema, el equipo de UC Santa Cruz forzó a los números dentro de las matrices a adoptar un estado ternario, es decir, cada número tenía un valor de menos uno, cero o más uno. De esta forma, los procesadores simplemente suman los números en lugar de multiplicarlos, lo que no afecta el algoritmo pero ahorra una gran cantidad de costos en términos de hardware.
Además, introdujeron una computación basada en tiempo en el sistema para mantener el rendimiento a pesar de la reducción en el número de operaciones, creando efectivamente una "memoria" para la red, lo que aumentó la velocidad de procesamiento de las operaciones disminuidas. Se espera que muchas de estas mejoras de eficiencia se puedan aplicar a modelos existentes utilizando software de código abierto y ajustes menores en el hardware.
Con los fabricantes de chips como Nvidia y AMD continuamente empujando los límites del rendimiento de los procesadores GPU, la demanda eléctrica y los costos financieros de los centros de datos que albergan estos sistemas han aumentado considerablemente en los últimos años. Arm CEO Rene Haas advirtió que, si no se toman medidas correctivas rápidamente, los centros de datos de IA podrían consumir hasta el 20-25% de toda la producción eléctrica de EE. UU. para fines de la década.
