La mayor empresa tecnológica de Rusia acaba de lanzar una herramienta de inteligencia artificial gratuita que podría salvar a Microsoft, Google y Facebook de perder decenas de...
Yandex presenta una herramienta de entrenamiento LLM de código abierto que ofrece importantes ahorros en recursos de GPU.
Yandex, el gigante tecnológico ruso, ha lanzado una nueva herramienta de código abierto para ayudar a las empresas de inteligencia artificial a ahorrar dinero y recursos al entrenar nuevos modelos. En su anuncio, Yandex menciona que la nueva herramienta YaFSDP puede proporcionar un entrenamiento de modelos de lenguaje grandes (LLM) más rápido y eficiente, y puede ayudar a ahorrar hasta un 20% de los recursos de GPU, lo que se traduce en ahorros de tiempo y dinero.
Además, Yandex ha publicado recursos para probar YaFSDP en GitHub para que cualquiera pueda ver y experimentar con ellos. La empresa detalla muchos detalles técnicos en su publicación, afirmando que la nueva herramienta de código abierto es "la herramienta más efectiva públicamente disponible para mejorar la comunicación de GPU y reducir el uso de memoria en el entrenamiento de LLM", y puede ofrecer hasta un 26% más de velocidad que FSDP, la versión anterior a YaFSDP.
Yandex señala que el entrenamiento de LLM es un proceso que consume mucho tiempo y recursos. La empresa estima que utilizar YaFSDP para entrenar un modelo con 70 mil millones de parámetros puede ahorrar los recursos de aproximadamente 150 GPUs, lo que se traduce en ahorros mensuales de alrededor de $0.5 a $1.5 millones, dependiendo del proveedor de GPU virtual o plataforma.
Al utilizar los modelos Llama de Meta, Yandex afirma que la "aceleración final" es del 21% y 26% en Llama 2 70B y Llama 3 70B, respectivamente. Esta herramienta se añade a la lista de herramientas de inteligencia artificial que Yandex ha lanzado anteriormente.
Yandex ha tenido que desprenderse de sus negocios nacionales en Rusia después de la invasión de Ucrania, vendiéndolos a su administración anterior en el país. Muchas empresas tecnológicas también están integrando la inteligencia artificial como base fundamental de sus productos, como lo hizo recientemente Apple al lanzar sus servicios de Apple Intelligence como parte de la próxima actualización iOS 18.
