Hugging Face presenta una herramienta de código abierto para facilitar el despliegue económico de inteligencia artificial.
Disponibles a un costo de $1 por hora por contenedor.
Hugging Face ha lanzado su nuevo servicio, Hugging Face Generative AI Services (HUGS), diseñado para facilitar la implementación y escalado de aplicaciones de inteligencia artificial generativa utilizando modelos de código abierto. Este servicio está basado en tecnologías de Hugging Face como Transformers y Text Generation Inference (TGI), y promete un rendimiento optimizado en diversos aceleradores de hardware.
Para los desarrolladores que utilizan AWS o Google Cloud, el servicio tiene un costo de $1 por hora por contenedor y ofrece una prueba gratuita de cinco días en AWS para ayudar a los usuarios a iniciar. HUGS permite a los desarrolladores ejecutar modelos de inteligencia artificial en su propia infraestructura sin la necesidad de configuraciones manuales. Uno de los retos más importantes al implementar modelos de lenguaje de gran tamaño (LLMs) es optimizarlos para entornos de hardware específicos, ya que cada tipo de acelerador, sea un GPU de NVIDIA o un GPU de AMD, requiere ajustes para maximizar su rendimiento.
Con HUGS, estas optimizaciones se gestionan de manera automática, proporcionando un alto rendimiento desde el primer uso. Además de los GPUs de NVIDIA y AMD, se espera que pronto se extienda el soporte a AWS Inferentia y TPUs de Google. Hugging Face busca facilitar la transición de las APIs en modo 'caja negra' a soluciones abiertas y autohospedadas, con soporte para una amplia gama de modelos conocidos, incluidos LLMs como Llama y Gemma, y con planes para introducir modelos multimodales como Idefics y Llava en el futuro. También se prevé la inclusión de modelos de embedding como BGE y Jina, brindando a los desarrolladores más opciones para personalizar sus aplicaciones de inteligencia artificial.
Este servicio se basa en APIs estandarizadas que son compatibles con las interfaces de modelos de OpenAI, lo que permite a los desarrolladores migrar su propio código con facilidad. Para las startups, HUGS representa una oportunidad para construir aplicaciones de inteligencia artificial sin los altos costos asociados a plataformas propietarias. La disponibilidad de implementaciones con un solo clic en DigitalOcean facilita aún más a los pequeños equipos la experimentación con tecnologías de inteligencia artificial generativa.
Por otro lado, las empresas de mayor tamaño pueden aprovechar HUGS para escalar sus aplicaciones sin quedar atadas a un único proveedor de nube o API propietaria. En DigitalOcean, HUGS se incluye sin costo adicional más allá del costo estándar de los Droplets GPU. Además, Hugging Face ofrece soluciones de implementación personalizadas para empresas través de su Enterprise Hub.
