Meta presenta un nuevo modelo Llama más eficiente.

Meta ha presentado la última incorporación a su familia de modelos de inteligencia artificial generativa, el Llama 3.3 70B. En un anuncio en X, Ahmad Al-Dahle, vicepresidente de inteligencia artificial generativa en Meta, destacó que este modelo, que opera solo con texto, iguala el rendimiento del modelo más grande de Meta, el Llama 3.1 405B, pero a un costo menor. Al-Dahle mencionó que, gracias a recientes avances en técnicas de posentrenamiento, se ha logrado mejorar el rendimiento general del modelo de manera significativa.

Se compartió una gráfica en la que el Llama 3.3 70B superaba a modelos de competidores como Gemini 1.5 Pro de Google, GPT-4o de OpenAI y Nova Pro de Amazon en diversos estándares de la industria, incluyendo MMLU, que mide la capacidad de un modelo para comprender el lenguaje. Un portavoz de Meta comunicó que este modelo debería brindar mejoras en áreas como matemáticas, conocimientos generales, seguimiento de instrucciones y uso de aplicaciones.

El Llama 3.3 70B está disponible para descarga en la plataforma de desarrollo de IA Hugging Face y otros sitios, incluido el sitio web oficial de Llama. Esta es una estrategia de Meta para consolidarse en el ámbito de la inteligencia artificial, ofreciendo modelos "abiertos" que pueden ser utilizados y comercializados en diversas aplicaciones. Sin embargo, las condiciones de uso establecidas por Meta limitan cómo algunos desarrolladores pueden utilizar los modelos Llama; las plataformas con más de 700 millones de usuarios mensuales deben solicitar una licencia especial. Aun así, la restricción no ha impedido que los modelos Llama acumulen más de 650 millones de descargas.

Meta ha utilizado internamente el Llama también; su asistente de IA, Meta AI, está completamente impulsado por modelos Llama y cuenta con casi 600 millones de usuarios activos mensuales, según el CEO de Meta, Mark Zuckerberg. Este último ha afirmado que el Meta AI está en camino de convertirse en el asistente de IA más utilizado a nivel mundial.

Para Meta, la naturaleza abierta de Llama ha sido tanto una ventaja como una desventaja. Recientemente, se alegó que investigadores militares chinos habían empleado un modelo Llama para desarrollar un chatbot defensivo, lo que llevó a Meta a poner sus modelos a disposición de contratistas de defensa en EE. UU. Además, la empresa ha expresado preocupaciones sobre su capacidad para cumplir con la Ley de IA de la UE, que establece un marco regulatorio para la IA, calificando la implementación de la ley como “incluso impredecible” para su estrategia de lanzamiento abierta.

Un tema relacionado son las provisiones del GDPR, la ley de privacidad de la UE, que se relacionan con el entrenamiento de IA. Meta entrena sus modelos de IA utilizando datos públicos de usuarios de Instagram y Facebook que no han optado por excluirse, datos que en Europa están sujetos a las garantías del GDPR. A principios de este año, los reguladores de la UE solicitaron a Meta que suspendiera el entrenamiento con datos de usuarios europeos mientras evaluaban el cumplimiento de la compañía con el GDPR. Meta accedió a la solicitud, mientras respaldaba una carta abierta que pedía "una interpretación moderna" del GDPR que no "rechace el progreso".

Asimismo, Meta está enfrentando desafíos técnicos similares a los que encuentran otros laboratorios de IA y está ampliando su infraestructura de computación para entrenar y servir a generaciones futuras de Llama. Recientemente, la empresa anunció que construirá un centro de datos de IA de $10 mil millones en Luisiana, el más grande que Meta haya construido hasta la fecha. Zuckerberg mencionó en la llamada de ganancias del cuarto trimestre de agosto que, para entrenar el próximo conjunto importante de modelos Llama, el Llama 4, la compañía necesitará diez veces más capacidad de computación que la que se usó para entrenar el Llama 3. Meta ha asegurado un clúster de más de 100,000 GPUs de Nvidia para el desarrollo del modelo, compitiendo con los recursos de competidores como xAI. Entrenar modelos de IA generativa es una operación costosa, y los gastos de capital de Meta crecieron casi un 33%, alcanzando los $8.5 mil millones en el segundo trimestre de 2024, en comparación con los $6.4 mil millones del año anterior, impulsados por inversiones en servidores, centros de datos e infraestructura de redes.