Esta herramienta examina los modelos de IA de vanguardia en busca de fallos en la inteligencia.
Una nueva plataforma de la empresa de formación de datos Scale AI permitirá a los desarrolladores de inteligencia artificial identificar las áreas débiles de sus modelos.
Los ejecutivos de empresas de inteligencia artificial suelen afirmar que la AGI está a la vuelta de la esquina, pero los modelos recientes todavía requieren orientación adicional para alcanzar todo su potencial. Scale AI, una empresa fundamental en el desarrollo de modelos avanzados de AI, ha creado una plataforma que puede evaluar automáticamente un modelo mediante miles de pruebas y tareas, identificar debilidades y señalar datos de entrenamiento adicionales que podrían mejorar sus capacidades. Scale proporcionará, por supuesto, los datos necesarios para este proceso.
Scale ganó reconocimiento por ofrecer mano de obra humana para el entrenamiento y la evaluación de modelos avanzados de inteligencia artificial. Los grandes modelos de lenguaje (LLMs) son entrenados utilizando grandes volúmenes de texto recopilados de libros, sitios web y otras fuentes. Para convertir estos modelos en chatbots útiles, coherentes y educados, se requiere una formación adicional por parte de humanos que ofrezcan comentarios sobre la salida del modelo.
La empresa ofrece trabajadores especializados en identificar problemas y limitaciones en los modelos. La nueva herramienta llamada Scale Evaluation automatiza parte de este trabajo utilizando algoritmos de aprendizaje automático propios de Scale. Según Daniel Berrios, responsable de producto de Scale Evaluation, "dentro de los grandes laboratorios, existen formas desorganizadas de rastrear algunas debilidades de los modelos". La nueva herramienta permite a los creadores de modelos analizar resultados y comprender en qué áreas no están funcionando bien, lo que les ayuda a dirigir las campañas de datos hacia la mejora.
Berrios menciona que varias empresas de modelos de AI de vanguardia ya están utilizando esta herramienta, principalmente para mejorar las capacidades de razonamiento de sus mejores modelos. El razonamiento en inteligencia artificial implica que un modelo descomponga un problema en partes para resolverlo de manera más efectiva, lo que depende en gran medida de la retroalimentación de los usuarios sobre si el modelo ha solucionado un problema correctamente.
En un caso específico, Berrios señala que Scale Evaluation descubrió que las habilidades de razonamiento de un modelo disminuían al recibir instrucciones en idiomas distintos al inglés. "Si bien las capacidades de razonamiento en general eran bastante buenas y funcionaban bien en las pruebas, tienden a degradarse significativamente cuando las instrucciones no están en inglés", explica. La herramienta permitió a la empresa recopilar datos de entrenamiento adicionales para abordar esta deficiencia.
Jonathan Frankle, científico jefe de AI en Databricks, una empresa que desarrolla modelos de AI grandes, considera que la prueba de un modelo base contra otro es útil en principio. “Cualquiera que contribuya a la evaluación nos está ayudando a construir una mejor AI”, declara Frankle.
En los últimos meses, Scale ha contribuido al desarrollo de varios nuevos estándares diseñados para impulsar la inteligencia de los modelos de AI, así como para analizar más cuidadosamente cómo podrían comportarse de manera inapropiada. Estos incluyen EnigmaEval, MultiChallenge, MASK y Humanity's Last Exam. Sin embargo, la empresa también señala que medir las mejoras en los modelos de AI está volviéndose más complicado, a medida que estos se vuelven más competentes en superar pruebas existentes. La nueva herramienta ofrece una visión más completa al combinar diversos estándares y puede utilizarse para desarrollar pruebas personalizadas de las habilidades de un modelo, por ejemplo, evaluando su razonamiento en diferentes idiomas.
Además, la herramienta podría contribuir a los esfuerzos para estandarizar las pruebas de los modelos de AI en cuanto a comportamientos inapropiados. Algunos investigadores sostienen que la falta de estandarización significa que algunas vulnerabilidades en los modelos no se divulgan. En febrero, el Instituto Nacional de Estándares y Tecnología de EE. UU. anunció que Scale ayudaría a desarrollar metodologías para probar modelos y asegurar que sean seguros y dignos de confianza.