Nadie está preparado para la AGI, ni siquiera OpenAI.
OpenAI desmantela otro equipo encargado de la seguridad tras la salida de un líder en políticas.
Miles Brundage, asesor senior de OpenAI para la preparación de la inteligencia artificial general (AGI), emitió una advertencia contundente al anunciar su salida el miércoles: nadie está preparado para la AGI, ni siquiera OpenAI. Brundage, quien dedicó seis años a desarrollar las iniciativas de seguridad de la compañía, afirmó que ni OpenAI ni ningún otro laboratorio líder está listo para enfrentar el desafío de la AGI, así como el mundo en general. Señaló que este comentario no debería ser controversial entre los directivos de OpenAI, aunque planteó que es un asunto distinto si la empresa y el mundo están en camino de estar preparados en el momento relevante.
La renuncia de Brundage es parte de una serie de salidas de figuras destacadas dentro de los equipos de seguridad de OpenAI. Jan Leike, un investigador prominente, también dejó su puesto tras señalar que la cultura y los procesos de seguridad han quedado relegados en favor de productos más atractivos. Asimismo, Ilya Sutskever, uno de los cofundadores de la empresa, se marchó para iniciar su propia startup centrada en el desarrollo seguro de AGI.
La disolución del equipo de "Preparación para AGI" de Brundage, ocurrida solo unos meses después de que la compañía desmantelara su equipo de "Superalineación" dedicado a la mitigación de riesgos de largo plazo en inteligencia artificial, refleja las crecientes tensiones entre la misión original de OpenAI y sus ambiciones comerciales. La compañía enfrenta una presión considerable para transitar de una organización sin fines de lucro a una corporación pública con fines de lucro en un período de dos años, o de lo contrario, podría verse obligada a devolver los fondos de su reciente ronda de inversión de 6.6 mil millones de dólares. Esta inclinación hacia la comercialización ha sido motivo de preocupación para Brundage, quien ya había expresado reservas en 2019, cuando OpenAI estableció su división con fines de lucro.
En cuanto a su salida, Brundage mencionó las crecientes restricciones sobre su libertad de investigación y publicación en la influyente empresa. Subrayó la importancia de contar con voces independientes en las discusiones sobre políticas de inteligencia artificial, así como la necesidad de evitar sesgos y conflictos de interés dentro de la industria. Tras haber aconsejado a la dirección de OpenAI sobre la preparación interna, considera que ahora puede tener un mayor impacto en la gobernanza global de la IA desde fuera de la organización.
Esta renuncia también podría reflejar una división cultural más profunda dentro de OpenAI. Muchos investigadores se unieron para avanzar en el estudio de la inteligencia artificial y se encuentran ahora en un entorno cada vez más orientado hacia la producción. La asignación interna de recursos ha emergido como un punto conflictivo; informes indican que al equipo de Leike se le negó poder computacional para su investigación de seguridad antes de su eventual disolución.
A pesar de estas fricciones, Brundage mencionó que OpenAI ha ofrecido su apoyo para su trabajo futuro, brindándole financiamiento, créditos para la API y acceso anticipado a modelos, sin condiciones adicionales.
