Cofundador de OpenAI, Ilya Sutskever, vaticina el fin del preentrenamiento en inteligencia artificial.
“Hemos alcanzado el máximo de datos y no habrá más.”
Ilya Sutskever, cofundador y excientífico jefe de OpenAI, estuvo en el centro de atención a principios de este año tras la creación de su propio laboratorio de inteligencia artificial, Safe Superintelligence Inc. Aunque ha mantenido un perfil bajo desde su salida, hizo una rara aparición pública en Vancouver durante la Conferencia sobre Sistemas de Procesamiento de Información Neural (NeurIPS).
Durante su intervención, Sutskever declaró que “el preentrenamiento tal como lo conocemos, indudablemente, llegará a su fin”. Este comentario hace referencia a la fase inicial del desarrollo de un modelo de inteligencia artificial, donde un modelo de lenguaje grande aprende patrones a partir de cantidades masivas de datos no etiquetados, generalmente textos procedentes de internet, libros y otras fuentes. Explicó que “hemos alcanzado el pico de datos y no habrá más”.
En su charla, Sutskever destacó que, si bien considera que los datos existentes aún pueden impulsar el desarrollo de la inteligencia artificial, la industria está agotando las nuevas fuentes de datos para entrenar. Este cambio, dijo, forzará eventualmente una transformación en la manera en que se entrenan los modelos en la actualidad. Sutskever comparó esta situación con los combustibles fósiles, señalando que así como el petróleo es un recurso limitado, el internet dispone de una cantidad finita de contenido generado por humanos: “Solo hay un internet”.
Sutskever también vaticinó que los modelos de próxima generación serán “agentes de manera real”. El término "agente" ha adquirido popularidad en el ámbito de la inteligencia artificial y se entiende generalmente como un sistema de IA autónomo que realiza tareas, toma decisiones e interactúa con software independientemente. Además de ser “agente”, afirmó que los futuros sistemas también tendrán la capacidad de razonar. A diferencia de la inteligencia artificial actual, que se basa principalmente en patrones previos, los próximos sistemas serán capaces de resolver problemas de manera más secuencial, similar al proceso de pensamiento humano.
Señaló que cuanto más razona un sistema, “más impredecible se vuelve”, comparando la imprevisibilidad de estos “sistemas que razonan realmente” con la capacidad sorprendente de las IA avanzadas en juegos como el ajedrez, que se vuelven difíciles de prever incluso para los mejores jugadores humanos. “Entenderán cosas a partir de datos limitados... no se confundirán”, aseguró.
Al finalizar su discurso, un miembro del público preguntó sobre cómo los investigadores pueden establecer los mecanismos de incentivo adecuados para que la humanidad desarrolle una inteligencia artificial que posea “las libertades que tenemos como homo sapiens”. Sutskever respondió que este tipo de cuestiones merecen una reflexión más profunda y, tras una pausa, admitió que no se sentía seguro para responder, ya que ello requeriría una “estructura gubernamental de arriba hacia abajo”.
Un participante sugirió el uso de criptomonedas, lo que provocó risas en la sala. Sutskever respondió que quizás lo que proponía el asistente podría ocurrir: “No me siento como la persona adecuada para comentar sobre criptomonedas, pero hay una posibilidad de que lo que describes suceda. Quizás no sea un mal resultado tener IA y que solo deseen coexistir con nosotros y tener derechos. Tal vez eso esté bien... Las cosas son increíblemente impredecibles. Dudo en comentar, pero animo a la especulación”.
