La tecnología necesaria para crear el holodeck

Recientemente, al visitar a mi madre anciana en Alemania, me di cuenta de que podría ser una de las últimas veces que la vea en la acogedora casa que ha llamado hogar durante más de veinte años. En ese momento, decidí aprovechar la situación y tomé muchas fotos del lugar para preservar los recuerdos: la cálida chimenea, las estanterías repletas de libros familiares y el viejo banco del jardín al frente, que había sido firmado por todos durante una celebración de cumpleaños especial hace muchos años.

Luego, decidí experimentar algo nuevo. Abrí la aplicación Scaniverse, un escáner 3D desarrollado por Niantic, la compañía detrás de Pokémon Go, y capturé algunos de esos objetos como si fueran 3D. Me agaché y caminando con cuidado, moví mi teléfono para registrar cada ángulo. Aunque los resultados no eran perfectos, la experiencia fue bastante profunda. Al visualizar las capturas más tarde, tanto en mi teléfono como con un visor de realidad virtual, pude observar el desgastado banco del jardín desde todos los ángulos, como si estuviera de pie frente a él. La emoción que sentí fue inesperada.

Este tipo de experiencia es posible gracias a Gaussian splatting, un método innovador de captura en 3D que ha surgido hace menos de dos años y está revolucionando la industria tecnológica. Empresas como Niantic y Google están utilizándolo para mejorar sus productos de mapeo; Snap ha integrado el soporte para “splats”, que es como se denominan los objetos capturados con esta técnica, en su plataforma Lens Studio, y Meta busca emplear Gaussian splatting para crear un metaverso que se asemeje al mundo real.

Las compañías tecnológicas están muy entusiasmadas con Gaussian splatting por su capacidad para capturar y recrear digitalmente objetos tridimensionales de forma fotorealista. Se anticipa que pronto permitirá a cualquier persona escanear habitaciones enteras, lo que podría cambiar la forma en que los creativos de Hollywood y otros campos graban videos en 3D. Al combinarse con IA generativa, esta tecnología no solo tiene el potencial de preservar espacios existentes, sino también de transportarnos a nuevos mundos en 3D.

Tipatat Chennavasin, experto en AR/VR e inversor, describe esta tecnología como un cambio radical en el campo de los gráficos en 3D en más de 30 años. Chennavasin ha expresado su fascinación por Gaussian splatting, comparándola con el holodeck de Star Trek, que permitía a la tripulación entrar en simulaciones tridimensionales holográficas de espacios reales e imaginarios. “Estamos empezando a alcanzar un fotorealismo similar al del holodeck”.

La captura de objetos en 3D no es algo nuevo, aunque los métodos anteriores dependían de polígonos, lo que limitaba la calidad visual de los objetos, que a menudo lucían poco realistas. Sin embargo, en el verano de 2023, un grupo de científicos europeos presentó un nuevo enfoque llamado “3D Gaussian splatting”, que reemplaza las mallas con una serie de burbujas translúcidas conocidas como Gaussians. Este método permite capturar objetos con detalles mucho más ricos y precisión en color y transparencia.

Los expertos en la materia han recibido esta innovación con entusiasmo, viendo el potencial para crear un verdadero 3D fotorealista. Según Brian McClendon, vicepresidente de ingeniería de Niantic, se trata de un cambio fundamental en la captura 3D. Después de adquirir la aplicación Scaniverse en 2021, Niantic ha integrado Gaussian splatting en la plataforma y permiten que los usuarios escaneen monumentos y otros puntos de interés para la construcción de un mapa 3D del mundo, fundamental para sus juegos y experiencias de AR.

Además, Gaussian splatting no se limita solo a capturas estáticas. La startup Gracia AI ha estado utilizando esta tecnología para grabar videos volumétricos en 3D, los cuales pueden ser visualizados en visores de Meta Quest. Esto incluye clips que inmortalizan la acción desde múltiples ángulos, algo que antes era complicado de lograr debido a las restricciones en el vestuario de los sujetos grabados.

La ambiciosa propuesta de Meta con Gaussian splats se manifiesta en la aplicación Hyperscape, presentada en su reciente conferencia Meta Connect, que permite a los usuarios explorar representaciones 3D fotorealistas de espacios, aunque aún es considerada una demostración tecnológica y enfrenta desafíos en términos de escalabilidad.

A medida que la tecnología de Gaussian splatting avanza rápidamente, se abre un futuro donde las personas podrán generar espacios 3D fotorealistas mediante una combinación de IA y captura 3D, ofreciendo experiencias inmersivas con una calidad visual casi indistinguible de la realidad.

Con todas estas posibilidades, surge la reflexión sobre qué espacio visitar primero si tuvieras acceso a un holodeck. Para mí, quizás sea simplemente la acogedora casa de mi madre y ese viejo banco del jardín.