El fabricante de tecnología NVIDIA está proponiendo revolucionar la fotografía, tal como la conocemos hasta ahora y muy lejos de aquél «primer disparo instantáneo» hecho con una cámara Polaroid hace ya 75 años.
Ahora y gracias a las nuevas herramientas disponibles, los investigadores de IA están trabajando en lo contrario, que es convertir una colección de imágenes fijas en una escena digital 3D en cuestión de segundos.
Conocido como representación inversa, el proceso utiliza IA para aproximar cómo se comporta la luz en el mundo real, lo que permite a los investigadores reconstruir una escena 3D a partir de un puñado de imágenes 2D tomadas desde diferentes ángulos.
El equipo de investigación de NVIDIA ha desarrollado un enfoque que logra esta tarea casi al instante, lo que lo convierte en uno de los primeros modelos de este tipo en combinar el entrenamiento de redes neuronales ultrarrápidas y la renderización rápida.
NVIDIA aplicó este enfoque a una nueva tecnología popular llamada campos de radiación neuronal o NeRF (Neuronal Radiation Field) y el resultado, llamado Instant NeRF, es la técnica NeRF más rápida hasta la fecha, logrando más de 1000x aceleraciones en algunos casos. E
l modelo requiere solo unos segundos para entrenarse en unas pocas docenas de fotos fijas, además de datos sobre los ángulos de cámara desde los que se tomaron, y luego puede renderizar la escena 3D resultante en decenas de milisegundos.
“Si las representaciones 3D tradicionales, como las mallas poligonales, son similares a las imágenes vectoriales, los NeRF son como imágenes de mapa de bits: capturan densamente la forma en que la luz se irradia desde un objeto o dentro de una escena y en ese sentido, Instant NeRF podría ser tan importante para el 3D como lo han sido las cámaras digitales y la compresión JPEG para la fotografía en 2D, aumentando enormemente la velocidad, la facilidad y el alcance de la captura y el uso compartido en 3D”.
David Luebke, vicepresidente de investigación de gráficos de NVIDIA
Presentado en una sesión en NVIDIA GTC, Instant NeRF podría usarse para crear avatares o escenas para mundos virtuales, para capturar participantes de videoconferencias y sus entornos en 3D, o para reconstruir escenas para mapas digitales en 3D.
En un tributo a los primeros días de las imágenes Polaroid, NVIDIA Research recreó una foto icónica de Andy Warhol tomando una foto instantánea, convirtiéndola en una escena 3D usando Instant NeRF.. lo puede ver acá abajo :
Qué es un NeRF?
Los NeRF usan redes neuronales para representar y renderizar escenas 3D realistas basadas en una colección de entrada de imágenes 2D.
