GTA V + Enhancing Photorealism Enhancement

richmonde

Todavía está muy verde, ya que por ahora es un procesado muy intensivo para hacer esto en el juego con mods "a solas".

Pero en el futuro, una aplicación practica para los Tensor Cores y Cuda Cores de las RTX podrían llegar a hacer algo así.

Las aplicaciones de la inteligencia artificial + deep learning son asombrosas. En este caso es una Convolutional Neural Network (https://es.wikipedia.org/wiki/Red_neuronal_convolucional).

PD: Si, todos se preguntan (y yo también), porque no suben el video en mejor calidad (720p en 2021 duele xD)

Ale, enjoy!

10
B

Ojalá un foro de videojuegos, que digo, ojalá un tema de gta 5.

Pero bueno volviendo al tema, muy chulo si, pero para jugar así de oscuro como se ve por una cam de coche... No sabría que decir, eso de noche tiene que ser el horror

1 respuesta
richmonde

#2 Está en el subforo que toca. Es un video en off-topic con el tag Videos. No es un video de un mod del GTA, es un video de los resultados de un algoritmo creado con una red neuronal para mostrar foto realismo.

Obviamente, no es que se vea oscuro, es que han usado como referencias, imágenes reales de zonas de Alemania en días nublados. Y el algoritmo, aplica dichos conocimientos sobre el videojuego.

17 1 respuesta
PocketAces

Me han faltado las putas IRL.

Que son la salsa de los GTA-

tute07011988

Vaya turra de video, tío XDDD. Pensé que iba a ver 8 minutos de goce visual y me he comido una puta conferencia con powerpoint.

6
B

Aprende CDPR.

totespare

Por qué todos los videos/imágenes parecen sacadas de Matrix? No había otra paleta de colores para usar? Qué horroroso joder xD

2 respuestas
JCab

Me mata lo pixelado que está el vídeo.

Por lo demás, es interesante, esperemos que en un futuro se vean cada vez cosas más realistas.

Dek0

#7 Como dice #3 y como comentan en el vídeo, la base de datos de imágenes que han usado para el filtro del mod, procede de cámaras de carreteras alemanas, y tendrá la referencia de colores de lo que haya capturado.

Entre que la propia calidad de las imágenes de la BD no debe ser muy buena, y el hecho de que procedan de Alemania y el tiempo de allí seguramente afecte a la luz de las capturas, hace que el filtro oscurezca/enverdezca demasiado la imagen, y que contraste bastante con la idea que tenemos en la cabeza del equivalente en luz de una carretera/ciudad californiana.

Si hubieran hecho lo mismo con imágenes de BBDD americanas, quizá habría sido otro resultado, aunque igualmente si la calidad de las cámaras de origen no es muy buena, te va a pasar medio parecido.

1 respuesta
totespare

#9 pero la luz es verdosa, no blanquecina... No me encaja 100% con un tiempo nuboso, pero bueno, lo mismo tiene una razón de ser intencioanl, quizá ayude a la IA a reconocer mejor el entorno xD

1 respuesta
Dek0

#10 Tampoco se capta la luz igual, ni tienen la misma resolución, los sensores CMOS como los usados en móviles o cámaras de seguridad, a los cuales la baja luz afecta muchísimo a la calidad, que los CCD usados en las cámaras profesionales. No hay más que ver las imágenes de los captchas, lo paliduchos y verdosos que son.

Y supongo que también afectará la diferencia en colorido de la posible vegetación o del color del material de los edificios de la zona de origen de las fotos. Habría que ver qué resultado tendría el que le pasases las imagenes de carreteras de Ruanda xd

odiazon

Bueno, ahora con las redes neuronales cambiarán muchas cosas, incluyendo la forma de hacer videojuegos, se podrán crear réplicas 3D de ciudades a partir de imágenes tipo google street view y fotos satélite usando una red neuronal que reconstruya todo, yo veo eso más factible que lo del vídeo, para lo del vídeo se necesita mucha potencia de procesado al momento, supongo, y habría bastante latencia para poner el filtro por encima de la imagen del juego, pero tarde o temprano será una realidad y se jugará mucho con las apis de redes convolucionales para crear esos mundos.

Por ejemplo, hay cables antialiassing como el Mcable, pero aún no tenemos cables que reescalen la imagen a mayores resoluciones mediante IA, que algún día existirán, pero ponte tú a reescalar un frame 720p a 4K con una GPU actual, no te sacas ni 2 frames por segundo ni de coña, imagina intentarlo con treinta por segundo, pero bueno, luego está el DLSS que es salvación bendita, pero no es algo universal, no funciona con todos los juegos.

De hecho yo creo que en un futuro jugaremos a juegos antiguos y los remasterizará una IA en tiempo real con un HDMI, meterás un Gears 2 o un uncharted 1 y por encima del juego pasará un filtro que haga parecer a los personajes humanos, con texturas realistas, iluminación realista, expresiones faciales realistas, etc... No estamos muy lejos de ello, pero aún queda para que sea algo factible en tiempo real, antes creo que nos llegará en forma de remasterización pasando por caja de nuevo, pasarán los elementos del juego por esa red uno a uno, lo mismo con las texturas y serán sustituidas por texturas actuales tomadas en alta resolución, etc...

Espero poder vivir para verlo, es de lo que más me entristece tener que morir, no poder ver todo esto.

Kernel0Panic

Es una puta locura la verdad.

A ver si cogen y se ponen a grabar Los Ángeles con una ARRI y lo ingestan así con la red neuronal y podemos flipar en colores con el resultado.

SevenOfThem

#7 Hacía el final del vídeo, en el centro de la ciudad, muestra una paleta de colores más "normal".

Usuarios habituales

  • Kernel0Panic
  • odiazon
  • Dek0
  • totespare
  • tute07011988
  • PocketAces
  • richmonde