Increible Herramienta web colorea fotos en blanco y negro con IA

Aidanciyo

https://colourise.sg/

Es un proyecto de la división de datos e inteligencia artificial del gobierno de Singapur que fue creado en enero durante un hackatón. Sus creadores admiten que no es una idea nueva, pero dicen que este es el primer modelo entrenado para colorear fotos antiguas de Singapur, por lo que funciona especialmente bien.

Para llegar a este resultado, los investigadores desarrollaron una red generativa antagónica: una primera red neuronal predice los colores de la escena a partir de millones de parámetros matemáticos y una segunda red trata de averiguar si los colores son reales o falsos. Cuando la primera logra engañar a la segunda, el modelo se da por entrenado.

Para entrenar e este modelo se usaron 500.000 imágenes históricas de Singapur y un grupo de tarjetas gráficas NVIDIA V100 trabajando en serie. Más tarde, el sistema fue trasladado a la nube de Google, donde cuenta con varios clústers de tarjetas gráficas NVIDIA Tesla K80 para el trabajo.

La inteligencia artificial no puede adivinar los colores originales de la escena, lo que vio realmente el fotógrafo, pero hace un buen trabajo encontrando colores plausibles. Y lo hace endiabladamente rápido. La hemos probado con algunas de las fotos más famosas de la historia:


Cosas modernas:

Roma de Alfonso Cuarón

No es perfecta pero yo he pasado algunas antiguas de mi familia y han quedado bestiales en segundos.

2
ESL_Kaiser

Muy interesante, voy a probar a coger una imagen, pasarla a BN y luego ver que resultado da esta tool

1 respuesta
Aidanciyo

#2


1 respuesta
HeXaN

Curioso el toque antiguo que le da a las imágenes:

NSFW
NSFW
4
ESL_Kaiser

#3 Voy con un ejemplo quizás demasiado extremo

2 respuestas
Aidanciyo

#5 "Para entrenar a este modelo se usaron 500.000 imágenes históricas de Singapur"
No creo que los pimientos formen parte de esta red neuronal

2 1 respuesta
ESL_Kaiser

#6 jajaja ni Lobezno y casi te lo clava

1 respuesta
HeXaN

#7 Hombre, digo yo que en Singapur habrá humanos xD

cabron

#5

Hombre es que esta tecnología se basa en buscar el ejemplo más parecido, no en adivinar... por ejemplo ya me dirás como pretendes que saque los colores de la madera pintada, aunque sí que ha fallado en cosas como la sandía

RosaNegra

Buen filtro sepia mete en todas las fotos. Supongo que se pensarán que solo vas a subir fotos de personas.

1 respuesta
Elinombrable

#10 La explicación es lógica. La red neuronal está entrenada con fotos de hace décadas, no con fotos actuales. Muchas de ellas seguro que llevaban ese tono "sepia" debido a su antigüedad y a las cámaras que se utilizaron en aquel momento. Si se hubiese entrenado con fotos actuales, no sucedería (o sucedería menos).

Además algunos pretendéis que haga milagros. Al pasarlo a B/N se pierde información. No se pueden hacer milagros salvo que se utilice siempre el mismo patrón y la misma gama de colores.

1 respuesta
RosaNegra

#11 no es por joder pero... Si hubieran basado la tonalidad de gris en patrones de colores saturados y no saturados decolorados, tendría más % de acierto. La mayoría de colores al ser desaturados tienen un tono de gris bastante concreto. Eso de que tres colores pueden tener la misma luminosidad no se da en la vida real como se da en digital de la misma forma. Así que un púrpura y un rojo no van a dar el mismo gris. Ya tendrías que estar tanteando con la luminosidad y la saturación para que, al pasarlos a gris, den el mismo tono.

1 respuesta
Elinombrable

#12 En la propia web explican que el modelo está específicamente entrenado para fotos históricas de Singapur, incluyendo la gama de colores más común en aquella época, tonalidad de la piel de sus habitantes etc. Incluso pone ejemplos de lo que hacen con esas mismas fotos otras redes neuronales similares que están entrenadas para colorear fotos de otros contextos,muestran las diferencias y se ve que para ese tipo de fotos en concreto el resultado de esta red es mucho más realista.Lamentablemente en las fotos históricas de singapur no suelen salir muchas ensaladas de frutas y hortalizas ni tampoco estaba Hugh Jackman si no recuerdo mal así que es lógico que el resultado no sea el esperado.

Si quieres puedes echarle un vistazo, está interesante:

https://blog.data.gov.sg/bringing-black-and-white-photos-to-life-using-colourise-sg-435ae5cc5036

1
Kaiserlau

Era muy puñetera lo se xD Todo seria entrenarla con mas variedad

10 días después
hda

Pues no me ha dejado tan mal xD

1 1 respuesta
cabron

#15

Que joven está Lemmy Kilmister en esa foto

1 respuesta
hda

#16 es una pena que Lemmy se apoderase de esta barba como Hitler de aquel bigote.

Hazzard

Está bien pero en muchas fotos le pone el mismo filtro y ya.

1 respuesta
hda

#18 me da la impresión de que no te das cuenta de lo complejo y técnico del proceso. No es que se aplique "un filtro", fíjate en los degradados, lugares de mayor intensidad, sombras, todo salido desde el blanco y negro y mediado con un aprendizaje de la red neuronal. A mí me parece un resultado sorprendente.

5 1 respuesta
Zerokkk

Pensad que el feature map de esta red convolucional estará diseñado para implementar patrones específicos de las fotos usadas para el entrenamiento de la IA; esto son, fotos de Singapur como bien decían ahí arriba. Por tanto, el tono de piel de las personas, incluso la diferente iluminación y efectos atmosféricos de la zona pueden influir ligeramente. Asimismo, los rasgos humanos (o relativos a cualquier otra entidad) también estarán sesgados por este factor condicionante. Por tanto, es normal que haya diferencias cuantiosas a la hora de procesar una foto que no es de allí, ni incluye personas (que es lo que generalmente vemos en fotos históricas).

Aún así hace un trabajo nada desdeñable, joder.

Akiramaster

Sale regular porque esta foto fue manipulada a conciencia para que pareciera viejuna.

Aidanciyo

B

Esto es MUY jodido de diseñar, no entiendo ciertos comentarios

eXtreM3

#19 pero eso también lo hace el instagram ese.

1 respuesta
hda

#24 Fijo. Sigmoides 0 - Instagram 1 xD

(Entrenada la red no sería raro ver la aplicación en IG)

SrEnigma

Madre del amor hermoso, esto es impresionante

Qué maravilla, me parece magia.

1
B

.

eXtreM3

Dentro de unos años, todas las pelis que existen ahora mismo en blanco y negro podremos verlas a todo color =)

Qué locura de etapa tecnológica estamos viviendo.

1

Usuarios habituales

  • eXtreM3
  • hda
  • Aidanciyo
  • cabron
  • Elinombrable
  • HeXaN
  • ESL_Kaiser