Neural Synesthesia: Música generando imágenes a través de una GAN.

Frave

Poneros hasta arriba de psicotrópicos y dadle al play:

La sinestesia, definida así burdamente, es una variación de la percepción que provoca que se mezclen varios sentidos para un mismo estímulo. Un ejemplo seria ver colores cuando oyes música o ver ciertas letras o palabras en colores concretos. Bien pues os traigo unos vídeos muy guapos creados por un grupo de ingenieros de IA independiente, que han entrenado un tipo de redes neuronales (GANs) para generar imágenes en función del sonido que obtienen de entrada.

Vamos lo que han venido a llamar como una sinestesia generada por redes neuronales artificiales. Me encantan estas ideas bizarras con redes.
Al parecer como explican en este tweet:

La red usa un conjunto de imágenes para el estilo del arte que genera y unas características concretas del audio. Me he quedado en plan mirando estupefacto varios de los vídeos. Tenéis algunos mas en el canal de youtube del vídeo de arriba:

https://www.youtube.com/channel/UCu9a5weiXe1OU5oNyfHVQEQ

4

Usuarios habituales

  • Frave