Anime con fotogramas añadidos mediante IA

-Orion-

Pues no sé si alguno conocerá cierto tipo de algoritmo utilizado para redes neuronales artificiales (Machine learning) que permite añadir fps a un vídeo deduciendo cómo quedaría la imagen entre un fotograma y otro. Con lo cual duplica los fps, y vídeos de 30fps pasan a tener 60fps fácilmente.

Este tipo de algoritmos, siendo mejorados, supondrían un gran cambio para el mundillo del anime (Y de cualquier contenido visual digital). Ya que nos permitiría disfrutar de todos los animes a 60fps, incluso los animes viejos.

¿Sabíais de esto? ¿Os hace ilusión? Porque a mi sí.

perche

he visto algunos videos a 60 fps de anime y se me hacen raros de ver, algunos van bastante acelerados.

1 respuesta
C

quiero esto en el berserk vs dark saber

-Orion-

#2 Es una técnica que se tiene que perfeccionar

Draigcorv

...Supongo que te hará ilusión, pero AfterEffects, Camtasia Studio y Filmora9, entre seguramente muchos otros, ya hacen esta conversión. El algoritmo en sí no es nuevo, seguramente mejore algo, pero existe un problema clave, o varios.

El primero de ellos, duplicar los fotogramas no siempre es aconsejable. Si, es bonito de ver ese movimiento tan suavizado por tener más FPS, pero si la animación original estaba a 30 (que si está a 60 no tiene sentido alguno) tiende a producir un efecto de blur y hace que los ojos se cansen mucho antes.

Lo segundo, al ser una conversión de 30 a 60 FPS, el algoritmo se inventa los que faltan. El algoritmo lo único que hace es coger parte del fotograma anterior, del siguiente, mezclarlos y redibujar lo que falte. Para escenas en los que no haya cambios de plano completos (cambiar de una escena clara a una oscura o de un personaje atacando a otro) el movimiento se suaviza, pero cuando los hay, ocurre una intercalación de los fotogramas, es decir, se ve el fotograma del primer plano partido por la mitad (no mitad, si no a trozos) junto con el del segundo plano de la misma forma, provocando una distorsión similar a cuando la antena de televisión se mueve por el viento y la imagen se congela y se parte a cuadros.

Tercero, muchos anime están pensados para verse a 30 fps, mismamente la danza de Chika a 60 fps no se ve del todo "orgánica" como se pensó al hacerse (están dibujados incluso los pies que tu no ves en el vídeo para representar el movimiento real de un cuerpo humano). La velocidad de los movimientos se hace muy falsa y difusa.

Que canse o no los ojos, depende del gusto de cada uno, pero si ves anime que en origen está hecho a 30 fps a 60, dudo mucho que alguien aguante una película entera con acción, no pausada. El cerebro recibe información innecesaria (los 30 fps añadidos por la IA) y se vicia por así decirlo, provocando cansancio e incluso dolor de cabeza.

No todo tiene que estar a 60 fps, solo a los fps que resultan disfrutables y no se note entrecortada la animación.

PD: esto se aplica también a vídeos reales, pero en animación es mucho más notable.

PPD: perdón por el tocho.

2 2 respuestas
-Orion-

#5 Si consiguen mejorar el algoritmo lo suficiente e interviene un humano en la partes donde se traba, puede ser una buena alternativa para quien no le de dolor de cabeza y quiera verlo a más fps.
Si por mi fuera, vería todo el anime a 144, pero no hay ninguno así :c

1 respuesta
Draigcorv

#6 Ver secciones de 4 minutos de anime a 60 fps no es ver un capítulo. Y como he dicho, ciertas animaciones están pensadas para verse a 30 fps, el vídeo de Chica se ve extraño y pierde lo orgánico de su animación, el de Berserk tiene partes en la que va a demasiada velocidad por ir a 60 fps (y eso que el puto anime es malo en prácticamente todo, pero se hizo a 30 fps.. o menos).

El algoritmo es malo y realmente no es muy difícil pensar la solución teórica, coger 5 fps más por ambos lados y comparar, si es demasiado diferente el plano, hacer una copia del anterior y no hacer la interpolación, no necesita ni intervención humana.

No todo es mejor a 60 fps, a ti te gustaría incluso a 144, pero no es mejor, es añadir velocidad y movimiento extraños a elementos que no lo necesita.

1 1 respuesta
-Orion-
#7Draigcorv:

es añadir velocidad y movimiento extraños a elementos que no lo necesita.

No si el algoritmo está bien hecho.

Pones pegas de lo que hacen mal los algoritmos actualmente, pero a medida que la técnica mejore cada vez parecerá más como si se hubiera hecho originalmente a 60fps.

No estoy hablando del algoritmo que han usado, sino del tipo de algoritmo cuyo objetivo es añadir fps y que se vea natural.

1 respuesta
Draigcorv

#8 El algoritmo, por muy bien hecho que esté y mucha machine learning que use, tiene que dibujar el fotograma intermedio, tanto en el actual, como en el supuesto mejorado. Por ponerte un ejemplo:

A - - - - C (animación original)
A - - AC - -C (animación con fps añadido)

No hay forma de que el fotograma intermedia sea un B o un E, siempre tiene que estar formado por A y por C o por A o por C como en el ejemplo que te he dicho del algoritmo teórico que coge 5 fps.

Da igual lo que hagas, si solo coges A o C en todos los casos, la animación se ralentiza, si coges ambos, la velocidad aumenta (ejemplo Chika y Berserk vuelvo a repetir) y al añadir algo que no había, se nota extraño.

Si salen a 60 fps el algoritmo no tiene uso alguno, así que por un lado o por otro, un algoritmo mejor o peor, siempre va a ser igual.

1 1 respuesta
Hipnos

#9 Creo que no sabes como funciona el machine learning.

La IA puede hacer cualquier cosa que haga un humano mejor que un humano. Básicamente puede dibujar todos los fotogramas de transición entre una escena A y una escena B analizando las diferencias entre ambas y otros miles de millones de transiciones similares con las que ha sido entrenada.

1 respuesta
Draigcorv

#10 creo que tu no lo sabes muchacho, yo he estudiado y programado machine learning y por eso mismo se que de A a C tiene que haber un B y este B es la combinación de A y C por cojones cuando es en términos de animación y correlación entre A y C.

Es más, cada C siempre tiene algo de A a no ser que sea un cambio de escena (y no sea un fundido entre las mismas). C siempre tiene algo de A y si metes algo entre A y C, ese algo va a ser la combinación de AC siempre, por mucho que pienses que no.

Por muchos fps que metas, si la animación está hecha a 30 fps y metes mierda entre ellos para que sea a 60, la animación se verá a distinta velocidad (de ahí que parezca más suavizado) y en muchas ocasiones resultará extraño.

Por ponerte varios ejemplos de lago ya hecho en 30 fps y pasado a 60, puedes ver las batallas de Boku no hero y de One Punch Man S1, ahí el trabajo de conversión está bien hecho y aún así resulta demasiado suave.

1 1 respuesta
HeXaN
#11Draigcorv:

yo he estudiado y programado machine learning y por eso mismo se que de A a C tiene que haber un B y este B es la combinación de A y C por cojones cuando es en términos de animación y correlación entre A y C.

Pues sigue estudiando porque las redes neuronales no funcionan así.

1 respuesta
Draigcorv

#12 las redes neuronales no, pero estamos hablando de añadir fotogramas entre unos ya existentes, no hay forma de meter un fotograma sin tener partes del anterior y del siguiente, aunque sea redibujando el fotograma entero, tiene que tener correlación.

1 1 respuesta
C

Pues esa IA con boku no pico a 60 fps se convierte en skynet.

1
Erpotro

a mi me flipa eso, sin ir mas lejos esta escena a 60 fps es dios

-Orion-

#13 Claro que tiene que tener correlación. Pero el resultado es una animación más fluida, no un cambio de velocidad. La serie acaba con los mismos segundos.

Es ML, es como si lo hiciera un humano (de momento novato). Cuando hagan un algoritmo suficientemente bueno será como si lo hubieran hecho a 60fps de raíz.
Mira una pelea de OPM de la versión de 60fps, ¿Te parece que la velocidad ha cambiado? Pues un algoritmo de ML es capaz de lo mismo si aprende suficiente.

1 respuesta
Danitori

Ni algoritmo ni hostias. Animación tradicional!!! Estoy harto del cell sharding.

Para mi ver anime asistido por ordenador o CGI es como ver una carrera de bicis con bicicletas electricas.

1 respuesta
-Orion-

#17 Si no hay presupuesto, no hay presupuesto.
Mejor tener la opción de ponerlo a 60fps artificialmente que sólo tener la de 30.

Rouku

No entiendo porqué creéis que 60 fps son siempre mejor. Yo lo veo más como una decisión artística. El hacer una animación a 60 fps (a pesar de ser una locura por el curro que lleva), te sirve para hacer efectos más de slow motion o un movimiento lento y muy fluido, pero que vaya eso también se puede hacer con 30 o con 24 fps. Nose a mi me parece un desperdicio de tiempo y creo que nadie anima a 60 fps salvo que sea para videojuegos (que es más por tema de controles, cancelacion de animaciones y esas cosas). Ni siquiera en las película se rueda a tantos fps porque es un movimiento inhumano para captar movimiento normales xD.

Y sobre la IA esta que interpola pues bueno, me parece una aberración al nivel de los filtros de instagram, que funciona una de 50 veces y estropea el trabajo original.

2 2 respuestas
-Orion-

Más fps = movimiento más fluido.
Igual para un anime lentillo en cuanto a animación no se nota mucho, pero cuando la animación se vuelve rápida mejora muchísimo. Por ejemplo en peleas, donde puedes seguir mucho mejor la acción.

#19Rouku:

Ni siquiera en las película se rueda a tantos fps porque es un movimiento inhumano para captar movimiento normales xD.

¿?¿?¿?

Y los videojuegos no se animan como un anime, salvo que usen sprites (2d, vamos).

Os pongo un ejemplo:

1 respuesta
Draigcorv

#16 Esas peleas top que también te las he puesto de ejemplo son animaciones sublimes y a 30 fps parece que ya vayan a 60, el algoritmo apenas hace nada ahí. Pero estamos hablando de todo, no solo esas peleas. Vuelvo a decir, porque no he buscado ni me apetece buscar más ejemplos, Chika y Berserker. Aunque recuerdo que Beastars casi no llega a los 30 fps (o da la sensación en algunos momentos) y es muy disfrutable.

Pero vamos, que es mi opinión, para mi es absurdo pasar todo a 60 fps, se notaría el cambio de velocidad y se sentiría extraño, siempre que no estén ya a 60. Tú has preguntado opiniones y si nos hacía ilusión, así que te pongo de nuevo algo de mi primer post:

No todo tiene que estar a 60 fps, solo a los fps que resultan disfrutables y no se note entrecortada la animación.

PD: #19 al menos alguien que piensa parecido, en fin.

Rouku

#20 Claro, el 3D/CGI anima a 60 fps porque las interpolaciones las hace automáticamente y no les supone curro de más.

A lo que iba es que un movimiento más fluido no es siempre mejor, sobretodo en la animación 2D, que es en la que al menos yo tengo en mente al hablar de este tema. Sin ir más lejos mira las animaciones de Disney que son fluidísimas, pero no por los fps que utiliza sino por la forma en que está animado.

2 respuestas
-Orion-
#22Rouku:

A lo que iba es que un movimiento más fluido no es siempre mejor, sobretodo en la animación 2D

Bueno, eso ya depende de gustos. El caso es que el uso de esta tecnología es opcional. Ellos sacan el anime a 30fps y tú lo puedes transformar a 60 en tu casa.

Pero es que decir que meter fps afecta a la velocidad y al nosequé.... Osea, la animación de dibujos de toda la vida se hace dibujando los fotogramas que habrían entre un boceto y otro. Esto es lo mismo pero hecho por ordenador, lo cual queda raro ahora, pero recordemos que es ML, lo acabarán haciendo mejor que los humanos.

dalorend

Muchos de los ejemplos que habeis puesto de los videos y tal a 60 fps son una mierda como un castillo, incluyendo Tom y Jerry (y el de inuyasha un poco mas y lloro, era asqueroso). Pero por ejemplo Violet a 60 fps a sido una puta belleza artistica. Es cuestion de gustos, me alegro que esté esta herramienta, habrá animes a 60 y otros a 30 y como y digo, son estilos super distintos, no puedes hacer todo a 60 ni todo a 30.
Námaste

1
Erus

#22 Las antiguas pelis de Disney están animadas frame a frame, es decir animación completa. El anime por temas de presupuesto y tiempo no se puede permitir esa locura, y usa la animación limitada que Tezuka copió en su día de las series de Hanna-Barbera (picapiedra etc), pero lo compensa con la cinematografía.
En el anime se trabaja en 3s, cada tres frames. Normalmente es las escenas bien animadas, "sakuga", varía entre 1s/2s/3s incluso cada 4s

1
-Orion-

Os va a explotar la cabeza cuando descubráis que existe otro tipo de algoritmo (aún en desarrollo) que permite hacer esos frames que ahora se hacen a mano entre boceto y boceto automáticamente.
Sería algo así como coger el manga, añadir algunas ilustraciones más, ponerlo todo en grande y dejar que el programa te lo pase a anime. Aunque es algo más complejo que eso, voy a ver si lo encuentro.

1 respuesta
Erus

#26 No sé exactamente a lo que te refieres, pero en el anime se está empezado a utilizar herramientas como cacani para hacer frames intercalados automatizado. En Fire Force por ejemplo.

1 respuesta
-Orion-

#27 No se si será eso a lo que me refiero. Lo vi en las noticias hace un año o así.
Era una herramienta que ayudaba a los animadores a hacer animaciones de transición entre una ilustración y otra, y que decían que se se mejoraba lo suficiente se podría llegar a encargar por completo del trabajo de los tíos que hacen esto (Que es un trabajo especializado, como el que hace entinta por ejemplo).
Y que los animes podrían salir muchísimo más baratos.

Hipnos

Estoy leyendo unas tonterías en este hilo xd

No os vayáis a asomar por la ventana que a más de 30 FPS os duele la cabeza del movimiento tan fluido.

Erus

#5 No te había leído, muy bien explicado . Solo te matizo una cosa, en el anime se trabaja a 24 fps.

1 respuesta