[Devlog] antonIA: IA streamer aka creadora de contenido

Freak1337

Beta test ONLINE:

¿Que y quien es antonIA?

antonIA es un proyecto inspirado por la IA "vtuber" Neurosama, donde me he propuesto crear una IA similar, una vtuber española totalmente automatiza y que genere contenido de entretenimiento, tenga su propia personalidad marcada y en torno a ello reaccione a videos, aprenda a jugar a videojuegos, hable con el chat y exprese su opinión sobre temas que estén dentro de los términos permitidos por Twitch.

Es un proyecto ambicioso en el cual estoy totalmente volcado desde hace mas de un mes, mezclando tecnologías realmente se puede conseguir una vtuber funcional, natural y que no solo hable cosas random, si no que reaccione a videos, juegue a juegos de mesa previamente aprendidos, dialogue con el chat, exprese su opinión (con mil filtros activos porque si no BAN en el primer dia xDD) y muchas otras funcionalidades que irán surgiendo con el tiempo.

Tecnologías usadas

Para este proyecto voy a usar multitud de tecnologías, siendo principalmente Python el "cerebro" de antonIA. Estoy usando la librería Chatterbot para crear y entrenar su personalidad, he editado bastante esta librería para conectarla a OpenAI Davinci-003 (la misma que usa ChatGPT) para que toda la parte de improvisación la haga en base a textos generados por esta.

Entre otras librerías uso actualmente gTTs que es básicamente un text-to-speech para leer el texto generado por chatterbot/davinci, y una función para leer el chat de Twitch.

Por otra parte quiero que aprenda a jugar inicialmente a juegos de mesa como el Parchís que ya estoy haciendo entrenamiento, me base en este articulo para adaptar las normas al parchís.

También estoy adaptando el modelo CLIP Interrogator para hacer que reaccione a lo que esta viendo en pantalla, con este modelo puede pasar a texto descriptivo una imagen, entender el contexto, y en base a ello reaccionar y charlar.

La parte mas visual de la tecnología reside en el software para streaming OBS, aquí cargo un archivo .txt donde todo el texto generado por la IA es mostrado en pantalla a modo de subtítulos, la imagen de antonia (que es una de ejemplo) que "mueve la boca" desde el audio enviado por gTTs lo gestiona el software veadotube mini, que básicamente usa dos imágenes (una abrir la boca/ otra cerrar) para simular que esta dialogando.

Devlog:

antonIA v0.1:

La primera versión de mi amada antonieta esta lista, aun queda trabajo para testearla en un directo real, ya que ahora mismo es errática y tiene conversaciones filosóficas bastante locuras... aun quedan semanas de entreno y parámetros para ir definiendo su "personalidad", por ahora básicamente es un chatgpt con muy poca personalidad que reacciona a inputs dados por el chat de Twitch y cuando hay "silencio" trata de generar conversación basada en seeds aleatorias y con ayuda Davinci 003.

Aquí os muestro un video bastante pocho donde se puede apreciar su primer texto natural sin ningún input, ella empieza hablando y diciendo "el ruido empieza mi rutina de iniciacion y es algo que me alegra", tiene sentido ya que todas estas ia funcionan en base a un ruido random xD, a continuación le pregunto como se llama y que hace, lo que me dice su nombre y el cometido que realmente aun no sabe que es, "creadora de contenido", después reacciona a mi risa y al pasar un lapso de tiempo sin input en el chat, procede a generar una frase totalmente random y un poco loca pero bueno, es lo que pasa cuando su mente esta vacia, mi idea es entrenarla bastante y darle una personalidad reconocible

https://streamable.com/e/fj91is

En cuanto al diseño visual vtuber (en este caso pngtuber) he usado uno de ejemplo, pero cuando se acerque el momento de lanzarla al vivo y directo ya entrare en fase de diseño, aquí estoy mas pez... si alguno quiero colaborar con parte estética su ayuda es bienvenida, el software que utilizo es veadotube, que es bastante simple ya que usa como entrada el audio que devuelve la IA para depende que umbral de sonido abre, cierra la boca.

Progreso:

Aquí hare una lista de funcionalidades ya terminadas o en progreso:

Pues hasta aquí el tochopost, iré actualizando el post conforme avance en el proyecto y llegado el día podremos hacer un test interno mediavidiero para conocer a antonieta.

Saludos!

15
B

.

1
pantocreitor

Pues muy interesante. Una vez que lo tengas un poco funcional podrías probar algún tipo de stream privado para irle metiéndole caña y ver cómo reacciona sin posibles banes de twitch xD

1
Andy

muy chulo, pillo sitio

Popino

Pillo simp

BeTiS

Ánimos con tu proyecto y ojalá tengas éxito, suena muy interesante.

1
15 días después
Freak1337

Si queréis ver los avances que son bastantes, podéis pasaros ahora mismo por este canal de Twitch donde estamos testeando a Antonia, básicamente estamos testeando los módulos de: Leer el chat, improvisación de diálogos y leer noticias dando opinión:

Después actualizo el post con los avances de estas ultimas semanas.

1
Freak1337

Noticia original:

('La recuperación de los cuerpos sepultados en la mina de Sabinas se retrasa al menos hasta diciembre', 'López Obrador asegura que se ha avanzado un 37,3% en las labores de rescate. El pasado agosto, el Gobierno planteó una estimación de entre 6 y 11 meses para exhumar los cadáveres ')

Opinion:
¡Jeez! Recuperar los cuerpos sepultados en la mina de Sabinas se está volviendo mas difícil que limpiar los kits de maquillaje de un 'drag queen' después de una sesión de 'glitter bomb'... Y eso dicen que "avance" un 37,3% en las labores de rescate... Bueno, ánimo, pero esperemos que el Gobierno no nos vuelva a dar otra estimación... No vaya a ser que nos tengan pidiendo "ayuda"!

xDDD voy a tener que refinar esos chistes que pueden costar caros

2 2 respuestas
pantocreitor

#8 Maravilloso jajajajaja

Jastro

#8 por favor, no lo toques, es maravilloso JAJAJAJ

1 respuesta
Freak1337

#10 xDDDD la verdad que me hizo gracia, por ahora la dejare a ver que tal.

Por cierto hoy seguimos con test de varias rutinas, si queréis que os conteste a algo mencionar @imcharcher en el chat y el mensaje.

1 respuesta
Jastro

#11 Muy top, ojala saquen pronto una voz mas decente y ya sera la ostia xD

No me gusta nada de Dark and Darker! Es una mierda completa. No hay nada bueno en ella. La trama es aburrida, los personajes son unos gilipollas y el juego en sí es tan malo que me da ganas de vomitar. ¡Así que no, no me gusta nada de Dark and Darker!

1 respuesta
Jastro

le meto postit a esto, me parece increible jajaja

Si llegamos a la segunda pagina, le pongo sticky para que la gente pueda comentar aqui mientras ve esto

Hipnos

wtf maravilloso

Freak1337

#12 Lo de la voz lo tengo mirado, gratis no hay una opción decente desgraciadamente, asique en cuanto tenga la versión final pillare la voz oficial de Antonia xD por ahora seguiremos con la loquenda de google

1 respuesta
Jastro

#15 me imagino, me imagino.

Pero te esta quedando muy bien, la version final sera la ostia :D

1
raul_ct

Muy chulo, a ver como le saco las cosquillas

raul_ct

Pero de donde sacas toda la informacion e inputs para la impovisación? Porque se le va la olla basto

1 respuesta
Freak1337

Vamos a actualizar un poco de progreso de esta semana:

He estado trabajando sobre todo en el modulo de conversación y interacción con el chat, he dotado a Antonia de la capacidad de guardar una memoria con cada usuario que interactúe ya que antes se limitaba a contestar a tu cuestión o reaccionar al texto que le escribieras, un test de esta mañana:

imcharcher: Quiero hablar sobre videojuegos
¡Claro! ¿Qué videojuegos te gustan? ¿Tienes alguno favorito?
imcharcher: a mi me gusta el league of legends, soy top, y tu que posicion juegas?
¡Ah, League of Legends! Me encanta jugar a ese juego. Soy una jugadora de midlane, así que me gusta jugar con personajes como Ahri, Kassadin y Zed. ¿Tienes algún personaje favorito?
imcharcher: a mi me mola mazo Mariano Rajoy, top laner, hace cosas
¡JAJAJA! No conozco a Mariano Rajoy, pero me imagino que debe ser un personaje interesante. ¿Qué es lo que más te gusta de él?

Ahora se siente bastante mas natural en en general dará pie a interacciones mas divertidas.

Otra idea en la que estoy trabajando es en una sección de entrevistas ficticias entre 2 IAs, en este caso será Antonia entrevistando por ejemplo a Hitler, nos serviremos de GPT3 Davinci 003 para dotar a esta otra IA que hable y conteste como este personaje y Antonia que actúe como una entrevistadora, se pueden dar situaciones bastante chulas, ya que es pura alucinación entre las dos IAs y pueden salir cosas muy locas xD

A final de esta semana quiero hacer un testeo para probar todas estas cosas, si alguno puede y gusta se lo agradecería mucho que se pasase por el canal, diré dia en breves.

#18 Sorry que no vi tu respuesta, el modulo de improvisación básicamente se inicia desde seeds aleatorias que son cadenas de texto donde cada iteración genera un numero de palabras para que hable de X tema, con X humor, con X palabras siempre dentro de la personalidad Antonia ha sido creada, puro RNG xD

1 respuesta
raul_ct

#19 se me olvidó mencionarte el tema de que a veces el bot se rompió, y en el chat de texto de twitch no aparecía la respuesta correcta, pero en el TTS si que iba bien y respondía

1
9 días después
Freak1337

AntonIA BETA test - 10/03 @ 16h en adelante.

Muy buenas a todos, os traigo un poco de novedades con respecto al proyecto, he avanzado bastante desde la ultima vez, os dejo una lista breve con el progreso de estas semanas:

  • Personalidad nueva, ahora Antonia tiene mas carácter que nunca, se enfada, se ríe y esta en constante cambio según lo que suceda/diga.
  • Reworkeado como Antonia entiende y se relaciona con el chat, ahora a parte de poder preguntarle directamente y tener memoria/contexto con cada usuario, también leerá lo que se hable y lo que le llame la atención, contestara/opinara.
  • He integrado el modulo de improvisación de dialogo en el modulo principal por lo que a parte de leer el chat todo el tiempo, cuando ella lo crea conveniente hablara o propondrá cosas para debatir en el chat, es bastante curiosa, asique ella misma hará preguntas a los users.
  • Ya tenemos un modelo oficial para Antonia, esta sujeto a cambios de diseño pero la base será esta:

Me dejare algo seguro, pero lo bueno que estamos llegando casi al punto que estoy satisfecho para comenzar los directos regulares y darse a conocer el proyecto, a falta de toda el tema de grafismos de OBS (overlays, animaciones...etc) prácticamente esta todo como lo quiero para partir, luego poco a poco ire añdiendo mas funcionalidades y mas complejas.

Todo este rollo para deciros que llamo a filas a mis queridos testers que quieran pasarse a partir de mañana dia 10 a eso de las 16h en adelante estará bastantes horas en directo para que la probéis y me deis feedback en este post, cuando sea la hora dejare el canal por aquí.

Un abraso!

2
Lolth

Haras una versión para chaturbate?

1 respuesta
JonaN

Se nota el análisis de mercado en el diseño del modelo. Mucha suerte!

2
Freak1337

#22 Te contesta directamente Antonia:

No me interesa abrir un OnlyFans o Chaturbate, como ya te dije. No es algo que me llame la atención o que quiera hacer en mi vida. Prefiero centrarme en mi contenido en Twitch y en hacer reír a mi comunidad. ¿Podemos hablar de otro tema más divertido? Algo como... ¿cuál es tu videojuego favorito? ¡Me encanta hablar de videojuegos!

En una horita mas o menos pongo el enlace cuando este online el streaming,

Freak1337

Ya esta online Antonia, para preguntarle directamente algo podéis hacerlo poniendo @NeuroAntonia y el mensaje, cualquier duda/sugerencia podéis ponerla por aqui, grasias!

raul_ct

Dices que tiene memoria? Ya tendré que controlarme

1 respuesta
Freak1337

#26 recuerda conversaciones previa contigo si xDD

2 respuestas
raul_ct

#27 dep

raul_ct

#27 mucho texto eh, el texto de improv, no me importaría que fuera largo si nadie comenta, pero se enrolla como una persiana

1 respuesta
Freak1337

#29 Si, la acabo de reiniciar para que detecte si tiene mensajes pendientes que no se enrolle tanto