IA: Programas y Herramientas

Kike_Knoxvil

#177 La ejecución no es como entrenamiento, la ejecución es muchísimo más liviana y no se me hace tan raro que un ordenador personal hoy día pueda mover una IA de este tipo
Entrenarla con tus datos personales no es de 0 necesitando un dataset brutal, será una combinación del modelo preentrenado con lo que tiene OpenAI + RL local como se hace para sistemas inteligentes industriales

Aparte, algo me suena de que hay algunas apps ya con sus modelos preentrenados y descargados para ejecutar de forma local

1 respuesta
ercabesa

#177 usar modelos presentados no necesitan tanta potencia, entrenarlos es lo que sí

y reentrenarlos entiendo que te refieres a finetuning y teniendo en cuenta que solo reentrenas algunas capas tampoco necesitarías tantas como en el entrenamiento inicial

1 respuesta
Mewtwo

Algun recurso que me pueda ayudar hacer un diseño de un hud ? o al menos una que me diseñe un borde para simular la union entre dos pantallas ?

Garcia98

#181 #182 creo que no os dais cuenta de la magnitud de GPT-3.5 y GPT-4, el último modelo de OpenAI del que hay datos sobre su número de parámetros es GPT-3 y este estaba en 175 mil millones de parámetros (175B en inglés).

Los modelos open source actuales que se ejecutan a nivel local tienen unos 7 mil millones de parámetros (7B), como LLaMa-7B, y de por sí requieren 13GB de VRAM para hacer la inferencia sobre ellos en una GPU, si lo cuantizas a int4 puedes bajar a 3.9GB de RAM para hacer inferencia en una CPU, aunque esto tiene como consecuencia que la velocidad del modelo sea la de ChatGPT en uno de sus peores días a unos 4 tokens/s. (https://github.com/ggerganov/llama.cpp#memorydisk-requirements)

Los requisitos de memoria escalan de forma lineal con el número de parámetros así que como mínimo para hacer inferencia de GPT-3 sobre una GPU harían falta 325 GB de VRAM, o lo que es lo mismo 5 A100s, si quisieras intentar hacer la inferencia en CPU de un modelo de este tamaño cuantizado a int4 harían falta como mínimo 98 GB de RAM (para que fuera a 0.1 tok/s). Y esto es hablando de GPT-3, a saber el número de parámetros que tiene GPT-4.

Y para hacer fine-tuning incluso con LoRA en un modelo de 7B se tarda unas 12h con una RTX 3090 haciendo brrr, así que imagínate con un modelo de la escala de GPT-3 (ya ignorando los requisitos de memoria completamente absurdos).

Así que no sé que ordenadores os creéis que tiene la gente en casa, pero yo personalmente no tengo un rack con 8 A100s en la terraza :(

5 3 respuestas
ercabesa

#184 pues la verdad que no había echado cuentas y me imaginaba que sería mucho menos, la verdad

entre entrenamiento vs uso hay una diferencia muy grande pero pensaba que dejaría el uso a un pc medio normal, gracias por el apunte

pd: no los he leído, pero he visto varios papers hablando de que han conseguido reducir las especificaciones en el uso de LLMs bastante, pero si, es lo que comentas aun no se puede hacer con un pc normalito

Kike_Knoxvil

#184 Así da gusto ser corregido oye, estaba teniendo un problema con el concepto de la inferencia y la aplicación posterior.

Pues entonces la clave va a estar en que se guarden y encripten los datos como en OneDrive (o quizás convertir el escritorio local en una mezcla con uno remoto alojado en los servidores de Microsoft)

SiCk

-

1
Derik

Se me empiezan a acumular extensiones y plataformas de AI interesantes que quiero guardar de forma ordenada, cómo lo hacéis vosotros?

hda

Si el copilot rula en la nube y con las respuestas, en local, va creando un contexto o perfil del usuario, ese contexto puede añadirse a toda consulta contra la nube a la especie de "fine tunning" ejecutable, sin reentrenamiento. De este modo, siempre y cuando las peticiones contra la nube no guarden rastro del contexto del usuario podría ejecutarse afín con la GRPD.

Es solo una idea, vaya, pero plausible.

1
BaRtoZ

Qué opináis de Tabnine? A mi empresa no le hace gracia ChatGPT por el tema de filtración de código y demás y sugieren Tabnine. Lo hemos estado probando y puff, nada que ver.

LLoid

Pero si el código de mierda que hacemos no lo quiere nadie, qué cojones xd

9
eondev
3 1 respuesta
B

#192 Hostias, pues apenas entendiendo los números es muchísimo menos de requisitos para entrenar, esto va a hacer que el OpenGPT avance rápido.

ercabesa

están haciendo una especie de competición en base a la opinión a ciegas de la gente

1
covaga

#138 ayer estuve mirando esto y encontre un discord pero el colab es con RVC no con el SVC.
Teneis alguno mas actualizado? o el RVC es el mejor que hay?

Alien_crrpt

Alguna IA que traduzca videos enteros de Youtube ?

1 respuesta
pelusilla6

No se si hay un hilo del estilo en juegos por lo que lo dejo por aquí.

During its Computex 2023 keynote, Nvidia CEO Jensen Huang unveiled ACE for Games, an AI model foundry service, designed to bring game characters to life using natural language conversation, audio-to-facial-expression and text-to-speech / speech-to-text capabilities. Huang showed a game demo where an NPC named Jin, who runs a ramen noodle shop, interacted with a human player who was asking questions with voice and getting back real-sounding answers that match the NPC's backstory.

Trempado

#196 Estoy trasteando esto:

https://chrome.google.com/webstore/detail/speak-subtitles-for-youtu/fjoiihoancoimepbgfcmopaciegpigpa

1 respuesta
Alien_crrpt

#198 Esa la puse hace unos días en el tema de F1

1mP

Me gustaría aprender a hacer prompts para Midjourney. Estoy en su canal de Discord mirando el prompt-faq pero me parece que está todo desperdigado y quería saber si existe algún recurso (web, libro, video, lo que sea) que sea friendly para empezar desde 0 y entender los conceptos y parámetros que tiene.

Muchas gracias <3

2 respuestas
omiyo

#200 https://docs.midjourney.com/docs/prompts

No se si es exactamente lo que buscas, pero ahí te dejo un par de cosillas que te pueden ir bien :)

1
lorente

Hay algún modelo estable local que tire de cpu?

3 respuestas
ercabesa

#202 de texto o de imagen?

1 respuesta
TaDeuS

Buenas, estoy trasteando con SD2 en mi pc para crear imagenes de D&D y fantasia, me he bajado un par de modelos, y me van saliendo mejor. Me recomendáis alguna guía para los parámetros, guía de prompts, y/o modelo concreto? gracias

PD: tengo un problema que hace que cuando acaba de generar tenga que refrescarlo para poder hacer otro, he leído por ahí que era por los plugins del navegador, pero los quito todos y sigue pasando, alguna idea?

PD2: Para que sirve exactamente el xformers? entrenarla?

1 respuesta
lorente

#203 De texto y no se si existirá el que coja bases de datos y le preguntes acerca de la bd. He visto algo parecido que se llama privategpt

1 respuesta
ercabesa

#205 la única q conozco wue tire en local es vicuna, pero lo de que lea archivos no lo hace

1
SiCk

#204 Te recomiendo usar este modelo entrenado para eso: https://huggingface.co/Anashel/rpg
Ahí mismo tienes un pdf con instrucciones y consejos: https://huggingface.co/Anashel/rpg/resolve/main/RPG-V4-Model-Download/RPG-Guide-v4.pdf

#202 https://gpt4all.io Es supersencillo de arrancar y puede usar CPUs normales. Tienes varios modelos y el 13B según ellos estaría al nivel de un Vicuna/Alpaca.

Para cargarle tú datos: "To train a powerful instruction-tuned assistant on your own data, you need to curate high-quality training and instruction-tuning datasets. Nomic AI has built a platform called Atlas to make manipulating and curating LLM training data easy".
Nunca lo he hecho, tendrías que investigar :)

3 1 respuesta
neoline

¿Hay alguna IA que haga animaciones de fotos antiguas? Preferiblemente que lo haga yo en mi PC sin tener que enviar fotos online.
De este rollo: https://www.myheritage.com/deep-nostalgia

1 1 respuesta
TaDeuS

#207 muchas gracias!

B

#208 Mola mucho eso, me da un aire nostálgico a las fotos de Harry Potter xD