the ugly org - una startup de AI, ML, LLM, machine learning y python

Voy a empezar usando BentoML https://bentoml.com

Me parece bastante malo, como todo el ecosistema de python escrito por NO ingenieros para NO ingenieros. Y curiosamente viene de un early-engineer de Databricks. Vio la ventana y metió la cabeza rápido para hacerse rico a base de empresas que no tienen ni puta idea. Pero vamos, si es de Databricks ya sabéis como va jaja.

Tomando MALAS decisiones en multitud de sitios ademas de diseño "a la framework" que no te enteras de que ocurre. Y como tengas que modificar 1 sola cosa de sus por defecto... reza. I.e métricas, multiples servicios/modelos, loadbalancing... horrible!!! Todo esto a primera vista obviamente mal.

Como yo lo veo es como las ofertas de full stack, en lugar de tener 2 ingenieros pagan a 1 matao de un bootcamp. Esto es lo mismo con ML. En lugar de tener un backend y uno de ML que sepan cada uno hacer su parte, tienen a un matao de datascience, cobrando la mitad pero eh, puede poner que hace ML en su CV, pegando varios frameworks de python y rezando a Dios que todo funcione. Pero eh, que los frameworks los hacen la gente de Meta o Google!!! En meta y google no usan los frameworks nada mas para demos tontitos.

El motivo que lo voy a usar es que me interesa tirar a vLLM rápido y en teoria, que ya sabemos estos frameworks después no funciona nada, lo soportan bien. Y también me interesa iterar muy rápido el tener un producto en "prod" con métricas y logs. Ya digo, startup.

Hay que crear primero de todo un bentofile.yaml que en ningún lugar de su documentación te explican los campos que son y para que sirven. Vamos bien!

Se ve asi un ejemplo:

service: "service:Summarization"
labels:
  owner: bentoml-team
  project: gallery
include:
  - "*.py"
python:
  requirements_txt: requirements.txt

xq service:XXXX??? lo puedo cambiar el nombre? que son las labels? puedo usar las que quiera? que es el include? y las opciones de python solo puedo tener esas? nse... ni un puto spec y acabo de empezar el hello world.

Id pillando asiento porque esto es pyhton y esto es ML, todo va a ser asi. nefasto. y si, podria hacer todo esto por mi cuenta en java, go, rust o incluso pyhton a mano y tenerlo en 1 dia mejor que lo que te ofrece bento... pero bueno. confío en que para cargar los modelos me compense. de nuevo ejemplo de NO ingenieros haciendo frameworks para NO ingenieros.

Cualquier ingeniero te pone una API en prod con monitoring y logs en 1 día mejor que lo que te hara cualquier framework de python...

Sigo estoy ejecutando el quickstart y lo primero que me aparece en la consola es esto:

2024-10-01T11:38:10+0200 [WARNING] [cli] Converting 'Oscar' to lowercase: 'oscar'.
2024-10-01T11:38:11+0200 [INFO] [cli] Starting production HTTP BentoServer from "service:Oscar" listening on http://localhost:3000 (Press CTRL+C to quit)
No model was supplied, defaulted to sshleifer/distilbart-cnn-12-6 and revision a4f8f3e (https://huggingface.co/sshleifer/distilbart-cnn-12-6).
Using a pipeline without specifying a model name and revision in production is not recommended.

Using a pipeline without specifying a model name and revision in production is not recommended.!!!

Tio, por favor, si esto no es recomendado, porque no lo pones en tus ejemplos ya bien??? Soy un profesional que quiere usar tu producto dame la manera correcta de hacer las cosas no? Ahora tengo que rebuscar en la documentación... Porque esto es python y nada esta tipado y los ides se vuelven loco navegando el source...

#6 Es que el python da igual.

La cuestión es que vLLM lo están usando en Meta y demás...

El tema es que hay tanto dinero para quemar y es un espacio que avanza tan rápido en el lado de las GPUs que a las empresas grandes se la pela.

Que los de la vLLM que son de Berkeley pongan a 4 estudiantes a optimizar el python y la API pues bueno, también lo hacían en Google con el Tensorflow, Jax, Tensorflow 2... etc... Hay tantos repos porque cada becario empezaba el suyo.

El tema es que no haya nadie que simplemente haga las cosas bien y fuera... Haz la API en Go y ya, que problema hay?

Solo que alguien tuviese las APIs con Go y que llamase vLLM ya seria el mejor LLM del mundo y ahorraría 2 años de trabajo a toda la sociedad.

#10 son los tokens de entrenamiento o inferencia?

thank you esa era mi duda. lo he leído en diagonal.

ya he visto en una re-leida que mantiene velocidad de inferencia y tamaño del modelo.

Pd: solo me interesa poner el modelo en prod, me la pela el backend y el kernel.

Bueno resumen de hoy, he leído mucho sobre las herramientas cloud como sagemaker de aws (un mierdon, pero la API de tirar modelos es como debe ser al menos), he comparado el hardware de distintas GPU que se venden, he leído unos cuantos papers/blog posts de SOTA sobre optimización de LLM...

A conclusion:

Para la parte de delivery/fetch del modelo es que no veo ningún motivo para usar python. Al final cargaras el modelo optimizado y lo mandaras como mejor funcione a la GPU.

Para la otra parte de entrenamientos, testing y optimización de LLMs (quantificacion, QAT, 4bit inference) u optimizar otros modelos, todo esto al final lo compilaras con torch y te dará un modelo... (weights, tokens, configuraciones, hyper parámetros...) asi que realmente la necesidad de python es bastante pequeña.

Si analizamos features de bentoML:

• API HTTP Rest sincrona
  • trivial
• API HTTP Rest async para tirar tasks/jobs, es decir, una queue
  • "trivial", o muy fácil o muy dificil, pero un problema resuelto desde hace décadas
• Asignar peticiones a CPU o GPU
  • hacer esto usando un framework seguramente es peor que tener control absoluto a nivel de linux(kernel), ya que no necesitamos tener un pool dinámico de recursos. Si tu tienes 1 GPU, no te interesa compartirlo con 2 modelos, porque vas a tener que pagar el "context switch" de cargar el modelo en memoria y ejecutar y asi... Es mucho mas simple tener 1 proceso 1 modelo 1 cpu 1 GPU (o N si tiene sentido), y que este proceso este optimizado para trabajar en batch, trabajar en singles o lo que sea.
• Build y Container
  • Una mierdota como una casa, mejor hacerlo tu a mano
• Model store / model registry
  • Trivial de tener y una mierda de nuevo tenerlo en el framework, si tu tienes un producto quieres tener un entendimiento COMPLETO y control COMPLETO sobre todos los modelos que uses... no vas a estar probando en prod cada dia un modelo, eso entraría dentro de la parte de entrenamiento/tunning/testing no en la parte de delivery/fetch.
• multimodal composition, tener pipelines de multiples modelos
  • esto es un mierdon absoluto tenerlo en un framework, hacerlo a mano es 100% mas fácil, simple y eficiente.
• distributed services, tener replicas, loadbalancing etc
  • mierdon absoluto tener esto con un framework por los motivos explicados atras debería quedar claro que es mil veces mas simple meter un loadbalancer delante que lo haga por ti!
• testing
  • horrible, mezclando de nuevo la parte de delivery/fetch con la parte de entrenar y desarrollar un modelo
• clientes http para servicios bentoML
  • inutil, aqui el problema es acoplar los de talles del modelo a la API rest... y luego tratar de generalizarlo en un framework
• observability y logs
  • trivial de hacer y la verdad, lo que tienen por default es una mierda

Es una soberana gilipollez tener esto... en que momento no vas a usar todas las gpu disponibles para hacer delivery??? O vas a compartir gpu o cada modelo a una gpu, eso si. Pa que expone esto el framework? me parece tan críptico...

Hoy voy a explicar como voy a implementar la arquitectura de colas y pub/sub sin usar nada de colas ni pub/sub.

Los highlights son:

• Entender el problema ha resolver y la solución.
• Hacer cosas que no escalan. https://www.ycombinator.com/library/96-do-things-that-don-t-scale
• Unix philosophy, simplicity y demás buzz

El objetivo es un sistema de ML que consumirá inputs y producirá outputs. Escalable, fácil, simple y eficiente.

Pues hoy he empezado pensando como comunicar mi API con los servicios que aplicaran machine learning. He pensado si una API http o grpc, si usar algo como redis o sqlite como cola de tareas... La conclusión que he llegado es.

• 1) toda la pipeline la quiero asíncrona.
• 2) como todo es asincrono, no necesito transferir datos bajo demanda, puedo ponerlos en un sitio y leer cuando se requiera. y cuando se requeira va a ser cuando el sistema pueda.
• 3) como puedo dejarlos en un sitio y leer cuando queira, ya tengo una queue...

El usuario me subira un video o contenido a procesar por la pipeline, el contenido original lo guardo en un assets. En este caso he generado una transcription.txt porque quiero aplicar https://huggingface.co/learn/audio-course/chapter7/transcribe-meeting.

Para cada archivo, genero un id aleatorio y les asigno un consumer. Asi que mas bien que un modelo producer/consumer con colas, tenemos un modelo de actores. Porque en lugar de publicar a una queue y que los consumers elijan, directamente estoy publicando a un actor pero mediante la cola.

He decidio fijar el numero de consumers. Como cada consumer, en principio sera 1 GPU, y esta se ira bloqueando para procesar. Puedo decidir cuantos grupos tendre, porque sera el hardware de antemano. He decidio tener 2 grupos para empezar. Asi de esta manera no existe nunca problemas de concurrencia ni paralelismo. 1 gpu = 1 recurso = 1 consumer o mejor dicho 1 actor.

Y por ultimo tenemos el summarizer/consumer/actor. Leera trabajo de su cola y lo procesara. He simplificado el codigo con un while True, lo suyo es tener un watcher para no bloquear la CPU.

De esta manera movemos todo el problema de gestionar de recursos y colas a orquestación de procesos. Y la verdad, no es ningún problema... si escalamos de 2 GPU a 4 GPU tan solo tenemos que modificar el script de arranque para seleccionar para cada GPU la cola.

En conclusión, esta es una solución simple muy elegante que cubre la gran mayoría de casos de uso asíncronos. El trade-off si generalizamos con un sistema de colas donde transmitimos por cable seria tiempos de escritura en disco vs tiempos de escritura por network y durabilidad del sistema. Pero no lo veo un problema con hardware moderno hacer esto. Igualmente procesar modelos de ML ya tarda segundos. La diferencia entre escribir a disco o network no son segundos.

https://github.com/vrnvu/oscar/commit/08e04becceefc9d223e3c0fcbb5b0a77b735d816

Y obviamente, estoy funcionaria en un sistema distribuido donde los assets y colas estan "en el cloud", en lugar de fs lees por network.

Bueno, empezamos a tener cositas, tirando la gpu del mac, unos 10mib, madre mia lo que tardaaaaa:

uv run main.py 19.98s user 11.47s system 27% cpu 1:53.21 total

Hubo un día en el que yo tenía muchas ganas de verla porque yo estaba muy enamorado, ¿vale? Yo creo que ella nunca estuvo tan enamorada como yo estuve de ella, ¿vale? Estábamos en 2011 y yo justo acababa de tener una relación con una expareja mía también. Y lo dejé todo para estar con ella, porque estaba muy enamorado de ella, ¿vale? Fue el mayor momento de vulnerabilidad de mi vida. Nunca en mi vida he estado tan enamorado y no creo, fíjate lo que te digo, que nunca lo vaya a volver a estar de la misma manera. Fue la primera vez en mi vida que estuve realmente enamorado y en el que sentí que realmente estaba completamente, estaba totalmente vulnerable ante cualquier cosa que hiciese. Podía jugar conmigo, si quisiese. Recuerdo como algo bonito, aunque realmente no lo era tanto. Realmente fue mucho más un tormento que un... A ver, no, fue... ¿Qué es para mí el amor? ¿Una sonrisa o una lágrima? Las dos cosas, ¿no? Me acuerdo que estuvimos casi un año y... La dejé dejándola de hablar. Porque un día, por la noche, un día que salí por la noche, me acuerdo que yo me moría de ganas de verla. Pero no tenía el valor de decirle, oye tal, quiero estar contigo un rato. Que dejes de estar con tus amigas un rato y que estés un rato conmigo, porque tengo muchas ganas de estar contigo, pero yo no quería hacer eso, porque no quería ser posesivo o no quería, no quería que una persona no me gusta que la gente cambie de planes por estar conmigo ¿vale? entonces yo siempre he intentado no hacer que la gente tal, porque claro, yo no voy a ir allí a estar con sus amigas, porque yo no quiero estar con sus amigas quiero estar con ellas, joder, darle un beso y agrazarla y decirle que la quiero mucho. Eso es lo que quería. Entonces, porque además llevábamos mucho tiempo juntos o bueno, quedando y tal, ¿sabes? Pero no me gustaba hacer eso, porque quiero que la gente disfrute de su tiempo y quiero que salga de ti. No quiero yo decirte. Quiero que salga de ti. ¿Entiendes? Porque si no es muy aburrido el amor. Cuando estás todo el rato dando y recibes muy poco es muy aburrido, es muy nocivo, es tóxico. ¿Entiendes? Entonces, claro, yo... Es una situación difícil para mí, ¿no? Porque yo sabía que esto era así, pero la quería tanto. Que daba igual. Porque cinco minutos con ella significaban diez horas con cualquier otra. ¿Entiendes? Ese nivel de vibración no lo había tenido nunca. Estaba completamente enamorado. Y yo, tras esa noche en la que ella no salió de ella, como una de las muchas noches en las que no salió de ella estar conmigo, un rato, 10 minutos, 20 minutos y luego ya estaba, dije, me di cuenta en el breve momento de lucidez que tienes cuando eres un imbécil enamorado, porque si eres un enamorado eres un imbécil, eres una persona que no es consciente de nada, está perdida, está completamente vulnerable, es frágil, débil. Una persona enamorada es una persona débil, es una persona que es manipulable, completamente manipulable. Y en un breve momento de lucidez que tuve, dije, hostias, estoy tan enamorado que me estoy haciendo muchísimo daño, tío. Cada día en el que no puedo estar con ella, me estoy haciendo muchísimo daño. Lo único en lo que pienso es en ella. Todo el día, toda la noche, todo el rato. No paro de pensar en ella. Y ella le suda todo el puto coño. Queda conmigo de vez en cuando, se lo pasa bien y ya está. Porque no quiere nada más. Y es totalmente respetable. Es totalmente respetable. Pero me está haciendo muchísimo daño. Tengo que parar. Así que le dejé de contestar. Ella me habló a la mañana siguiente, tal. Yo le contesté, tal, le dije tal. Bueno, ¿qué tal? Bien, tal. Vale, me alegro, tal. Tal. Al rato me volvió a hablar, oíste, porque hablábamos mucho. Mucho, mucho, mucho. Y decidí no contestarle más. Ella me hizo una broma, no sé qué. Oye, contéstame, joder, estoy resaca, ¿qué tal? No sé qué, porque ella estaba en su derecho, ella no estaba siendo mala. Es que yo estaba muy enamorado, tío. Y no estaba siendo correspondido, no es culpa suya. Ella, pues, yo le gustaba y se lo pasaba muy bien conmigo, nos lo pasábamos bien, pero ya está. Pero yo estaba enamorado. ¿Entiendes? Así que tuve que dejar de contestarle. Porque no tenía otra arma. Porque no podía cortar con ella. No podía decirle que no quería volverla a ver porque me estaría mintiendo. Claro que quería volverla a ver. Haría lo que fuese por ella. Y lo hice durante muchos meses. Pero llegó un momento en el que tuve que anteponer mi salud mental a intentar sonsacar de donde no hay nada que sacar. Y es muy difícil darse cuenta, muy difícil. Ha sido probablemente, pues, probablemente no, ha sido el peor momento de mi vida en cuanto al amor, sin duda. Y pasé semanas con ganas de llorar, durmiendo mal, alterado, con ansiedad fatal. Y ella sin tener ni puta idea. Ella pensaba que me habría pillado un rebote y lo seguirá pensando. Y lo seguirá pensando, pero no.