Feda /dev/ - No Javascript allowed

Normas
spoiler
Personas non gratas
Memes feda dev




aren-pulid0

que calladitos estais chiquets

desu

#19260 Al 90% a veces me descoordino. no las practico mucho porque normalmente las hago estrictas. lo que si que he aprendido al toque es a saltar a la cuerda, nunca lo habia hecho antes. Ahora mi proximo objetivo son los DU.

#19244 Me he mirado terraform para el caso que hice de ec2, realmente es easy si. De hecho me parece tan easy que creo que no lo voy a probar al final.

Creo que me voy a poner con k8s + mlflow.

mlflow es muy parecido a lo que me monte con celery y fastapi para ejecutar pipelines xd. tambien se me ha ocurrido usar terraform con ml sobre los logs para hacer auto escalado. como uber o aws. me hago un modelito que segun la prediccion de el trafico de http a los servicios me escale.

Nse, no se con que ponerme.

Me voy a poner a trabajar que llevo dias sin hacer nada hasta que se me decida con que seguir.

LLoid

dios santo como odio python con sus venv, sus pip, pip3, python3, sus $path, sus dependencias y la reputa que los parió a todos

3 2 respuestas
aren-pulid0

pues es bien fácil

pajeets pajeeteando

r2d2rigo

#19263 eso con Powershell no pasa.

Porque no amigos, Python no es un lenguaje de programacion, es un shell script venido a mas.

desu

#19262 Al final HOY tampoco he currado. @fyn4r adivina quien en unos dias vendra llorando que tiene que echar 10h al dia porque no le dan las deadlines... Pista, no es @eondev

Investigando k8s+mlfow, en concreto googleando a/b testing he encontrado Seldon.

Esto es lo que llevo un tiempo diciendo que es el nicho de AI/ML ops donde hay oportunidad de negocio y necesidades.

https://docs.seldon.io/projects/seldon-core/en/latest/index.html

Al final es tener un k8s (u otro orquestrador) gestionando todas tus pipelines, proporcionando monitoreo, data version control (DVC), repositorio de modelos y configuraciones, apis rest + grpc, predicciones online + batch con spark etcs etcs Todo con dashboards e integracion bonita para los pajeet scientist.

Un negocio i.e seria tener todo esto sin k8s ya que la mayoria de clientes no lo necesitarian, solo con monitoreo, a/b testing con sus canary, dvc, repositorios ... ya estarias al nivel de cualquier faang o empresa top.

#19263 Usa poetry, 0 problemas. Bueno si 1, python de mierda. Pero de ese no te libras.

2 1 respuesta
wdaoajw

#19266 Esta es la típica cosa que como negocio se le ha ocurrido a bastante gente. El problema es que para hacer todo eso necesitas una empresa entera, con su gente de front, + back + cloud + devops + bases de datos, etc, etc, porque es un currazo de la hostia.

Y luego, que vender este tipo de servicios no es tan sencillo como puede parecer.

1 respuesta
desu

#19267 Tengo amigos en faangs y empresas top en datascience y esa infraestructura no la tienen ni ellos aun...

Si es un currazo de la ostia porque es un greenfield.

Y la manera de avanzar es sacando librerias de calidad no haciendo frameworks de MIERDA. Pero bueno, ahi esta la oportunidad de negocio claro.

La otra parte del problema es que al tener equipos full data scientist que no tienen ni idea, no saben que todo este nivel de orquestracion y automatizacion es posible.

Y la empresa seguira contratando fisicos y matematicos porque tampoco no tienen ni idea.

Equivalente a yo contratando una instancia en aws a mano en lugar de usar terraform. No tengo NI PUTA IDEA. XD

Ahora, tu eres una empresa que hace data science y es una clave de tu negocio, inviertes un MINIMO en esa infraestructura... Y estaras a a;os luz de la competencia. No necesitas mucho curro eh, yo en unos meses te monto un mvp funcional. De hecho con lo que me he montado estos dias de microservicios te diria que ya lo tengo, me faltarian los deployments para comparar modelos y poco mas...

Las unicas empresas que tienen algo de infraestructura son las que tienen algo de big data o iot, porque al tener equipos de data engineers i devops han podido adaptar un poco su codigo. esto es lo que tienen faangs y similares... El problema que tienen ahi sobre todo es de mineria de datos, data engineering, cacheo de datos. las pipelines de desarrollo son complejas y el trabajador tiene un impacto minimo a no ser que estes en el equipo de ads o seguridad (no conozco a nadie tan bueno como para estar ahi).

Para irte a esa arquitectura tienes que ir a X, waymo, deepmind, openAI y nvidia, MR, AR. Porque son los que orquestan en multi cluster para empujar el soa. El resto que ponen 4 modelos de mierda o tienen un spark en batch no saben ni lo que estan poniendo en produccion XD

2 respuestas
aren-pulid0

#19268 algún día me gustaría saber tanto como tú, lo digo totalmente en serio.

Además coincido en que el tema de ml ops va a pegar muy fuerte de aquí a poco, y yo imagino, que los data scientist que son capaces ahora mismo de desarrollar algo por el estilo son muy muy bien pagados.

1 respuesta
wdaoajw

#19268 yo a un proyecto de este estilo me metía, es de los que tienen pinta guapa guapa.

Pero montar algo así es un cirio, haría falta bastante gente incluso para un MVP

1
desu

#19269 NO me vas a follar

package main

import (
	"image"
	"image/color"
	"image/png"
	"math/cmplx"
	"os"
)

func main() {
	const (
		xmin, ymin, xmax, ymax = -2, -2, +2, +2
		width, height          = 1024, 1024
	)
	img := image.NewRGBA(image.Rect(0, 0, width, height))
	for py := 0; py < height; py++ {
		y := float64(py)/height*(ymax-ymin) + ymin
		for px := 0; px < width; px++ {
			x := float64(px)/width*(xmax-xmin) + xmin
			z := complex(x, y)
			img.Set(px, py, mandelbrot(z))
		}
	}
	png.Encode(os.Stdout, img)
}

func mandelbrot(z complex128) color.Color {
	const interations = 200
	const contrast = 15

var v complex128
for n := uint8(0); n < interations; n++ {
	v = v*v + z
	if cmplx.Abs(v) > 2 {
		return color.Gray{255 - contrast*n}
	}
}
return color.Black
}

Estaba leyendo el go programming lang y he visto este, los fractales son la polla. XD

Zoko

Alguien recuerda como de tortuoso fue el cambio de usar teclado español a un en-us?
El ordenador del nuevo curro es enUS y me preguntan si quiero el teclado en otro layout, pero a lo mejor me fuerzo.

4 respuestas
Kartalon

#19272 Llevo toda mi vida switcheando entre es-ES y en-GB... Creo que el mayor pifostio es que los paréntesis están desplazados una posición a la derecha, todo lo demás no es demasiado doloroso y cosas como tener ;'<> más a mano se agradecen. La ñ está sobrevalorada en el teclado es-ES.

1 respuesta
Zoko

#19273

Creo que lo que mas miedo me da es lo de perder el < al lado de la Z : /

Fyn4r

#19272 en una mañana te acostumbras

Lecherito

A mi me costo un par de semanas para escribir full fluido pero ni tan mal. Me ha gustado el cambio

isvidal

#19272 Primeros 5 dias fue duro, luego ya mejor, ahora ya como si toda la vida.

Zoko

Gracias a todos chavales.

Kartalon

Programar con teclado EN es como conducir con el volante a la derecha. Cuesta un día o dos pero luego sale natural. Con la diferencia de que programar con teclado EN es objetivamente mejor y conducir con el volante a la derecha es objetivamente peor.

3
isvidal

Ojala saber conducir

1 respuesta
B

.

Kartalon

Ah, ¿pero miráis el teclado?

Ranthas

#19280 Y como llevas el tractor entonces?

4 respuestas
isvidal

#19283 Con las manos en el volante y los pies en los pedales

Kaledros

#19283 Si hiciera falta tener el carnet de conducir para llevar un tractor los campos se tendrían que arar solos.

Fyn4r

#19283 De lado, que es la única forma correcta

isvidal

Estos son los buenos pulls que a @JuAn4k4 le gusta reviewarme:

Equilibrio perfecto, ying y el yang, Dalai Lama modo programador estaria orgulloso

#19283 Tengo carne de los 18, era bromuro.

1
desu

Tenéis disponible en github el stack de monitorización que me he montado estos días. @aren-pulid0 @kazuludev . Tan solo me falta el pushgateway que en esta versión no lo uso, pero vamos, solo es levantar el docker y apuntar donde toca. Si lo tengo que meter ya actualizare. Espero que os sirva en vuestros curros de pajeets.

Aun no he decidido el próximo proyecto. Si necesitáis algo pedid.

1 respuesta
B

.

2 respuestas
desu

#19289 no lo comparti contigo tambien? me he liado sorry. recibo demasiados privados.

sino en mi blog siempre a mano:

salu2

1 respuesta