Feda /dev/ - No Javascript allowed | Página 643

aren-pulid0 #19261 Feb '21

que calladitos estais chiquets

desu #19262 Feb '21

#19260 Al 90% a veces me descoordino. no las practico mucho porque normalmente las hago estrictas. lo que si que he aprendido al toque es a saltar a la cuerda, nunca lo habia hecho antes. Ahora mi proximo objetivo son los DU.

#19244 Me he mirado terraform para el caso que hice de ec2, realmente es easy si. De hecho me parece tan easy que creo que no lo voy a probar al final.

Creo que me voy a poner con k8s + mlflow.

mlflow es muy parecido a lo que me monte con celery y fastapi para ejecutar pipelines xd. tambien se me ha ocurrido usar terraform con ml sobre los logs para hacer auto escalado. como uber o aws. me hago un modelito que segun la prediccion de el trafico de http a los servicios me escale.

Nse, no se con que ponerme.

Me voy a poner a trabajar que llevo dias sin hacer nada hasta que se me decida con que seguir.

LLoid #19263 Feb '21

dios santo como odio python con sus venv, sus pip, pip3, python3, sus $path, sus dependencias y la reputa que los parió a todos

3 2 respuestas

aren-pulid0 #19264 Feb '21

pues es bien fácil

pajeets pajeeteando

r2d2rigo #19265 Feb '21 Inocente

#19263 eso con Powershell no pasa.

Porque no amigos, Python no es un lenguaje de programacion, es un shell script venido a mas.

desu #19266 Feb '21

#19262 Al final HOY tampoco he currado. @fyn4r adivina quien en unos dias vendra llorando que tiene que echar 10h al dia porque no le dan las deadlines... Pista, no es @eondev

Investigando k8s+mlfow, en concreto googleando a/b testing he encontrado Seldon.

Esto es lo que llevo un tiempo diciendo que es el nicho de AI/ML ops donde hay oportunidad de negocio y necesidades.

https://docs.seldon.io/projects/seldon-core/en/latest/index.html

Al final es tener un k8s (u otro orquestrador) gestionando todas tus pipelines, proporcionando monitoreo, data version control (DVC), repositorio de modelos y configuraciones, apis rest + grpc, predicciones online + batch con spark etcs etcs Todo con dashboards e integracion bonita para los pajeet scientist.

Un negocio i.e seria tener todo esto sin k8s ya que la mayoria de clientes no lo necesitarian, solo con monitoreo, a/b testing con sus canary, dvc, repositorios ... ya estarias al nivel de cualquier faang o empresa top.

#19263 Usa poetry, 0 problemas. Bueno si 1, python de mierda. Pero de ese no te libras.

2 1 respuesta

wdaoajw #19267 Feb '21

#19266 Esta es la típica cosa que como negocio se le ha ocurrido a bastante gente. El problema es que para hacer todo eso necesitas una empresa entera, con su gente de front, + back + cloud + devops + bases de datos, etc, etc, porque es un currazo de la hostia.

Y luego, que vender este tipo de servicios no es tan sencillo como puede parecer.

1 respuesta

desu #19268 Feb '21

#19267 Tengo amigos en faangs y empresas top en datascience y esa infraestructura no la tienen ni ellos aun...

Si es un currazo de la ostia porque es un greenfield.

Y la manera de avanzar es sacando librerias de calidad no haciendo frameworks de MIERDA. Pero bueno, ahi esta la oportunidad de negocio claro.

La otra parte del problema es que al tener equipos full data scientist que no tienen ni idea, no saben que todo este nivel de orquestracion y automatizacion es posible.

Y la empresa seguira contratando fisicos y matematicos porque tampoco no tienen ni idea.

Equivalente a yo contratando una instancia en aws a mano en lugar de usar terraform. No tengo NI PUTA IDEA. XD

Ahora, tu eres una empresa que hace data science y es una clave de tu negocio, inviertes un MINIMO en esa infraestructura... Y estaras a a;os luz de la competencia. No necesitas mucho curro eh, yo en unos meses te monto un mvp funcional. De hecho con lo que me he montado estos dias de microservicios te diria que ya lo tengo, me faltarian los deployments para comparar modelos y poco mas...

Las unicas empresas que tienen algo de infraestructura son las que tienen algo de big data o iot, porque al tener equipos de data engineers i devops han podido adaptar un poco su codigo. esto es lo que tienen faangs y similares... El problema que tienen ahi sobre todo es de mineria de datos, data engineering, cacheo de datos. las pipelines de desarrollo son complejas y el trabajador tiene un impacto minimo a no ser que estes en el equipo de ads o seguridad (no conozco a nadie tan bueno como para estar ahi).

Para irte a esa arquitectura tienes que ir a X, waymo, deepmind, openAI y nvidia, MR, AR. Porque son los que orquestan en multi cluster para empujar el soa. El resto que ponen 4 modelos de mierda o tienen un spark en batch no saben ni lo que estan poniendo en produccion XD

2 respuestas

aren-pulid0 #19269 Feb '21

#19268 algún día me gustaría saber tanto como tú, lo digo totalmente en serio.

Además coincido en que el tema de ml ops va a pegar muy fuerte de aquí a poco, y yo imagino, que los data scientist que son capaces ahora mismo de desarrollar algo por el estilo son muy muy bien pagados.

1 respuesta

wdaoajw #19270 Feb '21

#19268 yo a un proyecto de este estilo me metía, es de los que tienen pinta guapa guapa.

Pero montar algo así es un cirio, haría falta bastante gente incluso para un MVP

1

desu #19271 Feb '21

#19269 NO me vas a follar

package main

import (
	"image"
	"image/color"
	"image/png"
	"math/cmplx"
	"os"
)

func main() {
	const (
		xmin, ymin, xmax, ymax = -2, -2, +2, +2
		width, height          = 1024, 1024
	)
	img := image.NewRGBA(image.Rect(0, 0, width, height))
	for py := 0; py < height; py++ {
		y := float64(py)/height*(ymax-ymin) + ymin
		for px := 0; px < width; px++ {
			x := float64(px)/width*(xmax-xmin) + xmin
			z := complex(x, y)
			img.Set(px, py, mandelbrot(z))
		}
	}
	png.Encode(os.Stdout, img)
}

func mandelbrot(z complex128) color.Color {
	const interations = 200
	const contrast = 15

var v complex128
for n := uint8(0); n < interations; n++ {
	v = v*v + z
	if cmplx.Abs(v) > 2 {
		return color.Gray{255 - contrast*n}
	}
}
return color.Black
}

Estaba leyendo el go programming lang y he visto este, los fractales son la polla. XD

Zoko #19272 Feb '21

Alguien recuerda como de tortuoso fue el cambio de usar teclado español a un en-us?
El ordenador del nuevo curro es enUS y me preguntan si quiero el teclado en otro layout, pero a lo mejor me fuerzo.

4 respuestas

Kartalon #19273 Feb '21 Veterano

#19272 Llevo toda mi vida switcheando entre es-ES y en-GB... Creo que el mayor pifostio es que los paréntesis están desplazados una posición a la derecha, todo lo demás no es demasiado doloroso y cosas como tener ;'<> más a mano se agradecen. La ñ está sobrevalorada en el teclado es-ES.

1 respuesta

Zoko #19274 Feb '21

#19273

Creo que lo que mas miedo me da es lo de perder el < al lado de la Z : /

Fyn4r #19275 Feb '21 Inocente

#19272 en una mañana te acostumbras

Lecherito #19276 Feb '21 A toda leche

A mi me costo un par de semanas para escribir full fluido pero ni tan mal. Me ha gustado el cambio

isvidal #19277 Feb '21

#19272 Primeros 5 dias fue duro, luego ya mejor, ahora ya como si toda la vida.

Zoko #19278 Feb '21

Gracias a todos chavales.

Kartalon #19279 Feb '21 Veterano

Programar con teclado EN es como conducir con el volante a la derecha. Cuesta un día o dos pero luego sale natural. Con la diferencia de que programar con teclado EN es objetivamente mejor y conducir con el volante a la derecha es objetivamente peor.

3

isvidal #19280 Feb '21

Ojala saber conducir

1 respuesta

B

[Borrado] #19281 Feb '21

.

Kartalon #19282 Feb '21 Veterano

Ah, ¿pero miráis el teclado?

Ranthas #19283 Feb '21

#19280 Y como llevas el tractor entonces?

4 respuestas

isvidal #19284 Feb '21

#19283 Con las manos en el volante y los pies en los pedales

Kaledros #19285 Feb '21

#19283 Si hiciera falta tener el carnet de conducir para llevar un tractor los campos se tendrían que arar solos.

Fyn4r #19286 Feb '21 Inocente

#19283 De lado, que es la única forma correcta

isvidal #19287 Feb '21

Estos son los buenos pulls que a @JuAn4k4 le gusta reviewarme:

Equilibrio perfecto, ying y el yang, Dalai Lama modo programador estaria orgulloso

#19283 Tengo carne de los 18, era bromuro.

1

desu #19288 Feb '21

Tenéis disponible en github el stack de monitorización que me he montado estos días. @aren-pulid0 @kazuludev . Tan solo me falta el pushgateway que en esta versión no lo uso, pero vamos, solo es levantar el docker y apuntar donde toca. Si lo tengo que meter ya actualizare. Espero que os sirva en vuestros curros de pajeets.

Aun no he decidido el próximo proyecto. Si necesitáis algo pedid.

1 respuesta

B

[Borrado] #19289 Feb '21

.

2 respuestas

desu #19290 Feb '21

#19289 no lo comparti contigo tambien? me he liado sorry. recibo demasiados privados.

sino en mi blog siempre a mano:

salu2

1 respuesta

Feda /dev/ - No Javascript allowed

Normas basicas de convivencia:

Memes Feda/dev

Usuarios habituales