Feda /dev/ - No Javascript allowed

el que pone los nombres en amazon tiene que ser un lumbreras de los buenos eh

#37773 Un colega se ha sacado el cert de AWS Data Analyst y me ha dicho que me pasa todos los contenidos por si me quiero presentar. ¿Merece la pena en vuestra opinión? Soy Data Scientist, pero en mi empresa aparte de S3 de momento no tocamos mucho más de AWS. Igualmente si me puede beneficiar en un futuro abriéndome puertas no sería mala opción.

#37781 no decia en s3. decia de gestionarlo tu en tu db y despues borrar en s3.

#37777 En Europa al menos, hoy día si exigen que te muevas a trabajar físicamente donde tiene la sede el equipo en cuestión (día de hoy = me escribieron en febrero de este año, no creo que cambiase mucho la cosa desde entonces), a nivel USA ya, ni idea :/

En spoiler parte del mensaje donde menciona el asunto mr Donal Flanagan (bastante majete el tipo por cierto)

#37753 El p99 de procesar un mensaje en 20ms es lo que tenemos ahora, que repito, es una basura. Aguanta 2k-3k msg/s en una sola máquina (m6i.xlarge). Y el challenge a futuro (que tenemos que hacer y aún no hemos definido el cómo) tiene que aguantar mínimo 2B/s en total, todo el cluster/(s). Ya que pensamos partirlo.
Ahora bien, no te puedo decir cómo vamos a hacerlo, si te puedo decir por dónde van las ideas…
Pero sigues confundiendo la latencia de 1 solo con el rate, y eso es un error garrafal. Puedes aumentar la latencia de procesar de media cada mensaje y mejorar el throughout total.

Las conexiones escriben a su ritmo, según su caso de uso, y normalmente no son estables, tienen sus picos y sus bajones, en general no son muy parlanchinas, de media no llegan a 1 mensaje por segundo, pero no es algo que controlemos nosotros, es cosa de cada cliente. Por lo que vemos escriben 1 hacia el server y reciben 9-10 de vuelta, pero tardan 10-15 segundos en ir pidiendo más. Normalmente es porque el usuario se va conectando recibe un poco y ya. Son apps móviles como deliveroo, Uber y demás

El nuevo caso de uso, este gordo, son call centers de soporte, donde tienen datos de cada persona que llama, y de los que “vigilan”. La app es para estos últimos que reciben datos de todos los demás.

#37788 ok.

pero las mates estan bien... llama los nombres que quieres me la pela.

si hay paralelismo o no, de hecho da igual. porque las ecuaciones simplificando son lineales...

si mides en 1 segundo, te llegan paquetes de 100ms (para simplificar). Te salen 10 paquetes / s.

si fijas los 10 paquetes / s. da igual el paralelismo que quieras aplicar... vas a tener 10 paquetes. Te salen 10 paquetes / s. pintalos como quieras dentro del area.

y el max seria 10*10 = 100 paquetes / s. la integral.

yo entendi que tus 20ms de latencia, sobre 1s, te salia a 2B/s. lo dijiste en 4 posts ese valor de 2B/s. entonces si fijas esos numeros no ves que algo falla? hace falta que lo pinte en los cuadraditos?

la inversa de una derivada es integrar (contar cuadraditos debajo de la linea) como sabes. y los cuadraditos se que tienen que ser de un tama;o concreto... no puedo tener medio cuadradito.

y lo que hice fue modificar tu funcion para que cuadrase. lo mismo me equivoque, porque le dedique literalmente 2 segundos a ver el error y realizar el calculo... pero vamos... que entendi mal? ok. que simplifique asumiendo un sistema cerrado perfecto? ok, lo normal. pero las mates estan bien.

cuenta cuadraditos.

edit: si quieres te lo dibujo con funciones mas realistas que suben y bajan el rate de tx y por tanto el throughput no es constante y blah blah blah. me suda. cuenta cuadraditos. al final dara lo mismo si estas observando al final de T. solo cambiaria en 0 < t < T. y digsite muy bien. 1 segundo cabron. 1 segundo de T. rate = throughtput si solo observo al final de T.

yo no confundo nada cabron. tengo nanosatelites en el espacio. elon musk me la chupa.

#37790 Los 20ms son de procesar de media 1 mensaje en nuestra app actual. La nueva tiene que procesar 2B/s.

Ahora bien los números te explico porque no puedes mezclarlos, no entiendo porque metes la integral ahí ni la derivada, si estás mezclando churras con meninas.

Imagínate que la media de procesar es 1s.
Para el mismo tiempo de media, vamos a poner rates de 1 sola máquina:
Si ese segundo lo consigo con en 10 threads concurrentes, estoy sacando más o menos 10 por segundo (simplificando todo mucho)
Sin embargo si fueran 50threads concurrentes sacando esa misma latencia de media saldrían 50/s
Ahora pon que son 200 threads concurrentes sacando 2 segundos de media por mensaje, entonces salen 100/s en una máquina (joder mejor throughout pero peor media, que cosas) Pues si le pongo 100 máquinas son 10000/s el rate que aguanta. Pon más máquinas y te cambia el rate que aguantan globalmente.

Imagino que estarás hablando de otra latencia, la de escritura del cliente y por eso no nos entendemos. De todas formas siempre puedes poner más clientes escribiendo, más paralelismo al escribir y la misma historia.

por eso no entiendo como lo mides y la invención de la integral por ahí.

Bueno pues tenemos que dar con 2B/s (en realidad serán 4B/s porque por convención overprovisionamos al doble) y no vamos a poner 2.000.000.000 de máquinas que aguanten 1000/s que es lo que aguantan ahora (Unos 2000/s) y tenemos 400 máquinas en el cluster más grande.l, y ya dan problemas al desplegar.

#37792 tu ejemplo es lo mismo.

para fperos: si me dices que vas a 100km/h, y que llevas 2h conduciendo y estas a 80km de casa. algo falla. hay 2 opciones xq v = dt. fijo que la h es cierta... o vas a 40km/h o has hecho 200km.

estoy mirando la T, que no es lo mismo que mirar v(t)...

o bueno, mas parecido a tu caso.

me dices que quieres recorrer 100km, y que quieres tardar 1h, te digo que te toca ir a 100/km h.

tu podrias ir a 200km/h 30 min? y luego a 50km/h otros 30 min? SIIIIIIIIIIIIIIIIIii
pero no podras hacer 200km/h 1h o te pasaras de los 100km/h.

pero como solo estoy mirando T al final, te digo que vayas a 100km/h. o lo que es lo mismo. me has dicho que vas a ir 100km/h. te esoty diciendo que vas a recorrer 100km. que primero haras 50km y despues 50km? ok. que haras 25 25 25 25km? ok. no miro eso.

ahora tu me podrias decir, tengo como limite que no puedo superar los 120km/h y tengo que ir 40km a 80 km/h. a cuanta velocidad tengo que ir y cuanto tiempo cada tramo? al final recorreras 100km. al final estaras 1h. pero la v(t) sera distinta.. pero v(T) como lo estoy diciendo = 100km/h. xq considero una linea. y en este caso es lo que has puesto de condicion. recorrer 100km en 1 hora. v = d/t. 100km / 1h. 100km/h.

no entiendo aun la duda. y la integral es la inversa de la derivada. si me das la velocidad te saco los km.

#37794 Tu ejemplo indica lo poco que entiendes del caso. No es lo mismo. Si baja la latencia no implica subir el rate, ni subir la latencia implica bajar el rate. Con la velocidad y distancia es al revés.

Nuestra app, va a 2ms para rates menores a 1000msg/s. Pero llega a 20-30ms para llegar a 2800msg/s.
Sube la latencia, sube el throughout o rate que aguanta.

Para que tu ejemplo fuese igual, tendría que ser capaz de dividirme y recorrer dos trozos a la vez pero más despacio, así puedo ir a 50km/h y llegar en ese tiempo si me divido en 2. Cosa que en el coche no puedo hacer pero en un Ordenador si.
O mejor aún, podemos recorrer 100km ente 100 personas haciendo 1km cada uno iendo a 15km/h y recorrerlo en 4 minutos en total.

si una mujer puede parir un niño en 9 meses, 9 mujeres pueden parir 1 niño en un mes

#37799 era coña, no suelo leer tus posts