Feda /dev/ - No Javascript allowed | Página 1259

desu #37741 Jul '22

#37737JuAn4k4:
El rate es ese 2B de mensajes por segundo.

tienes 2B mensajes por segundo, p99 de 20ms.

entiendo que tus 2B es xq son clientes, pero tu realmente para tener esa rate solo necesitas 40M de conexiones abiertas. puedes tener 2 capas de balanceo... ALB -> LB -> TCP POOL

#37737JuAn4k4:
Contra más stateless hagas los servicios y no tengas nada centralizado, mejor escala. El problema de escalar es la centralización de algo y los estados compartidos.

si claro cabron. pero tu has dicho que tus conexiones son stateless. ya me diras como cabron. por eso me rei. HAHA.

pero ya entendi que era un lapsus.

los servicios claro que son stateless pero necesitas estado compartido. raft en nodo + kv? o que teneis pensado? imagina que se os petan 50 nodos o teneis que escalar 50 nodos de repente, como haceis el "hot rolling" de las conexiones? una conexion abierta en un nodo que siga en otro sin perder tiempo? esto es basico cabron.

te pregunto precisamente por el estado compartido. ya se que es lo dificil. por eso pregunto.

#37740JuAn4k4:
Tu has dicho que lo importante es la latencia y el número de conexiones, yo te digo que son los mensajes por segundo.

lo importante es la latencia si. el numero de conexiones no. es el rate. no se donde has entendido eso pero si lo he dicho lo he dicho mal.

la ultima vez te dije exactamente lo mismo. que 2B conexiones no importa nada. solo importa la latencia (que la latencia sale del rate crack).

#37740JuAn4k4:
El p99 de latencia son 20ms por mensaje, en un solo thread en serie serían 50msg/s, pero no se hacen en serie ni en un solo thread. Mandame las cuentas de cómo te salen 100B/s a 20ms por mensaje que no las entiendo. Nuestra app de ahora (heredada y que queremos re-hacer) soporta 2K/2.5K mensajes por segundo con esas latencias, y es una puñetera mierda. Y tu aspirabas a 200ms, no entendí muy bien de qué

Si no ves vete a clase de mates con tu hija peque;a HAHAHA

#37740JuAn4k4:
La coherencia falla en tu comprensión, porque creo que no has entendido nada de lo que digo, no se si has llegado a entender si quiera que la B es de billón.

te estaba trolleando un rato

1 respuesta

Wei-Yu #37742 Jul '22

#37738 en su caso en vez de libros artículos de dev.to escritos por gente con demasiadas consonantes en su nombre.

#37741desu:
te estaba trolleando un rato

ooh jokes on them I was only pretending

de aquí sólo pabajo

1 respuesta

desu #37743 Jul '22

#37740JuAn4k4:
He releido, y has dicho que la latencia es de escribir mensaje, Se escribe un mensaje cada 0.0000000005ms

como pudes tener una latencia de 20ms y un tiempo de transmision/ escribir mensaje, desde que llega el primer byte a tu socket hasta que mandas un ack (o como sea que lo marqueis) 0.0000000005ms

subeme un profile con el tiempo de IO no solo CPU desde que el socket empieza a leer la transmision hasta terminar. eso es la latencia de tu gw. es imposible 0.0000000005ms las cpu no son tan rapidas.

estas diciendo que moveis bytes por tcp a una velocidad superior a la que una CPU hace una suma.

1 respuesta

JuAn4k4 #37744 Jul '22

#37743 Eso no es latencia, es el rate de mensajes que llegan globalmente.
Yo no dije que las conexiones son stateless, la solución al problema es hacer todo full stateless, pero es obvio que no puedes quitar el estado de todos los sitios, coñe que si quieres delivery guarantees, ordering y demás tienes estado por cojones, pues ahí sharding.

1 1 respuesta

desu #37745 Jul '22

#37744 osea que para ti

el tiempo en que una GW escribe un mensaje = el rate de mensajes que llegan globalment

e imagino que diras que llegan a ALB? osea no es ni tu gw? o tu gw al menos?

mejor haz un update cuando hayas picado algo de codigo, porque te veo muy verde.

1 respuesta

desu #37746 Jul '22

#37726JuAn4k4:
full stateless

#37729JuAn4k4:
no es stateless

el socket de schrödinger

1 1 respuesta

JuAn4k4 #37747 Jul '22

#37745 No, una ALB escribe a un rate, pero no hay un solo ALB para soportar 2B de mensajes por segundo en total, con 2B de conexiones concurrentes. Verde dice, si no sabe ni lo que es el rate de mensajes por segundo que me hablas de latencia de escritura, que pueden ser hasta opuestos.

#37746 A ese mensaje le falta el contexto:

microservicios full-stateless
un socket connection es statefull.

Venga que vales para A3

Todo el processing de los mensajes puede ser stateless perfectamente sin embargo el routing es statefull, las subscripciones para pub/sub son statefull.

1 respuesta

Kaledros #37748 Jul '22

#37742 Deberíamos hacer un bingo de debatir con desu. "Llama fpero a alguien", "HAHAHAHA", "estaba troleando", "bebitas".

1 1 respuesta

desu #37749 Jul '22

#37747 Estoy en la daily y he sacado tu caso.

Vamos a preguntar a amazon eso del ALB.

XD

A ver que opinan mis compa;eros de lo que has dicho. A ver si soy yo el unico que lo entiende mal.

Ranthas #37750 Jul '22

#37748 Mi duda es si todo eso lo ha hecho él o lo ha hecho "su equipo" mientras él coloreaba ventanitas con Bootstrap.

Cuesta seguir el arco argumental, así que voy a dedicar el resto de mi mañana a filtrar tickets en Jira para hacer el informe mensual del avance mis masillas. Si te place después te dejo elegir los colores para el gráfico de quesitos.

5

JuAn4k4 #37751 Jul '22

Yo también se trollear:
Yo ya paro de discutir con fperos venidos arriba que no entienden lo básico que confunden un gw HTTP con uno de sockets, que no saben calcular el rate y lo confunden con latencias, o que creen ser el top 0.001% de la chupi pandi y se compara con la élite cuando no sabe resolver lo más básico del ioc de spring o leer la documentación de python para ejecutar background tasks basiquisimas. Venga hasta luego.

1 1 respuesta

Kaledros #37752 Jul '22

Ssssstiáh... con la mano abierta...

1 1 respuesta

desu #37753 Jul '22

#37751JuAn4k4:
que no saben calcular el rate y lo confunden con latencias

yo te digo que los numeros que has puesto no se entienden como tu crees que se entienden.

yo ya he picado una GW (no de 0) que va mejor que todo lo open source y se de lo que hablo.

Si tu tienes 2 B de conexiones abiertas, y cada 1 hace una peticion cada segundo. tienes un rate de 2B/s.

Ahora, como puedes ademas tener un p99 de 20ms? Estos 2 valores son contradictorios.

Supongamos que tienes razon, explicame los numeros.

Porque si cada tx te tarda 20ms, en 1 segundo te caben 50 txs. Osea o bien tienes 100B/s o tienes 40M/s

Es decir puedes tener 2B conexiones, ok. Y que te escriban (segun tu vocabulario) cada segundo. y cada tx tarde 20ms en p99. eso es otro tema. eso es una mierda de throughput. Es equivalente a tener 40M de conexiones a tope.

Pues Alb -> lb -> pool de 40M

y si estoy simplificando http2, imagino que no estais sobre quic.

edit: mi equipo me da la razon, ellos picaron la GW ,de hecho 1 de ellos ahora esta en tu empresa.

3 respuestas

B

[Borrado] #37754 Jul '22

#37752 lo siento, kaledros no puede ponerse ahora, estaba disfrutando tantos que ha salido a por palomitas y una cocacolen

TitoBurns #37755 Jul '22

Chavaleeeeeeeeees! Que es viernes!

aren-pulid0 #37756 Jul '22

vamosssssssssss

Frave #37757 Jul '22 Montedamus

Se ha quedado un buen comienzo de fin de semana sí.

pineda #37758 Jul '22

#37753 el equipo aprobandolo

1 1 respuesta

PiradoIV #37759 Jul '22 Brongster

#37758 “Si le decimos que sí, nos deja de dar la chapa”

¿Qué pet projects vais a abandonar este finde?

6 respuestas

Ranthas #37760 Jul '22

#37759 No puedes abandonar lo que no has empezado.

7

Frave #37761 Jul '22 Montedamus

#37759 https://www.mediavida.com/foro/dev/segunda-competicion-machine-learning-futurama-689127

1

Kartalon #37762 Jul '22 Veterano

#37759 Programar en finde es de parguelas...

2

desu #37763 Jul '22

#37759 a ver. yo no soy el que ha venido al hilo diciendo:

"voy a irme a la luna con mi propio cohete".

y cuando alguien le ha dicho "como haras ese cohete? que combustible? como calculas las fuerzas necesarias y la ruta a seguir? como volveras al a tierra?"

el solo responde:

"si voy a irme a la luna, hare un cohete, que tendra un propulsor quantico, un traje de nanocelulas, un piloto automatico"

y alguien le vuelve a preguntar:

"pero bueno, como construiras ese cohete? que materiales? y el propulsor ese? como funciona? y el traje exactamente que tejidos usaras y que proceso de fabricacion haras?"

y el sigue:

"si si que hare un cohete to pepino, no te respondo nada de eso porque no lo entenderias"

en fin.

siempre soy el malo.

no sabe ni a que velocidad tiene que lanzar el cohete, lo esta midiendo en leguas marinas... imaginate el nivel.

1 1 respuesta

PiradoIV #37764 Jul '22 Brongster

#37763 Tómatelo con calma, los viernes hay que bajar las pulsaciones.

Fyn4r #37765 Jul '22 Inocente

#37759 Yo me voy de ruta a ver unos faros, mi único trabajo fuera del trabajo es sacar los logros del vampire survivors y en eso soy top 0.0001%

1 2 respuestas

Lecherito #37766 Jul '22 A toda leche

#37759 hay un hilo de proyectos abandonados, no me seas

2 1 respuesta

pineda #37767 Jul '22

#37765 le faltan "JAJAJAJAJAJS" a tu comentario para ser top 0.0001%

Traber #37768 Jul '22

Unos peleándose por ver cómo procesar 2 billones de mensajes por segundo y yo cagándome en dios porque Amazon S3 no me procesa más de 5.000k borrados de objeto por segundo. Ya que os ponéis, ir a trabajar para Amazon y aumentadme el rate anda.

2 respuestas

desu #37769 Jul '22

#37768 puedes pedir que te aumenten el rate.

xq necesitas borrar 5k / sec? no puedes hacer soft deletes?

cuentame mas de tu caso de uso.

yo recomiendo soft deletes siempre, por motivos de audit suelen ser obligatorios, y luego en batch borrar al rate que sea.

1 1 respuesta

PiradoIV #37770 Jul '22 Brongster

#37766 Era por cambiar de tema xD

Feda /dev/ - No Javascript allowed

Normas basicas de convivencia:

Memes Feda/dev

Usuarios habituales