Feda /dev/ - No Javascript allowed

Al final he hecho también microservicios para el backend, doy asco, asique es IoT + event driven para los servicios, ya os explicare mi solución a nivel de dise;o / arquitectura porque es la primera vez que pico esta mierda y la he simplificado bastante desde el ultimo esquema.

mis unicos inputs que pasan por kafka son dispositivos iot.
todo lo demas es event driven que pasa por kafka pero es una arquitectura tipica de microservicios.
he hecho que cada microservicio sea autoconfigurable, bottom up.

1 cluster, un par de brokers/replications nada loco, no tengo service discovery ni cosas de spring cloud, stack de netflix.

Unos 50k rec/s para esta primera version, tirando a lo largo en maximo rendimiento en prod.

El tema de iot es interesante para el que le interese, no puedes meter 50k dispositivos directamente contra kafka, parece que lo normal es tener un proxy de mqtt para gestionar las conexiones y la comunicacion con dispositivos. a dia de hoy no han nada open source que cumpla con todo y basicamente esto es una cosa que tengo que implementar.

Luego hay un otro tema raro en el dominio iot, que los mensajes normalmente necesitan ser validados a cada mensaje que te llegue y esto no es trivial, imaginaos 50k/s si los tengo que validar consultando una db (cacheada) el cuello de botella que puedes meter ahi. Esto estoy pensando que quizas lo mas eficiente es trabajar con streams y ventanas..... tambien es un problema gordo del dominio. Pero bueno, esto me lo dejo para mas adelante, el problema es que si no tienes acceso al hardware o gateways que usan lo tienes que vaildar xd si tienes acceso a hardware en algun momento puedes intentar meter validaciones por ahi pero no es un problema solucionado.