Feda /dev/ - No Javascript allowed

Mucho me cabrean a veces las putas reuniones, creo que no hay nada que odie más que sentir que me están haciendo perder el tiempo. Ya, debería cambiar de sector xD

Explicas una movida "esto falla por X, Y, Z, voy a modificarlo siguiendo tal estrategia". 5 minutos despues: "Oye que esto está mal, fíjate en X,Y, Z". Es que le cortaba una mano

#11945 Lo más importante como te dijo eisen es la configuración de los topics y sus particiones. El resto de configuraciones (producers/consumers) puedes hacerlas con prueba/error y ajustarlas a lo que más te convenga. Para un uso básico funciona bien las configuraciones por defecto y no debería darte ningún problema.

Sobre lo que dices el problema es que no sé a qué idiota se le ocurrió usar kafka como DB. Yo lo he usado desde la verisón 0.7 y desde luego aquello era un infierno de bugs y en el primer proyecto fue lo que más probelmas nos dio, tanto que no se me ocurre guardar un offset en kafka en la vida aunque hayan arreglado las 200 formas en las que se perdían.

Se puede usar como logger, se diseñó para eso precisamente y puedes guardar ahí todos los eventos si te da la gana (o guardarlos en otro sitio y ya está), pero que no sea un core de tu app, que sea un añadido y externo a tu app por ejemplo por si necesitas hacer una regresión en algún punto en el tiempo para comprobar cualquier cosa. No sé en qué cabeza entra usar un sistema de colas de mensajes como DB, pero bueno tampoco entiendo por qué alguien no usaría un PG como db principal y luego adicionalmente otros sistemas nosql para mejorar rendimientos pero nunca como core.

Pero bueno es que soy especialito y fan de las bd relacionales, con todo lo que ayudan de verdad no entiendo como hay grupos que intentan evitarlas xD

#11948 Quizás hago un post con todas mis dudas cuando acabe o creo un hilo.

Lo de kafka como DB por suerte no lo hacemos.... pero no me hubiese extra;ado xd

Ahora estoy leyendo sobre los commits y offsets y los problemas de doble lectura o perdidas. De momento el segundo punto de "configuración" a parte de las particiones por topics para escalar que me he encontrado que tengo que vigilar. Ya que esto afecta al código que tengo que escribir.

Cosas como configurar producers y consumers me la sudan, broker en general tambien, lo del cluster me la suda (con 1 te basta y te sobra para la mayoria de casos)... Si en el futuro necesito algo concreto ya lo aprendere...

La verdad ayer en lugar de rascarme los huevos todo el día debería haber empezado el libro, porque hoy no creo que me lo acabe... xd Llevo 2h 30min y me he leído 102 pags de 322... Pero me esta gustando mucho el libro la verdad, le pongo un 7/10.

#11950desu:

kafka como DB

wtf, ¿eso se hace?

#11954 Si pero sobretodo pensando en reconstruir la DB a partir de los eventos de kafka por ejemplo. El problema es que acabas re implementando una base de datos relacional a mano xd.

Se hace y bastante.

#11954 He visto hacerlo, y acabo pasando lo que dice #11956

Un puto desastre, no se si en una startup molona se podrá hacer, en una telco ya os digo que no xD.

#11959 Del libro que estoy leyendo por ejemplo.

Can we prevent faulty records from ever making it into the pipeline? Can we recover from records that cannot be parsed? Can bad records get fixed (perhaps by a human) and reprocessed? What if the bad event looks exactly like a normal event and you only discover the problem a few days later?

Because Kafka stores all events for long periods of time, it is possible to go back in time and recover from errors when needed.

Si abusas pues...

Ni idea del tema por mi parte la verdad, hay cosas que tocara reconstruir desde el stream pero muchas otras no. Tengo pendiente leer mas del tema. No me importa demasiado el tema de fallos pero tengo curiosidad por eso de ser algo que la gente hace mal. Seguramente yo tambien lo haga mal en algun caso de uso... Never a master.

Me he creado mi propia libreja para consultar listas de diccionarios por medio de dominios en notación polaca.

records = [{name: 'Pepe', age: 12, dead: true, type: 1}, {name: 'Laura', age: 35, dead: false, type: 2}, {name: 'Federica', age: 87, dead: true, type: 3}];

query(records, ['&','|', ['age', '>', 10], ['type','in',[2,3]], ['dead','=',false]]);

Resultado:

[{name: 'Laura', age: 35, dead: false, type: 2}, {name: 'Federica', age: 87, dead: true, type: 3}]

Cunde o no cunde? es parecido a como trabaja Odoo pero del lado del cliente