Más allá de los memes y tonterías de siempre de "ejjjj que se gasta muuuuxxxooooo" pero sólo cuando son "los malos" y no "los mios", la propuesta es interesante, responde a un problema real, actual y de nueva tecnología, y puede ser un primer paso con respecto al futuro que nos espera (donde precisamente estos algoritmos formarán parte de un proceso más amplio de automatización de los procesos económicos, sociales, etc), pero está claro que si lo hacen los políticos actuales, no va a servir para eso precisamente.
Realmente es importante que el estado empiece a estudiar y regular los algoritmos de toma de decisiones. Ya deberían hacerlo con los que utilizan bancos y compañías de seguros, para asegurarse de que no exista discriminación subjetiva (la discriminación objetiva es otra cosa y ahí, por poco bonito que sea, no se debe meter nadie).
Pero como dice #1, los algoritmos simplemente leen los datos del training y empiezan a hacer sus cosas. Si a un bebé desde chiquito le enseñas que la frase "Heil Hitler" es positiva, el crío la dirá sin pensar en las consecuencias o implicaciones, porque para él es algo que "es así", no entra en si es correcto o no.
Se podría pedir los resultados del algoritmo e investigar por qué dan los resultados que dan, pero leyendo el código del algoritmo no creo que se saque mucho a menos que específicamente se haya metido alguna variable para que de unos resultados esperados (y de esto saben mucho en el gobierno, que siempre están manipulando datos desde el INE).