Feda /dev/ - No Javascript allowed

#44804 claro, yo imagino que irán saliendo muchas de la primera también porque gente como aws/google/Microsoft tiraran a ofrecer eso como servicio, royo IaaS pero en IAaaS ?

#44825 #44826 https://huggingface.co/

#44825 Ya hable del tema. Nvidia y Apple estan haciendo la guerra a las plataformas de IA. Existe una idea que es la de "Quantization" que podeis entenderlo como comprimir un modelo de ML. Y esto lo estan aplicando para hacer LLM embedded.

Actualmente algo como un ChatGPT son unos 2TB, me lo invento, pero se puede comprimir para que pese 1TB incluso 500GB. Existen varias tecnicas y desarrollo al respecto. No es como comprimir un zip que hay un maximo teorico, en los modelos de ML se puede comprimir MUCHO.

La idea de Apple es que quieren que su ChatGPT sean <500GB y metertelo en el Iphone embedded, usando sus chips especificos de NN para no gastar CPU. De esta manera, vas a tener acceso a ChatGPT4 sin lag a nivel de OS. Una locura. Accesible con syscalls y procesandose en chips dedicados.

Imaginate que estas programando una app para iphone, imaginate que tienes una lib que se llama "SiriGPT" que hace lo mismo que ChatGPT pero instantaneo. Para que usas una API externa que ya te añade una latencia y ademas vas a pagar?

Quien va a pagar por APIs de AI si en el futuro el OS (Apple, Nvidia) te van a proporcionar hardware y modelos de LLM que hacen lo mismo "gratis"?

Esta demo de Meta es un gran ejemplo, estan metiendo un modelo que SOLO PESA 8MB! https://segment-anything.com/demo Una locura. Con 8MB puedes implementar en client side segmentacion instantanea.

#44830 A dia de hoy ya existe la tecnologia para tener traduccion instantanea por ejemplo. Que tus airpods te traduzcan instantaneamente. Tener el modelo embedded te permitira que tus airpods tradujeran sin necesitar tu apple watch/ipad/mac.

Pero todas las grandes se lo estan guardando y van a ir poco a poco.

No quieren mostrar las cartas aun al gran publico.

Lo mismo se podria aplicar a gafas de AR. Tener un modelo embedded como el que he puesto de meta que te haga segmentacion y de ahi mandarlo a tu laptop. Latencia <1 ms. Ponle <5ms si quieres.

Los modelos embedded son la revolucion real.

En fin, estoy de vacaciones del hilo, pero he tenido que postear porque no teneis ni puta idea y sois anormales.

Que nadie se meta en una startup de estas de AI as Platform porque van a morir.

O si alguien se mete que sepa la realidad.

Por cierto, para el calvo @Kaledros https://arnaudiaz.com/blog/types-of-coroutines/

Es esta la mejor explicacion de coroutines en todo internet?

#44834 En Teams tienes una función para activar los subtítulos en reuniones, yo cuando tengo reuniones internacionales lo pongo, le digo que el idioma es inglés de reino unido, y de cada 5 palabras que transcribe, se equivoca en dos.

Si estuviera suficientemente perfilado (quizás una IA que pudiera escuchar y entender frases enteras y luego buscar la transcripción más adecuada) sería estupendo. De repente podrías tener a gente de todo el mundo hablando en su lengua y saliendo subtítulos en pantalla.

#44835 En Google Meet pasa igual. Si encima le sumas que no todo el mundo que habla un idioma lo hace académicamente y que hay tres millones de acentos incluso entre los propios hablantes... ya no es un francés hablando inglés, es que a ver qué IA tiene cojones de entender a un escocés al que no entienden ni los ingleses.

#44836 ¿No se puede proteger con sistemas de patentes o algo? Pues a ver si el tema sale pronto porque sería una mejora enorme.

#44837 Sí, la primera limitación es la de no no tener multidioma, tienes que elegir uno y es el único que "sabe" transcribir y sólo si se habla con determinados acentos, sin demasiadas prisas...y sin saber leer el contexto.

#44839 Necesitas criptografía encima del modelo y en el kernel.

Una opción que seguramente barajan es retrasar los modelos embedded pero que la api que usen los usuarios sea la misma que la del kernel final.

Así se desarrolla apps inteligentes de mientras y algún día te venderán el toggle. Igual que con los chips de NN. Ya hicieron algo similar.

Y mientras han desarrollado la seguridad.

Pero vamos, nadie quiere dar pistas.

#44841 Corren el riesgo de que otra compañía saque esa feature y se lleve un pedazo del mercado, pero supongo que tienen sus estudios para saber cómo de cerca están sus competidres de ello

#44842 En este caso hablamos de una llamada de teams, sólo ha de ser capaz de separar las voces cuando choquen entre sí, se podría diseñar ni que fuera un sistema rudimentario en el cual los canales de audio se bloqueen salvo para una persona y se vayan dando voz unos a otros (tipo moderador en un debate) hasta tener una tecnología que permita separar las voces de unos y otros y traducirlas de forma independiente

#44844 Yo estoy harto de decir a mis colegas que esto va a ser más grande que el smartphone, posiblemente un cambio a nivel de la popularización de internet, pero siguen pensando que estoy hypeado. Pero es que sí creo que va a ser un cambio al nivel de la popularización de internet.

#44846 Que en el fondo es normal, la industria lleva unos años hypeando cosas que estaba claro que no iban a ninguna parte o eran directamente estafas (cryptos, blockchain, etc), y que se hable en los mismos términos de los modelos de lenguaje natural no ayuda. Entre eso y que es demasiado bonito para ser verdad (a mí mismo me cuesta creerlo, sólo con lo que existe hoy en día puedes pasar cualquier prueba técnica del nivel que quieras en una FAANG), no me sorprende que la gente esté en negación.