Feda /dev/ - No Javascript allowed

#55799 We wuz vikingz n' shiet

#55803 Algo de eso había leído, que Meta quiere comprar Simon & Schuster y alguna cabecera de prensa para entrenar al modelo con todo su fondo de catálogo. Por eso creo que estamos lejos de un LLM que dé información veraz, si pirateando todo el contenido de internet no son capaces, no creo que hayan suficientes datos en el planeta. Una de dos, o el aprendizaje tiene que mejorar o tenemos que esperar varios siglos a tener datos suficientes.

El futuro de la IA es crear vídeos sobre indios explicando un algoritmo sobre grafos en una pizarra pocha? Por favor que venga ya, que eso si que quiero verlo

Luego esta el vender tu producto enmascarado con IA cuando la IA para la compa;ia es if-else.

#55811 Estaría bien que cierto top mundial, tuviese un hilo preparado de IA embedded con Rust, te imaginas?

Soy el mejor en todos los pesos. julio cesar.

Hemos vuelto a programar con código ilegible, si esto es progreso a mi que me lo expliquen.

te la pongo yo

use anyhow::{Context, Error, Result};
use candle_core::{Device, Tensor};
use candle_nn::VarBuilder;
use candle_transformers::models::bert::{BertModel, Config, DTYPE};
use hf_hub::{api::sync::Api, Repo};
use tokenizers::{PaddingParams, Tokenizer};

pub fn load_bert() -> Result<(BertModel, Tokenizer)> {
    let api = Api::new().repo(Repo::model("BAAI/bge-small-en-v1.5"));

// Fetching the config, tokenizer and weights files
let config_filename = api.get("config.json")?;
let tokenizer_filename = api.get("tokenizer.json")?;
let weights_filename = api.get("pytorch_model.bin")?;

let config: Config = serde_json::from_str(&std::fs::read_to_string(config_filename)?)?;
let tokenizer = Tokenizer::from_file(tokenizer_filename).map_err(Error::msg)?;
let vb = VarBuilder::from_pth(&weights_filename, DTYPE, &Device::Cpu)?;
let model = BertModel::load(vb, &config)?;

// Setting the padding strategy for the tokenizer
tokenizer.with_padding(
    Some(tokenizer.get_padding_mut().map_or_else(
        || PaddingParams {
            strategy: tokenizers::PaddingStrategy::BatchLongest,
            ..Default::default()
        },
        |pp| {
            pp.strategy = tokenizers::PaddingStrategy::BatchLongest;
            pp
        },
    ))
);

Ok((model, tokenizer))
}

Joooder que susto hoy... llevo un par de findes picando algo de un proyecto personal y ayer digo... va... le hago commit por si ascaso, y esto que no recuerdo la pass del GPG y mehhh... ya lo miro mañana.

** Edit: A lo que hago un copia/pega de la carpeta del proyecto en otro disco duro... para por lo menos tener esa seguridad.

Abro hoy el proyecto y me veo que está todo "reseteado"... NADA de lo que hice los últimos cuatro días está (ni en la copia que hice)... sudores frios... temblores... ganas de acurrucarme en una esquina... Luego recuerdo que git lleva en su impronta el "no me jodas nada me cawon en la hostia" y veo que está todo en "stash"

El mundo del desarrollo a veces es una montaña rusa de emociones...

#55827

#55812desu:

Estaría bien que cierto top mundial, tuviese un hilo preparado de IA embedded con Rust, te imaginas?

Necesitas que te dé otra master class y te humille fpero?

Reformular la query de los usuarios es uno de los problemas típicos fpero... yo estoy pensando en tener un modelo que me normalice la query.

#55827Runig666:

En ningún momento me había parado a pensar que el problema era el puto json que no estaba reducido..

Imagina no comprimir...

Cuanto llevas con esto? Para saber que x10, x20, x100 engineer soy respecto a ti.