Inteligencia Artificial
LoRA y QLoRA: fine-tuning eficiente al alcance de un solo portátil
LoRA entrena solo dos matrices pequeñas por capa y QLoRA lo hace sobre un modelo base en 4 bits. La cuenta de memoria de cada técnica y un ejemplo reproducible en Docker sin GPU: LoRA entrenó el 3,5 % de los parámetros de SmolLM2-135M con un pico de 2,35 GB, frente a 3,88 GB del ajuste completo.