LoRA and QLoRA: Efficient Fine-Tuning on a Single Laptop

LoRA reduce el coste del fine-tuning de forma dramática. QLoRA va aún más allá combinando cuantización y adaptadores de bajo rango. Cómo funcionan, cuándo usarlos y qué calidad esperar.

October 29, 2024 6 min 229 4.6

Artificial Intelligence

Model Quantization and llama.cpp on Your Laptop

Con cuantización y llama.cpp se puede ejecutar Llama 2 7B/13B en un portátil moderno. Cómo funciona y qué calidad esperar realmente.

November 4, 2023 5 min 219 4.5