llama.cpp

Cuantización de modelos y llama.cpp en tu portátil

Con cuantización y llama.cpp se puede ejecutar Llama 2 7B/13B en un portátil moderno. Cómo funciona y qué calidad esperar realmente.