Inteligencia Artificial
vLLM en una CPU ARM o llama.cpp, cuál sirve mejor un modelo pequeño sin GPU
En una CPU arm64 sin GPU, llama.cpp 0.5.0 sirvió Qwen3-1.7B en GGUF Q8_0 a 72,7 tokens/s por petición y a 236,9 tokens/s con 8 peticiones a la vez. vLLM 0.30, que en Arm solo carga BF16, se quedó en 10,1 y 68,3 tokens/s y usó 11,4 GiB de RAM frente a 7,0 GiB.