Etiqueta
En una CPU arm64 sin GPU, llama.cpp 0.5.0 sirvió Qwen3-1.7B en GGUF Q8_0 a 72,7 tokens/s por petición y a 236,9 tokens/s con 8 peticiones a la vez. vLLM 0.30 en BF16 se quedó en 10,1 y 68,3 tokens/s y usó 11,4 GiB de RAM frente a 7,0 GiB.
vLLM sigue siendo el motor de referencia para servir LLM en GPU en 2025: el prefix caching automático recorta drásticamente la latencia con prompts repetidos, el speculative decoding acelera los modelos grandes y el soporte multi-LoRA abarata el SaaS multi-tenant, aunque el multi-GPU y el hardware no NVIDIA siguen siendo puntos débiles.
vLLM sirve modelos de lenguaje con PagedAttention, batching continuo y una API compatible con OpenAI. En octubre de 2026 va por la 0.32.0, el motor V1 es el único desde la 0.11 y la caché de prefijos viene activada por defecto. Esta guía cubre el arranque con vllm serve, la cuantización por hardware, las métricas y cuándo elegir otra cosa.
SGLang añade un DSL en Python para controlar la generación de LLM con decoding restringido, branching paralelo y RadixAttention, la estructura que indexa el caché KV en un trie radix para reutilizar prefijos compartidos entre peticiones. Cuando ese patrón existe, los speedups frente a vLLM llegan hasta 5 veces; sin él, la ventaja se diluye.
