Categorías

Opciones de vista

Vista Tarjetas
Modo Paginado
Por página Por lote 48
Arquitectura

vLLM: servir LLM en producción con altísimo throughput

vLLM sirve modelos de lenguaje con PagedAttention, batching continuo y una API compatible con OpenAI. En octubre de 2026 va por la 0.32.0, el motor V1 es el único desde la 0.11 y la caché de prefijos viene activada por defecto. Esta guía cubre el arranque con vllm serve, la cuantización por hardware, las métricas y cuándo elegir otra cosa.