Categorías

Etiqueta

vllm

Vista Tarjetas
Modo Paginado
Por página Por lote 72
Borrar filtros
Arquitectura

vLLM: servir LLM en producción con altísimo throughput

vLLM sirve modelos de lenguaje en GPU con PagedAttention y batching continuo, dos técnicas que multiplican el throughput frente a un servidor ingenuo. Expone una API compatible con OpenAI, así que migrar una aplicación existente solo exige cambiar la URL base y desplegar el binario correcto.

7 min 364 4,5
Desarrollo de Software

SGLang: control fino sobre la ejecución de LLM

SGLang añade un DSL en Python para controlar la generación de LLM con decoding restringido, branching paralelo y RadixAttention, la estructura que indexa el caché KV en un trie radix para reutilizar prefijos compartidos entre peticiones. Cuando ese patrón existe, los speedups frente a vLLM llegan hasta 5 veces; sin él, la ventaja se diluye.

6 min 252 4,4