SGLang añade un DSL para controlar la generación de LLM con decoding restringido, branching y caché de prefijos. Cuándo supera a vLLM y por qué RadixAttention cambia la aritmética.
Leer másSGLang: control fino sobre la ejecución de LLM
Etiqueta: constrained decoding