Cachés para LLM: ahorrar tokens sin tirar la calidad

Un proxy con caché delante de un modelo de lenguaje puede reducir la factura de tokens de forma significativa, pero introduce riesgos sutiles si el diseño no es cuidadoso. Qué tipos de caché funcionan en producción, dónde están las trampas habituales y cómo integrarlos sin degradar la experiencia.

Garnet de Microsoft: alternativa de caché de alto rendimiento

Garnet es el servidor de caché abierto por Microsoft Research que habla el protocolo de Redis pero está escrito en .NET 8 con un núcleo de almacenamiento orientado a hardware moderno. Tras casi dos años en público, muestra números interesantes y una arquitectura que merece mirarse con calma, aunque el ecosistema Redis siga siendo más maduro.

Dragonfly: el caché moderno inspirado en Redis

Dragonfly lleva tres años como alternativa compatible con Redis, pero con arquitectura multihilo y sin fork para persistencia. En 2025 ya no es una curiosidad: hay despliegues serios que lo eligen por coste y latencia. Repaso de qué cambia y cuándo compensa mirarlo con calma.