Categorías

Herramienta

Calculadora LLM en local

¿Cabe ese modelo en tu GPU? ¿Sale más barato auto-alojarlo que pagar la API? Calcula la VRAM necesaria y el punto de equilibrio de costes.

¿Cabe en tu GPU?

– necesarios –

–

  • Pesos del modelo: –
  • Caché KV: –

¿Sale más barato que la API?

Auto-alojado – hardware – · luz –
API –

–

Punto de equilibrio: –

Cómo se calcula

La VRAM necesaria para servir un modelo es la suma de tres cosas:

  • Pesos del modelo = número de parámetros × bytes por parámetro. La cuantización reduce esos bytes: FP16 usa 2 bytes; un GGUF Q4_K_M, unos 0,56.
  • Caché KV = memoria para el contexto, proporcional a la longitud del contexto, el número de capas y las cabezas de atención (con GQA la caché es menor).
  • Margen ≈ 1 GB para el contexto de CUDA/Metal y las activaciones.

Auto-alojar frente a la API

Auto-alojar tiene un coste fijo alto (el hardware, amortizado) y un coste marginal bajo (solo la electricidad). La API es lo contrario: cero fijo, coste por token. Por eso auto-alojar solo compensa a partir de cierto volumen — el punto de equilibrio que calcula la herramienta.

Las estimaciones son aproximadas: el rendimiento real depende del runtime (llama.cpp, vLLM), el batching y la política de caché. Úsalas como orden de magnitud, no como cifra exacta.