Etiqueta
Usar un LLM como juez de otro LLM se generalizó en 2024 y sigue siendo, en 2026, la única forma escalable de evaluar calidad cualitativa en sistemas con LLM. Es fiable si la correlación juez-humano supera 0,7 en 30 casos y se recalibra cada trimestre; por debajo de ese umbral, no fiarse del número.
Tras una década de Prometheus, tres años de consolidación alrededor de OpenTelemetry y la madurez definitiva del stack abierto con Grafana, Loki y Tempo, recomendaciones concretas para equipos que arrancan o revisan su capa de observabilidad. Qué encaja, qué sobra y qué evitar.
Los agentes que encadenan llamadas a modelos, herramientas y memoria son difíciles de depurar sin una instrumentación pensada para ellos. Después de un año largo operando agentes en producción, repaso qué hay que medir primero, qué estándares están consolidándose y qué errores caros evita tener trazas bien hechas desde el inicio.
El product-market fit para productos con LLM sigue dependiendo de las mismas señales clásicas: retención de cohortes, NPS y expansión de revenue. Lo que cambia son el baseline de calidad más alto, la velocidad de la competencia y los moats duraderos: datos propietarios, integración de workflow y efectos de red.
OpenTelemetry es el proyecto de la CNCF, graduado en mayo de 2026, que unifica logs, métricas y trazas bajo un único SDK y el protocolo OTLP, sin atarte a un backend concreto. Las trazas son estables desde 2021 y las métricas desde 2023; los logs siguen madurando, pero ya compensan en proyectos nuevos.
Las métricas útiles para startups son los datos que permiten evaluar el desempeño real de una empresa: métricas de rendimiento general (MRR, retención, churn), KPIs por área (CAC, LTV, NPS) y el marco AARRR, priorizando siempre la retención y el ratio LTV:CAC sobre las métricas de vanidad.
