Etiqueta
Usar un LLM como juez de otro LLM se generalizó en 2024 y sigue siendo, en 2026, la única forma escalable de evaluar calidad cualitativa en sistemas con LLM. Es fiable si la correlación juez-humano supera 0,7 en 30 casos y se recalibra cada trimestre; por debajo de ese umbral, no fiarse del número.
Después de año y medio llenando tableros con agentes en producción, la pregunta que separa equipos que envían fiable de los que van a ciegas sigue siendo la misma: ¿cómo mides que el agente está funcionando?
Durante 2025 cientos de equipos pusieron agentes IA en producción real. A principios de 2026, con datos suficientes, emergen lecciones consistentes sobre qué falla, qué funciona, cuánto cuesta y qué tareas no encajan. Repaso ordenado para equipos que empiezan ahora.
Medir la calidad de un sistema RAG con rigor exige más que revisar unas cuantas respuestas: hacen falta métricas objetivas (fidelidad, relevancia, precisión y cobertura de contexto), un conjunto dorado de cientos de preguntas curadas y validación humana periódica del juez LLM para evitar conclusiones engañosas.
Cinco meses después de su lanzamiento, GPT-4 destaca en razonamiento encadenado, escritura técnica y código de mediana complejidad, pero sigue fallando en aritmética, información posterior a su corte de datos y consistencia entre conversaciones. Claude 2 gana en contexto largo; LLaMA 2, en coste y privacidad.
