LLM-as-judge se convirtió en técnica estándar hacia finales de 2024 y sigue siendo, en 2026, la única forma escalable de evaluar calidad cualitativa en sistemas con LLM. La pregunta que distingue a equipos maduros no es si usarlo, sino cuándo fiarse del número que produce.

Puntos clave

  • La rúbrica dimensional (6 dimensiones → nota 1-5 + justificación) produce más estabilidad que una nota global.

  • La correlación juez-humano debe superar 0,7 en una muestra de 30 casos para considerar el juez utilizable.

  • El juez falla sistemáticamente en criterios subjetivos sin rúbrica, comparación con ground truth exacto y autoevaluación del propio modelo.

  • Calibración completa cada trimestre o al cambiar de modelo; check rápido de 5 casos ante cualquier anomalía.

  • Si el criterio puede comprobarse con lógica determinista, no usar juez LLM.

Qué hace bien un juez LLM

Evaluación por rúbrica dimensional: coherencia, relevancia, formato, ausencia de información inventada, cumplimiento de estilo. Pedir al juez notas 1-5 en cada dimensión, con justificación de una frase, produce resultados que correlacionan razonablemente con humanos cuando está bien calibrado.

El estudio que popularizó la técnica es Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena[1] (Zheng et al., 2023). Midió que jueces fuertes como GPT-4 llegan a más del 80% de acuerdo con las preferencias humanas, el mismo nivel de acuerdo que hay entre dos evaluadores humanos. La guía de evaluaciones de Anthropic[2] recomienda el mismo patrón en producción: rúbricas detalladas y pedir al modelo que razone antes de dar la nota, porque mejora el rendimiento en juicios complejos.

La clave es descomponer:

  • Pedir una "nota global" produce inconsistencia alta entre runs.

  • Pedir seis notas dimensionales y agregar después produce estabilidad. El paper G-Eval[3] (Liu et al., 2023) confirma el patrón con datos. El razonamiento encadenado, más notas por dimensión antes de agregar, alcanza una correlación de Spearman de 0,514 con evaluadores humanos en tareas de resumen, muy por encima de las métricas de referencia anteriores.

Qué hace mal un juez LLM

Tres patrones donde falla consistentemente:

  • Criterios subjetivos sin rúbrica: "¿es útil esta respuesta?" sin definir qué cuenta como útil produce ruido, no señal.

  • Comparación con ground truth exacto: el juez acepta paráfrasis correctas pero también paráfrasis incorrectas que suenan similares.

  • Evaluación cuando el juez es el mismo modelo que se evalúa: sobrevalora sistemáticamente su propia familia.

  • Sesgo de posición: el orden en que se presentan las respuestas altera la nota. Wang et al. (2023)[4] mostraron que, con ChatGPT como juez, una respuesta más débil (Vicuna-13B) podía "ganar" a ChatGPT en 66 de 80 comparaciones con solo invertir el orden de presentación.

El mismo problema aparece al evaluar recuperación de información: como explica cómo evaluar un sistema RAG sin engañarte a ti mismo, un juez sin referencia humana fiable amplifica el ruido en vez de reducirlo.

Calibración contra humanos

La verificación sin la que no se puede trabajar es calibrar el juez contra humanos en un subconjunto pequeño:

  • Humanos puntúan 30 casos.

  • El juez puntúa los mismos 30.

  • La correlación entre ambos debe estar por encima de 0,7 para considerarlo utilizable.

  • Debajo de 0,7: ajustar prompt del juez o cambiar modelo.

Frecuencia recomendada:

  • Calibración completa cada trimestre, o al cambiar el modelo del juez.

  • Check rápido (~5 casos) cada vez que se detecta un comportamiento raro en métricas.

Este mismo bucle de calibración es el que describimos en evaluaciones de agentes en producción: sin una muestra humana de referencia, cualquier métrica automática acaba midiendo ruido, no calidad.

Cuándo NO usar juez LLM

Cuando la verificación se puede automatizar con lógica determinista:

  • Schema válido.

  • URL resoluble.

  • Tipo correcto.

  • Valor dentro de rango esperado.

Usa esa lógica: más barata, más fiable, no requiere calibración. Juez LLM solo cuando el criterio es genuinamente cualitativo.

Conclusión

LLM-as-judge en 2026 es una técnica madura con límites conocidos. Usado con rúbrica dimensional, calibración periódica y como complemento (no sustituto) de métricas deterministas, produce señal útil para CI regression y detección de drift. Usado con confianza ciega, es un espejo que refleja los sesgos del juez sin que nadie se dé cuenta.

Este artículo también está disponible en inglés.

Fuentes:

  1. Zheng et al. — Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena[1]
  2. Liu et al. — G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment[3]
  3. Wang et al. — Large Language Models are not Fair Evaluators[4]
  4. Anthropic — Define success criteria and build evaluations[2]

Preguntas frecuentes

¿Cómo compruebo si mi juez LLM es fiable antes de usarlo en CI?

Calibrándolo contra humanos en una muestra pequeña: los humanos puntúan 30 casos, el juez puntúa los mismos 30, y la correlación entre ambos debe superar 0,7 para considerarlo utilizable. Si queda por debajo, ajusta el prompt del juez o cambia de modelo. Repite la calibración completa cada trimestre o al cambiar el modelo del juez, y haz un check rápido de unos 5 casos cada vez que las métricas muestren un comportamiento raro.

¿Por qué pedir seis notas por dimensión en lugar de una nota global?

Porque una nota global produce inconsistencia alta entre ejecuciones, mientras que seis notas dimensionales (coherencia, relevancia, formato, ausencia de información inventada, cumplimiento de estilo) con justificación de una frase, agregadas después, producen estabilidad. G-Eval (Liu et al., 2023) lo confirma: razonamiento encadenado más notas por dimensión alcanza una correlación de Spearman de 0,514 con evaluadores humanos en tareas de resumen. Ese valor queda muy por encima de las métricas de referencia anteriores.

¿Puedo usar el mismo modelo como juez de sus propias respuestas?

No es recomendable: el juez sobrevalora sistemáticamente su propia familia de modelos. Tampoco es neutral ante el orden: Wang et al. (2023) lo midieron con ChatGPT como juez. Una respuesta más débil de Vicuna-13B podía ganar a ChatGPT en 66 de 80 comparaciones solo con invertir el orden de presentación. Y si el criterio puede comprobarse con lógica determinista (schema válido, URL resoluble, tipo correcto, valor en rango), no uses juez LLM.

Fuentes

  1. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
  2. guía de evaluaciones de Anthropic
  3. G-Eval
  4. Wang et al. (2023)