Etiqueta
ThinkingBox es un sandbox de Microsoft, con licencia MIT, que ejecuta un agente contra herramientas MCP con estado y lo juzga por los efectos que deja en el sistema, no por lo que dice haber hecho. Su banco de pruebas mide 507 tareas de negocio repitiendo cada una veinte veces.
Usar un LLM como juez de otro LLM se generalizó en 2024 y sigue siendo, en 2026, la única forma escalable de evaluar calidad cualitativa en sistemas con LLM. Es fiable si la correlación juez-humano supera 0,7 en 30 casos y se recalibra cada trimestre; por debajo de ese umbral, no fiarse del número.
Después de año y medio llenando tableros con agentes en producción, la pregunta que separa equipos que envían fiable de los que van a ciegas sigue siendo la misma: ¿cómo mides que el agente está funcionando?
Durante 2025 cientos de equipos pusieron agentes IA en producción real. A principios de 2026, con datos suficientes, emergen lecciones consistentes sobre qué falla, qué funciona, cuánto cuesta y qué tareas no encajan. Repaso ordenado para equipos que empiezan ahora.
Probar sistemas que incluyen modelos de lenguaje rompe la primera regla del testing: la misma entrada da la misma salida. Analizo las estrategias que han funcionado tras un año largo integrando IA en productos reales, por qué los tests deterministas tradicionales no bastan y cómo plantear un cinturón de pruebas que capture regresiones sin bloquearse en la varianza.
Medir la calidad de un sistema RAG con rigor exige más que revisar unas cuantas respuestas: hacen falta métricas objetivas (fidelidad, relevancia, precisión y cobertura de contexto), un conjunto dorado de cientos de preguntas curadas y validación humana periódica del juez LLM para evitar conclusiones engañosas.
Cinco meses después de su lanzamiento, GPT-4 destaca en razonamiento encadenado, escritura técnica y código de mediana complejidad, pero sigue fallando en aritmética, información posterior a su corte de datos y consistencia entre conversaciones. Claude 2 gana en contexto largo; LLaMA 2, en coste y privacidad.
