Evals.

En la práctica

Anthropic define una eval, en enero de 2026, como una prueba en la que se da una entrada a la IA, se corrige su salida con una regla y se mide si acierta. OpenAI recuerda que la palabra también se usa para los benchmarks públicos, pero a una empresa le sirven las pruebas de su propia aplicación.

La corrección la hace un programa, una persona u otro modelo que actúa como juez (LLM-as-a-judge). En junio de 2023, Zheng et al. vieron que GPT-4 como juez coincidía con las personas en más del 80 % de los casos, aunque con sesgos, como preferir la respuesta más larga.

Un ejemplo. Antes de cambiar el modelo del asistente de atención al cliente, se le pasan consultas reales con su respuesta buena, y si acierta menos, no se cambia. Según Anthropic, con evals un modelo nuevo se adopta en días; sin ellas, en semanas.

Optimizar prompts

Optimizar un prompt es probar variantes contra unos casos y una métrica, y quedarse con la que puntúa más. Sin casos ni métrica, es reescribir. DSPy, de Stanford, lo convirtió en método en octubre de 2023.

Las herramientas de los fabricantes caen. Anthropic retiró el 17 de agosto de 2026 sus API para generar y mejorar prompts, y el optimizador de OpenAI se apaga con su plataforma Evals el 30 de noviembre de 2026. La práctica sigue, ya fuera del panel del fabricante. Y OpenAI avisa de que un prompt optimizado puede ir peor que el original en casos concretos.

Por qué te importa

Sin evals, cambiar de modelo o de prompt es fiarse de la impresión, lo que OpenAI llama «vibe-based evals» y desaconseja.

Atacar a propósito tu propio sistema para encontrar sus fallos es el red teaming. El Reglamento de IA lo llama «pruebas de simulación de adversarios» y lo exige a los proveedores de modelos de uso general con riesgo sistémico (art. 55).

Los límites

Una eval solo mide lo que se previó: si entre los casos no hay preguntas sin respuesta, nadie sabrá cuántas alucinaciones cuela el asistente. El juez automático también falla; conviene calibrarlo con personas. Los casos nuevos salen de producción, que es lo que registra la observabilidad.