Benchmark.

En la práctica

Cada lanzamiento de un modelo llega con su tabla de benchmarks. Uno de los más citados, MMLU, se publicó en septiembre de 2020 con preguntas de 57 materias, de matemáticas elementales a historia de Estados Unidos o derecho. Otros miden programación, como SWE-bench, o tareas en un ordenador, como OSWorld.

La diferencia con las evals está en de quién son las preguntas. El benchmark es el mismo examen para todos. La eval es el tuyo, con tus casos y tu forma de dar algo por bueno. OpenAI separa así los usos de la palabra en su guía de evaluación.

Por qué te importa

Un benchmark mide lo que mide. El AI Index 2026, de Stanford, lo ilustra bien: un modelo de Google ganó el oro en la Olimpiada Internacional de Matemáticas, y el mejor modelo lee un reloj de agujas el 50,1 % de las veces. Una buena nota en un examen dice poco de otra tarea.

Además, los exámenes se agotan. Según el mismo informe, en SWE-bench Verified los mejores resultados pasaron del 60 % a cerca del 100 % en un año. Cuando todos sacan casi un diez, el examen ya no distingue.

Un ejemplo. Un proveedor presenta su modelo como el primero de una clasificación pública, y el equipo de operaciones lo quiere para ordenar las incidencias de clientes en castellano. La tabla no dice nada de eso. Unas decenas de incidencias reales, con la respuesta buena conocida, dicen bastante más.

Los límites

El diseño del examen también influye en cómo se comportan los modelos. En septiembre de 2025, Kalai y otros autores de OpenAI y Georgia Tech revisaron diez de las evaluaciones más influyentes, y solo una daba algo de puntuación por reconocer que no se sabe la respuesta. En las demás, adivinar sale a cuenta, y los modelos se entrenan para sacar buena nota. Es una de las causas de las alucinaciones. Su propuesta es cambiar cómo se puntúan los exámenes que ya dominan las clasificaciones, en lugar de añadir otros nuevos.