Destilación.

De dónde viene

La referencia clásica es un trabajo de Geoffrey Hinton, Oriol Vinyals y Jeff Dean de marzo de 2015 que propone comprimir lo que sabe un modelo grande, o varios, en uno más pequeño y fácil de desplegar. Anthropic escribe que hoy los grandes laboratorios destilan sus propios modelos para ofrecer a sus clientes versiones más pequeñas y baratas.

En la práctica

El caso más sonado es DeepSeek. En enero de 2025 publicó, junto a su modelo de razonamiento R1, seis modelos pequeños destilados de él sobre Qwen y Llama, afinados con 800.000 ejemplos preparados con R1. Su licencia permite expresamente usarlo para destilar otros modelos.

También se vende como servicio. Amazon Bedrock lo ofrece desde mayo de 2025 y promete modelos destilados hasta un 500 % más rápidos y un 75 % más baratos, con menos de un 2 % de pérdida de precisión en usos como RAG. Son cifras del fabricante.

Un ejemplo. Una tienda online usa un modelo grande para etiquetar decenas de miles de opiniones de clientes y, con ese resultado, entrena uno pequeño que corre en su propia nube. Para esa tarea puede bastar, y sale más barato.

Por qué te importa

Está detrás de las acusaciones entre laboratorios. En febrero de 2026, OpenAI escribió a un comité de la Cámara de Representantes de Estados Unidos que había visto cuentas ligadas a empleados de DeepSeek buscar formas de saltarse sus restricciones de acceso, en lo que llama intentos de destilación. Ese mismo mes, Anthropic acusó a DeepSeek, Moonshot y MiniMax de más de 16 millones de intercambios con Claude desde unas 24.000 cuentas fraudulentas. Son acusaciones de parte, entre competidores, sin resolución conocida.

Y toca a cualquier empresa. Las condiciones comerciales de Anthropic prohíben usar sus servicios para entrenar modelos que compitan con ellos. Destilar un clasificador interno para tu propia tarea no parece eso, pero la frontera la marca el contrato, y conviene que la mire el equipo jurídico.

Los límites

El alumno se acerca al profesor en la tarea para la que se destiló, y fuera de ella pierde. OpenAI añade otro aviso: una copia destilada puede quedarse sin las salvaguardas del original, con fallos sutiles que solo se ven después de desplegarla.