Sesgo.

Por qué pasa

Un modelo aprende patrones de lo que ve. Si los datos de entrenamiento recogen decisiones del pasado, recogen también sus preferencias, y el modelo las repite. También pesa que un grupo salga poco en los datos, o qué se decidió medir. El Reglamento de IA señala esos mismos puntos cuando pide revisar el origen de los datos, lo que se supone que miden y si representan a las personas con las que se va a usar el sistema (art. 10).

Un ejemplo. Una empresa entrena un filtro de currículums con sus contrataciones de los últimos diez años. Si en ese tiempo casi todos los puestos técnicos fueron para hombres, el filtro puede aprender a puntuar mejor los currículums que se parecen a los suyos, sin que nadie se lo haya pedido.

Por qué te importa

En los sistemas de alto riesgo, como los de selección de personal o crédito, el Reglamento obliga a examinar los datos «atendiendo a posibles sesgos» que puedan llevar a una discriminación prohibida, y a tomar medidas para «detectar, prevenir y mitigar» los que aparezcan (art. 10.2). Tras el Ómnibus de julio de 2026, se aplicará desde el 2 de diciembre de 2027.

El Ómnibus añadió además un artículo 4 bis para resolver una paradoja. Para comprobar si un sistema discrimina por origen étnico o por salud hacen falta esos datos, que el RGPD protege de forma especial. Ahora se pueden tratar de forma excepcional para detectar y corregir sesgos, solo si no bastan datos sintéticos o anonimizados, con garantías estrictas y borrándolos al terminar. En los sistemas que no son de alto riesgo, el artículo lo permite sin obligar a hacerlo.

Los límites

La ley habla de mitigar los sesgos, y no promete eliminarlos. Medirlos pide evals con resultados por grupo, porque una nota media puede esconder que falla mucho más con unos que con otros.

Hay otro sesgo que no está en la máquina. El Reglamento llama «sesgo de automatización» a la tendencia a fiarse en exceso de lo que propone el sistema (art. 14), y se combate con supervisión humana de verdad.