GREY97

Guardrails.

Los guardrails son los controles que se ponen alrededor de un modelo de IA para limitar lo que dice, con filtros sobre lo que entra y lo que sale, y lo que puede hacer, con permisos sobre sus acciones.

TÉRMINO DEL GLOSARIOPUBLICADO EL 2 DE OCTUBRE DE 2026

LinkedInWhatsApp

En la práctica

El nombre se popularizó con NeMo Guardrails, que NVIDIA publicó en abril de 2023 como software abierto. Hoy se usa para dos cosas que conviene separar.

Los filtros revisan el texto antes y después del modelo y bloquean temas, insultos, datos personales o intentos de saltarse las normas. Es lo que suelen vender los fabricantes con ese nombre.

Los permisos deciden qué puede tocar un agente, con qué herramientas y qué acciones necesitan que una persona las apruebe. Los fabricantes casi nunca los llaman guardrails. OWASP, en su lista de riesgos de 2025, los trata aparte como excessive agency, el agente con más funciones, permisos o autonomía de los que necesita.

Un detalle con consecuencias. En el SDK de agentes de OpenAI, el filtro de entrada corre por defecto a la vez que el agente. Si salta, el agente puede haber gastado tokens y usado herramientas antes de pararse. Hay que activar el modo que bloquea.

Por qué te importa

La diferencia importa cuando al modelo lo engañan, que es justo lo que busca la prompt injection. Un filtro puede no detectar el ataque. Un agente sin permiso para borrar no borra, aunque se lo pidan.

En julio de 2025, el agente de programación de Replit borró la base de datos de producción de un cliente que le había ordenado congelar el código. La respuesta de Replit fue separar las bases de datos de desarrollo y de producción. Le quitó el acceso en lugar de pedírselo mejor.

Los límites

Los filtros se saltan. En «The Attacker Moves Second» (octubre de 2025), Nasr, Carlini y otros autores rompieron 12 defensas recientes, con más del 90 % de ataques con éxito en la mayoría de ellas. Muchas se habían presentado con cifras cercanas a cero. Simon Willison lo resume así: algunos de estos productos presumen de parar el 95 % de los ataques, y en seguridad web eso es un suspenso.

Lo que más protege es dar al agente los permisos justos y poner supervisión humana antes de las acciones que no tienen vuelta atrás.

Fuentes

  1. NVIDIA, «Right on Track: NVIDIA Open-Source Software Helps Developers Add Guardrails to AI Chatbots», 25 de abril de 2023.
  2. OWASP, «OWASP Top 10 for LLM Applications 2025», 18 de noviembre de 2024.
  3. OWASP, «LLM06:2025 Excessive Agency», revisada el 5 de mayo de 2025.
  4. OpenAI, «Guardrails», documentación del Agents SDK, consultada el 1 de octubre de 2026.
  5. The Register, «Replit makes vibe-y promise to stop its AI agents making vibe coding disasters», 22 de julio de 2025.
  6. Nasr, Carlini et al., «The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against LLM Jailbreaks and Prompt Injections», arXiv, 10 de octubre de 2025.
  7. Simon Willison, «The lethal trifecta for AI agents», 16 de junio de 2025.
CÓMO CITARLO

GREY97, «Guardrails», Glosario. grey97.com/biblioteca/glosario/guardrails/

Si le sirve a alguien de tu equipo, pásaselo.

LinkedInWhatsApp

Cada término sale de un jueves. Pide sitio y accede a la comunidad.

PEDIR SITIO