Salvaguardas: cómo evitamos que un agente prometa lo que no hizo

Un agente que conversa bien no es necesariamente un agente confiable. En producción, lo que importa es que haga lo que dice que hizo, que no se salga de su rol y que sepa cuándo pedir ayuda. Estas son algunas salvaguardas que aplicamos en los sistemas que construimos.

1. Mantenerse en el tema

El chatbot que hicimos para una empresa de servicios tecnológicos responde solo sobre los servicios de la empresa. Si alguien le pide una receta de cocina, lo dice con amabilidad y vuelve a lo suyo. Un agente acotado es más útil y más difícil de manipular.

2. Verificar que la acción se ejecutó

Los modelos de IA a veces dan por hecho algo que no hicieron. En el sistema de una importadora, si el modelo afirma que creó un pedido sin haber ejecutado la acción, el sistema le pide corregir y, si insiste, deriva la conversación a una persona. El cliente nunca recibe una confirmación falsa.

3. Escalar por niveles

No todas las consultas son iguales. Las simples las resuelve un modelo rápido; las complejas escalan a modelos más potentes; y las que requieren criterio humano pasan a una persona, que toma el control desde el panel.

4. Permisos mínimos y datos protegidos

Cada agente accede solo a las herramientas y datos que necesita, con credenciales protegidas. En el demo público vamos más allá: no hay ninguna conexión real y el agente no pide ni guarda datos personales.

Estas reglas no son un extra: son parte del diseño desde el primer día.