Gobernanza operativa
Autoridad humana en agentes de IA
La autoridad humana no significa que una persona deba aprobar cada movimiento de un agente. Significa que la empresa define por adelantado su capacidad, conserva las decisiones de mayor impacto y puede reconstruir qué ocurrió. El control se diseña en permisos, límites, escalaciones y evidencia; no se agrega al final.
Sebastián Arango
Fundador de LogVox
30 de julio de 20268 min de lectura
En síntesis
- Toda acción externa debe estar permitida, requerir aprobación o estar prohibida.
- Una aprobación útil muestra la propuesta, el contexto, la regla activada y el efecto esperado.
- La traza permite revisar decisiones y mejorar reglas; no es solo un registro técnico.
01
Autoridad es capacidad definida
Un agente necesita libertad suficiente para completar tareas y límites suficientes para no apropiarse de decisiones que pertenecen a la empresa. Esa frontera cambia según el proceso, el tipo de dato, la reversibilidad de la acción y el impacto sobre clientes, dinero o compromisos.
Decir que existe supervisión humana es insuficiente si nadie sabe qué debe supervisar, cuándo recibe una alerta o cómo detiene el sistema. La autoridad debe convertirse en reglas observables que el agente pueda aplicar y que el equipo pueda auditar.
02
Tres estados para cada acción
Clasificar las capacidades evita reglas ambiguas como “actúa con cuidado”. Cada herramienta y acción debe tener uno de tres estados, acompañado por condiciones y un responsable.
Permitido
El agente puede ejecutar cuando se cumplen condiciones explícitas, usando el permiso mínimo necesario.
Requiere aprobación
El agente prepara la acción, explica por qué la propone y espera la decisión del rol autorizado.
Prohibido
El sistema no ejecuta, informa el límite y dirige el caso a una alternativa segura.
El estado pertenece a la acción y su contexto. Consultar un precio puede estar permitido mientras modificarlo permanece prohibido.
03
Qué debe contener un contrato de autoridad
El contrato de autoridad es una especificación operativa. Puede vivir en configuración, políticas y pruebas, pero debe ser entendible por las personas responsables del proceso.
- 01
Capacidad
Definir qué resultado puede producir el agente y qué queda fuera de su responsabilidad.
- 02
Herramientas y datos
Enumerar qué puede consultar o modificar, con permisos mínimos y fuentes autorizadas.
- 03
Condiciones
Expresar reglas verificables para ejecutar, detener, reintentar o escalar.
- 04
Aprobadores
Asignar roles, tiempos de respuesta y sustitutos para cada decisión reservada.
- 05
Evidencia
Registrar entrada, contexto usado, decisión, acción, herramienta, resultado y responsable.
- 06
Recuperación
Definir cómo cancelar, corregir, revertir o continuar de forma manual cuando algo falla.
04
Cómo diseñar una aprobación útil
Una notificación que solo pregunta “¿aprobar?” traslada la investigación a la persona y frena el proceso. Una aprobación bien diseñada entrega el contexto necesario para decidir sin abrir varias herramientas.
Acción propuesta
Qué hará el agente, sobre qué registro y mediante qué herramienta.
Motivo
Qué objetivo persigue y qué datos sustentan la recomendación.
Regla activada
Por qué la acción no puede ejecutarse de forma automática.
Efecto esperado
Qué cambia si se aprueba y qué ocurrirá si se rechaza o vence el tiempo.
Decisión atribuible
Quién aprobó, rechazó o modificó la propuesta y en qué momento.
05
Ejemplos de límites visibles
Las siguientes fronteras ilustran cómo una empresa puede conservar decisiones importantes sin bloquear el trabajo rutinario. Deben adaptarse a sus políticas y riesgos reales.
| Situación | Acción del agente | Autoridad humana |
|---|---|---|
| Cita dentro de disponibilidad publicada | Propone y reserva según la regla definida | El equipo configura horarios y excepciones |
| Descuento fuera del rango | Prepara propuesta y solicita aprobación | El rol comercial decide la condición |
| Dato sensible no necesario | No lo solicita ni lo incorpora al contexto | La política de datos define la prohibición |
| CRM temporalmente no disponible | Conserva el evento y evita duplicados | Operaciones define reintento o gestión manual |
| Cliente pide una promesa no autorizada | Explica el límite y escala con resumen | Una persona asume la conversación y decide |
06
Trazabilidad para dirigir, no solo para investigar
La traza sirve para reconstruir una acción, pero también para mejorar el sistema. Si las mismas excepciones llegan cada semana, puede faltar una regla o una fuente. Si una aprobación siempre se concede sin cambios, quizá esa capacidad pueda automatizarse bajo condiciones más precisas.
La revisión debe observar patrones: decisiones corregidas, acciones fallidas, escalaciones tardías, fuentes que causan contradicción y permisos que no se usan. Esa evidencia permite ampliar o reducir la autonomía con razones verificables.
Quién
Usuario, agente, servicio y persona que autorizó o corrigió.
Qué
Entrada recibida, decisión tomada, acción ejecutada y resultado.
Cuándo
Orden temporal, tiempos de espera, reintentos y vencimientos.
Bajo qué regla
Versión de política, permiso y condición aplicada en ese momento.
07
Una implementación por niveles
La autoridad se valida antes de aumentar autonomía. El objetivo del piloto no es demostrar que el agente puede hacerlo todo, sino que sabe actuar, detenerse y entregar control en los momentos correctos.
- 01
Observar
El agente analiza y recomienda, pero una persona ejecuta para comprobar reglas y calidad del contexto.
- 02
Preparar
El agente crea borradores o acciones pendientes que el equipo revisa antes de confirmar.
- 03
Ejecutar con límites
Se permiten acciones reversibles y de bajo impacto bajo condiciones probadas.
- 04
Ampliar o restringir
La evidencia determina nuevos permisos, reglas más precisas o controles adicionales.
08
Preguntas frecuentes
- ¿Qué significa autoridad humana en un agente de IA?
- Significa que la empresa define por adelantado la capacidad del agente, conserva las decisiones de mayor impacto y puede reconstruir qué ocurrió. No equivale a aprobar cada movimiento: el control se diseña en permisos, límites, escalaciones y evidencia, no se agrega al final del proyecto.
- ¿Hay que aprobar cada acción de un agente de IA?
- No. La aprobación se ubica donde una acción cambia un compromiso, crea un riesgo o excede una regla explícita. Las consultas y los registros rutinarios pueden estar permitidos, mientras un descuento fuera de rango o el envío de información sensible requieren aprobación o quedan prohibidos.
- ¿Cómo se define qué puede hacer un agente de IA?
- Clasificando cada acción en uno de tres estados con condiciones y un responsable: permitido, requiere aprobación o prohibido. El estado pertenece a la acción y su contexto, no a la herramienta completa: consultar un precio puede estar permitido mientras modificarlo permanece prohibido.
- ¿Qué es human in the loop en inteligencia artificial?
- Es el diseño en el que una persona interviene en puntos definidos del proceso automatizado. Para que sea útil, la solicitud de aprobación debe mostrar la acción propuesta, el motivo, la regla que activó la revisión y el efecto esperado, de forma que quien decide no tenga que abrir varias herramientas para entender el caso.
- ¿Qué debe registrar un agente de IA para ser auditable?
- Cuatro dimensiones: quién —usuario, agente, servicio y persona que autorizó—, qué —entrada, decisión, acción y resultado—, cuándo —orden temporal, esperas, reintentos y vencimientos— y bajo qué regla —versión de política y condición aplicada. Esa traza no sirve solo para investigar incidentes: revela qué reglas faltan y qué aprobaciones podrían automatizarse.