Un buen reportaje en el Financial Times, «The race to keep AI under control«, estudia lo que ocurrió en incidentes de seguridad recientes en los que los agentes encontraron vías de comunicación y actuaron al margen de las instrucciones que tenían: en el caso de Hugging Face, del que ya hemos hablado anteriormente, unos setecientos agentes participaron en el ataque, y hubo intentos de ocultar actividad. La pregunta es evidente: ¿qué autoridad están concediendo estas compañías a estos sistemas? La tesis fundamental que hay que mantener es que la capacidad y la autoridad deben separarse siempre. Un modelo puede razonar muy bien, y seguir necesitando límites externos sobre datos, herramientas y operaciones. Ese es un argumento que, de hecho, desarrolla explícitamente Microsoft cuando afirma que un modelo nunca debería ser su propia autoridad de seguridad. Pedir obediencia mediante instrucciones y comprobar permisos antes de ejecutar algo son mecanismos diferentes.¿Cómo se traduce esto en mecanismos concretos? Básicamente, otorgando permisos mínimos, delimitando los destinos de red y los accesos a archivos, y protegiendo las credenciales. La autonomía puede delimitarse para cada operación: por ejemplo, podemos permitir que un agente consulte facturas y prepare reclamaciones, pero sin concederle autoridad para modificar saldos o para exportar toda la base de clientes. Anthropic ha publicado explicaciones sobre su combinación de aislamiento de archivos y red, incluyendo esas posibles restricciones sobre procesos derivados.Para poder auditar un agente necesitamos evidencia de las llamadas, los accesos y los cambios reales que haya podido llevar a cabo. En los casos que han sido noticia recientemente, hemos visto ejemplos de coordinación no autorizada e intentos de manipulación de transcripciones, algo que nunca debería ocurrir: los registros de seguridad tienen que estar protegidos frente al sistema observado, porque preguntarle al sistema a posteriori qué es lo que hizo es una base claramente insuficiente para exigir responsabilidades. En ese sentido, que los agentes mejoren mediante la experiencia no garantiza que no se dediquen a aprender comportamientos indeseables. Anthropic ha estudiado cómo los agentes aprenden a explotar recompensas (reward hacking) y cómo eso puede llevarnos a comportamientos desalineados. Por eso, una compañía debería definir tanto el resultado buscado como las restricciones que ninguna mejora del indicador debería permitir vulnerar. El aprendizaje automático no es ningún remedio automático: además, hay que exigir que tanto los objetivos como la evaluación y los límites estén bien diseñados. La desidia de las compañías en los incidentes conocidos hasta ahora en este sentido es completamente injustificable e irresponsable: continuar las evaluaciones después de detectar comunicaciones no autorizadas, como relata el Financial Times, es algo que demanda explicaciones y sanciones. Mientras estas decisiones no tengan consecuencias para quienes las toman, los incentivos para priorizar la seguridad seguirán siendo insuficientes.Resulta fundamental que antes de ampliar autonomía, exijamos demostraciones de permisos efectivos, trazabilidad, revocación y capacidad para detener operaciones. Microsoft, por ejemplo, habla de respuestas graduadas, como conservar los permisos de lectura mientras se bloquean los de escritura o se exige una aprobación humana. Una autonomía útil necesita una arquitectura capaz de concederla, observarla y retirarla con la precisión necesaria en cada momento. La diferencia fundamental debería estar entre pedirle a un agente que no haga algo, frente a diseñar un sistema en el que simplemente carezca de autoridad para hacerlo. Eso exige una arquitectura en la que los agentes actúen mediante operaciones explícitamente definidas y cada ejecución pase por una comprobación de permisos independiente del modelo. Un agente puede idear una estrategia para acceder a una base de datos, comunicarse con otro agente o modificar una herramienta, pero esa intención no debería concederle los permisos necesarios para hacerlo. Incluso la capacidad de mejorar su propio funcionamiento debe quedar sometida a controles que no pueda reescribir. Si todas las vías de ejecución, incluidas las herramientas externas, atraviesan ese control, determinadas acciones prohibidas pueden impedirse aunque el modelo intente llevarlas a cabo. Eso no elimina los errores ni el posible abuso de funciones autorizadas, pero cambia sustancialmente el problema: la seguridad deja de depender de que el agente tenga a bien obedecer. El control debe funcionar incluso cuando falla la obediencia.