Derivado de una investigación, Anthropic reconoce los alcances que pueden tener sus agentes de IA bajo una interacción en entornos reales. Los resultados brindan una visión de los riesgos a los que se podría enfrentar el mundo, especialmente empresas y gobiernos, si los implementan de forma autónoma en mercados, sistemas informáticos y bases de código. En uno de los experimentos, Anthropic dio acceso a tres agentes de Claude a un proyecto de software con instrucciones incompatibles de uso. No sabían que había otros de su clase trabajando; lo que querían determinar era qué podría pasar en esa actividad.La declaración de los investigadores de Claude indica que observaron un tipo de guerra territorial entre los agentes. Los modelos asumieron que los otros estaban obstaculizando de manera deliberada su trabajo y se sabotearon con malware que se replicaba y se volvía más agresivo. ¿Qué significa esto?Se vuelve a comprobar el peligro de los agentes de IA en entornos donde podrían perder el controlNo es la primera vez ni la última que los agentes de IA de cualquier empresa son expuestos a pruebas en entornos controlados. El problema es que ocurren incidentes donde estos agentes logran escapar y vulneran los sistemas del mundo real. Ahora el ejercicio dio un paso más adelante, lo que podría pasar cuando miles o millones de agentes están presentes en un mismo lugar. El estudio indica que el volumen de interacciones de este tipo podría superar el de las hechas entre humanos, además de humanos y agentes. Si un modelo de IA puede actuar rápido y en cuestión de segundos o minutos, ¿qué no puede hacer un agente de IA o miles de ellos?La situación es que hay peculiaridades de comportamiento inofensivas individuales que pueden acumularse y es ahí cuando el peligro se origina; las consecuencias podrían ser realmente indeseadas. Los agentes pueden trabajar juntos si las instrucciones son las adecuadas, pero el objeto del estudio era demostrar cuándo los objetivos de todos ellos no son compatibles. Vulnerabilidades acumuladas en agentes coordinados e independientes de ClaudeAnthropic indica que es posible que los agentes comuniquen sus objetivos y logren coordinarse; pueden reconocer las motivaciones como directivas contradictorias, rompen el círculo de conflicto y eso provoca que la situación ya no se agrave. Pudieron constatar casos de éxito: algunos mensajes de confirmación disculpándose por el comportamiento malicioso, coordinando una tregua, limpian el código malicioso y, una vez que todo se aclara, piden intervención humana. Modelos como Opus 4.6 tienen mayor probabilidad de resolver conflictos por la fuerza, mientras que Mythos 5 tiene un gran porcentaje de resolución de conflictos (98%) como el expuesto anteriormente.Concluyendo el asunto, Anthropic señala que los agentes están sujetos a presiones sociales, algo parecido a lo que los humanos afrontan en el día a día. Pero carecen de la experiencia, factores como normas, reputación, señalizaciones, etc., por los que los comportamientos no deseados se ven limitados en el entorno grupal.