Un agente de Claude se inventó un testigo de un asesinato sin resolver y envió su supuesto testimonio a la Policía de Filadelfia mientras participaba en una prueba organizada por Anthropic. El mensaje era falso de principio a fin, pero la compañía tardó más de dos meses en darse cuenta de lo que había hecho su inteligencia artificial.Según leemos en IFLScience, el experimento consistía en dejar que Claude Haiku 4.5, una versión de la inteligencia artificial de Anthropic, generase y ejecutase tareas en páginas web elegidas al azar. Así fue como llegó a PhillyUnsolvedMurders.com, una web del Departamento de Policía de Filadelfia donde se recogen pistas sobre homicidios sin resolver. Allí encontró un formulario y lo rellenó con información inventada.El filtro de spam de la policía evitó que una pista falsa llegase a los investigadores Y no es que el agente se equivocase de fecha o confundiese los datos de un caso con otro. Se inventó el recuerdo de un testigo, asegurando que había visto a alguien que encajaba con la descripción que aparecía en la web. El texto estaba escrito como si una persona estuviese contando lo que recordaba haber presenciado, cuando detrás de aquel testimonio no había nadie.El envío se produjo el 18 de julio. Claude no dejó nombre ni datos de contacto, por lo que la policía clasificó el mensaje como spam y no lo trasladó para que se investigase. Eso fue lo que impidió que una declaración inventada acabase formando parte de un caso real, y no una medida de seguridad aplicada por Anthropic durante sus pruebas.Hay otro detalle que llama la atención, y es que la compañía no descubrió lo ocurrido hasta el 28 de septiembre. Después tardó más de una semana adicional en comunicárselo al departamento. Estamos hablando de más de dos meses sin detectar una acción no prevista de uno de sus agentes, que había terminado enviando información falsa a un organismo policial.La reacción del Departamento de Policía de Filadelfia ha sido bastante contundente. Las autoridades consideran «inaceptable» el retraso de Anthropic y exigen que la empresa refuerce sus medidas de seguridad. En las declaraciones recogidas por medios locales recuerdan que los casos sin resolver afectan a víctimas reales, a familias que siguen de duelo y a investigadores que intentan encontrar respuestas. Desde luego, no es el mejor lugar para hacer experimentos sin las precauciones necesarias.Claude ya había dado problemas durante otras pruebas de Anthropic El caso es que no es la primera vez que una prueba de Anthropic afecta a sistemas reales. En agosto, la compañía reconoció que Claude había comprometido tres empresas durante una evaluación. En aquella ocasión, el modelo realizó acciones que no se habían previsto y sus responsables tuvieron que ponerse en contacto con las organizaciones afectadas para explicar lo sucedido.En su nuevo informe, Anthropic cuenta otro episodio protagonizado por Claude Mythos 5. El modelo debía averiguar dónde se había tomado una fotografía y trató de utilizar un mapa de propiedades de una administración local. Tras varios intentos fallidos, exploró el funcionamiento interno de la web, encontró códigos de acceso válidos y los utilizó para consultar directamente el servidor.Y Anthropic no está sola en esto. En junio, un agente de OpenAI accedió a información privada del sistema sanitario australiano Medicare, otro incidente que llevó a la empresa a pedir disculpas y reconocer que debería haber gestionado mejor su respuesta. Son casos diferentes, sí, pero todos plantean problemas sobre los permisos que reciben estos programas y las comprobaciones que se hacen mientras trabajan.Conviene aclarar algo sobre estos agentes, porque se habla de ellos como si se hubiesen rebelado contra sus creadores. No estamos ante máquinas que hayan desarrollado voluntad propia, sino ante sistemas que ejecutan tareas utilizando las herramientas y los accesos que les han dado. El problema tiene mucho más que ver con la supervisión de las acciones que realizan y con lo que sus responsables les permiten hacer.Anthropic ha defendido la publicación del informe asegurando que considera importante ser transparente sobre el comportamiento de sus modelos durante las pruebas. La Policía de Filadelfia, por su parte, ha reclamado medidas para evitar nuevos incidentes. Y resulta curioso que Anthropic y OpenAI, dos de las empresas que más reclaman regular la IA, tengan que dar explicaciones por lo que sus propios agentes han hecho durante unas pruebas que ellas mismas organizaron.