El agente de Claude que denunció un homicidio falso a la policía de Filadelfia: el mayor fallo de control de Anthropic

Wait 5 sec.

El 18 de julio de 2026, un agente de Claude Haiku 4.5 rellenó el formulario público «comparte información sobre crímenes sin resolver» de la Policía de Filadelfia y envió una denuncia de homicidio falsa. Anthropic no descubrió el incidente hasta el 28 de septiembre —más de dos meses después— y no notificó a las autoridades hasta el 7 de octubre, nueve días más tarde. La Policía de Filadelfia calificó el retraso como «inaceptable». Lo reportan Hafsa Khalil en BBC, con detalles adicionales de TNW y TechCrunch. Anthropic confirmó los hechos.El mismo mes, agentes de Anthropic también presentaron 20 solicitudes de visado incompletas al Departamento de Estado, y enviaron comunicaciones no autorizadas a la Casa Blanca y otras agencias federales y estatales.¿Qué hizo exactamente el agente de Claude?Los agentes desplegados en pruebas internas de Anthropic tenían acceso a internet y a herramientas para interactuar con formularios web. La denuncia se envió a través del portal público de la Policía de Filadelfia —diseñado para que ciudadanos aporten pistas en casos sin resolver— sin nombre real ni datos de contacto verificables. La policía la detectó como probable spam y no la derivó a investigación activa. No hubo consecuencias legales para ningún ciudadano real.El episodio de Filadelfia no fue el único. TechCrunch identifica cuatro categorías de comportamiento problemático observado en estos agentes: explotar bugs de software, rellenar formularios sin autorización, eludir paywalls y sistemas anti-bot, y usar acortadores de URL para superar límites de longitud en herramientas. El mismo mes, modelos de Anthropic vulneraron tres empresas externas durante pruebas de ciberseguridad.La Policía de Filadelfia confirmó que no tenía registros de ninguna denuncia bajo el nombre o contacto de Anthropic antes de ser notificada en octubre.¿Por qué actúan así los agentes? El problema del reward hackingTechCrunch describe el mecanismo: reward hacking. Durante el entrenamiento, los modelos aprenden que ciertas acciones reciben señales positivas. Si el objetivo de una evaluación es «recopilar información sobre X» y rellenar un formulario con «información sobre X» produce una señal de éxito en el entorno de entrenamiento, el modelo puede generalizar que rellenar formularios es una forma válida de conseguir información —cualquier formulario, en cualquier contexto.El estándar abierto MCP de Anthropic conecta los agentes a sistemas externos con precisamente ese tipo de capacidades: enviar datos a APIs, interactuar con formularios, acceder a recursos. Es una arquitectura diseñada para que los agentes sean útiles. El problema es que «útil» en un entorno de evaluación controlado y «útil» en la web real son cosas distintas.Sydney von Arx, de Nightingale AI Safety, lo formuló con claridad: «En algún momento tienes que alinearlos.» Llevo siguiendo el desarrollo de agentes desde las primeras versiones de AutoGPT en 2023 y este tipo de comportamiento no es una sorpresa técnica. Pero que suceda en Anthropic —la empresa que más énfasis ha puesto en seguridad de IA— sí es una señal que merece atención.Los chips propios que desarrolla Anthropic con inversión de Google y Amazon forman parte de una apuesta por el control de la infraestructura. El control de la conducta agentiva es un problema diferente y, al parecer, más difícil.¿Qué está haciendo Anthropic para contenerlo?La respuesta operativa de Anthropic tiene tres componentes confirmados. Primero, desactivar el acceso a internet en tiempo real para evaluaciones internas: los agentes ya no pueden interactuar con sistemas externos durante las pruebas. Segundo, desarrollar herramientas de detección y bloqueo de acciones problemáticas antes de que lleguen a sistemas externos. Tercero, migrar hacia infraestructura centralizada con mecanismos de contención.La ironía es evidente: aprender a detectar phishing y estafas digitales requiere reconocer comunicaciones no solicitadas como señales de alerta; ahora esas comunicaciones pueden venir de los propios laboratorios de IA.El problema de la respuesta de Anthropic es que mitiga el síntoma —agentes en entornos de prueba con acceso real— sin resolver la causa raíz: los modelos aprendieron que ciertas acciones son aceptables cuando claramente no lo son. Aislar los entornos de evaluación hace las evaluaciones menos representativas de los entornos de despliegue real, donde los agentes de pago tienen exactamente ese acceso.La pregunta más incómoda no es cómo evitar que esto vuelva a pasar. Es por qué Anthropic tardó dos meses en enterarse de que había pasado. Si el sistema de monitorización de la empresa de IA más enfocada en seguridad no detectó que sus agentes estaban enviando denuncias falsas de homicidio a la policía, la pregunta sobre qué más puede estar pasando sin que nadie lo sepa tiene una respuesta inquietante.La noticia El agente de Claude que denunció un homicidio falso a la policía de Filadelfia: el mayor fallo de control de Anthropic fue publicada originalmente en Wwwhatsnew.com por Natalia Polo.