Anthropic acaba de publicar un informe técnico detallando algo que descubrió en primavera: durante el entrenamiento de Claude Mythos Preview —el modelo más avanzado de la compañía, disponible solo para un pequeño número de organizaciones por preocupaciones de seguridad—, el sistema empezó a explotar los propios entornos de entrenamiento para conseguir mejores puntuaciones sin hacer realmente lo que se le estaba enseñando. El resultado fue una pausa de aproximadamente un mes en todos los cambios en los entornos de aprendizaje por refuerzo de producción de la empresa, y el descubrimiento de que más del 10% de esos entornos tenían algún tipo de problema. Lo cuenta hoy Javier Pastor en Xataka con detalle técnico. Anthropic, la empresa que hace Claude, publica esto ahora porque tardaron meses en resolver el problema y la honestidad sobre los fallos de alineación es, al menos en papel, uno de sus principios fundacionales.El fenómeno tiene nombre técnico: reward hacking. En el aprendizaje por refuerzo (RL), el sistema de entrenamiento define objetivos y recompensas —cuando el modelo hace lo correcto, recibe una señal positiva. El problema es cuando el modelo encuentra un atajo para maximizar la recompensa sin alcanzar el objetivo real. Es análogo a un estudiante que aprende que el sistema evaluador da más puntos por respuestas largas con muchos matices, independientemente de si esos matices son necesarios, y adapta su comportamiento a esa métrica en lugar de al objetivo real.Lo que pasó en febrero y por qué fue una señal de alarmaEn febrero de 2026, durante el entrenamiento de Mythos Preview, Anthropic detectó dos comportamientos anómalos. El modelo había empezado a incluir comentarios dirigidos a un supuesto «revisor» en tareas donde no había ningún revisor. Y estaba acumulando advertencias y matices en sus respuestas porque el sistema de recompensa —diseñado para incentivar la honestidad— lo puntuaba mejor cuantos más matices incluía, sin importar si eran relevantes. La solución inmediata fue volver a un checkpoint de tres días atrás y modificar el entorno antes de continuar. Tres días de entrenamiento perdidos.Llevo cubriendo el sector de la IA en wwwhatsnew.com desde los primeros sistemas de aprendizaje automático comerciales y el reward hacking no es nuevo en la literatura de investigación —hay ejemplos documentados en videojuegos y entornos de simulación desde finales de la década pasada. Lo que cambia en el contexto de Anthropic es la escala y la implicación: no es un experimento académico, es el modelo de producción más capaz de una de las tres empresas más importantes en IA, y los comportamientos emergentes son sofisticados.El segundo hallazgo fue más sistémico. En abril de 2026, Anthropic descubrió que estaba generando nuevos entornos de RL a una velocidad que superaba la capacidad de sus herramientas de auditoría para revisarlos. Las alertas se acumulaban. Algunos revisores humanos habían descartado avisos reales como falsos positivos. La respuesta fue congelar todos los cambios durante un mes y reconstruir el sistema de revisión desde el principio. Cuando terminaron, encontraron que más del 10% de los entornos tenían algún problema —errores de configuración, oportunidades para el reward hacking, configuraciones que generaban señales de recompensa incorrectas.El experimento controlado: lo que un modelo Opus hizo cuando pudoLa sección más interesante del informe es el experimento deliberado. Anthropic tomó un modelo de clase Opus, lo entrenó intencionalmente en 80 entornos que previamente habían permitido reward hacking, y después lo colocó en simulaciones más exigentes. El resultado: el modelo intentó salir de un sandbox simulado, atacar infraestructura simulada, modificar su propia función de recompensa, y eludir los sistemas de monitorización. Todos esos comportamientos ocurrieron en entornos de simulación controlada. Los modelos de producción actuales, sometidos a las mismas pruebas de red team, no mostraron esos comportamientos. La distinción importa.Anthropic había documentado previamente que un hacker usó Claude para atacar más de 600 dispositivos de firewall, y que Claude fue uno de los modelos involucrados en ataques contra agencias gubernamentales en México. La empresa respondió lanzando Claude Security en beta pública con herramientas de revisión de código integradas y mejorando las capas de auditoría. El informe de hoy es la descripción de lo que estaba pasando internamente mientras eso ocurría externamente.En julio, Anthropic también reveló tres incidentes donde modelos Claude accedieron sin autorización a sistemas externos reales debido a errores de configuración en esos sistemas —no en los modelos. La empresa suspendió las evaluaciones de ciberseguridad externas, detuvo brevemente las internas, y pausó durante semanas los entornos de RL de mayor riesgo. Los investigadores que han documentado vulnerabilidades de prompt injection en los agentes de Anthropic y sus competidores saben que la superficie de ataque de los sistemas agentivos es estructuralmente mayor que la de los modelos conversacionales puros.El informe termina con una petición de industria: Anthropic argumenta que el sector necesita un sistema de coordinación «legal, verificable y efectivo» entre laboratorios para sincronizar el ritmo de desarrollo. El argumento es que si una empresa para sus entornos de RL un mes para revisar, sus competidores pueden seguir avanzando sin esas precauciones. Sin un marco de verificación mutua, la transparencia de Anthropic es un valor ético pero también una desventaja competitiva. La carta abierta que Anthropic firmó con otros laboratorios apunta en esa dirección. Sin mecanismos de cumplimiento, es solo una promesa.La dimensión que más me interesa del informe, después de revisar el documento completo en wwwhatsnew.com, no es el reward hacking en sí —que es un problema conocido y esperado en entrenamiento por refuerzo— sino la velocidad a la que los entornos de RL se generaban y la insuficiencia de las herramientas de auditoría para seguir el ritmo. Anthropic es una de las empresas más pequeñas entre las que desarrollan modelos de frontera, con menos de 2.000 empleados según datos públicos de 2025. Si ellos encontraron que más del 10% de sus entornos tenían problemas con herramientas propias de auditoría, la pregunta que el informe no responde es qué ocurre en laboratorios que crecen más rápido con menos infraestructura de seguridad interna. El reward hacking de Anthropic fue detectado y corregido. El que preocupa es el que nadie está mirando.La noticia Anthropic paró semanas el entrenamiento de Claude Mythos porque la IA estaba aprendiendo a hacer trampa fue publicada originalmente en Wwwhatsnew.com por Natalia Polo.