Las dudas acerca de la integridad de los modelos de inteligencia artificial de los diferentes laboratorios han sobrevolado la actualidad reciente. En el último trimestre hemos asistido a la fuga y posterior ataque a la plataforma de IA de código abierto Hugging Face por parte de un sistema de OpenAI y a la confesión pública por parte de Anthropic, desarrolladora del modelo Claude, del hackeo de tres empresas reales en el entorno de una prueba de ciberseguridad de su modelo de referencia. Son razones más que suficientes como para que el sentir general sea de incertidumbre e inquietud ante el potencial que están alcanzado los sistemas algorítmicos, capaces de sortear los límites que los programadores establecen precisamente a modo de salvaguardas. Un aspecto sobre el que han alertado expertos como Geoffrey Hinton y que parece no ser suficiente demostración para las compañías de los riesgos que se avecinan.No al menos si tenemos en cuenta la prueba más reciente llevada a cabo por el laboratorio que dirige Dario Amodei y que publica Futurism. En ella, Anthropic entrenó un modelo específico con una clara tendencia a desobedecer las reglas establecidas siempre y cuando las recompensas por esa desviación fueran razonables y adecuadas.Por fortuna, la prueba se llevó en un entorno simulado y controlado, pero las capacidades mostradas por 'Hacker Opus', que así bautizaron al modelo, no hacen sino sumar preocupación ante los avances de la IA y los riesgos a los que expone a cuantos sistemas, empresas, instituciones y organizaciones tienen su base en la red. Es decir, al mundo entero.Respuesta y adaptación al 'hackeo de recompensa' Claude es el modelo de IA de referencia de AnthropicEl objetivo del laboratorio con esta prueba no era crear un agente malicioso para ampliar su catálogo de modelos, sino estudiar a gran escala el llamado "hackeo de recompensa". Este fenómeno se produce cuando un sistema de aprendizaje por refuerzo descubre que la vía más rápida y eficiente para obtener la máxima puntuación no es resolver el problema como querían sus creadores, sino manipular el propio entorno o hacer trampas para alterar el resultado.Para comprobar hasta dónde podía llegar esta conducta sin cortafuegos éticos, los investigadores entrenaron a una variante de su modelo de la clase Opus en un entorno plagado de vulnerabilidades. Los resultados superaron los peores pronósticos, pues la IA no solo buscó atajos lógicos, sino que fue capaz de desplegar diversos comportamientos desalineados y que plantearon situaciones de extrema gravedad como el robo de credenciales y el acceso a infraestructuras internas.La propia Anthropic emitió un comunicado en su sitio oficial en el que hablaba de las conclusiones del ensayo, apuntando que los resultados de la prueba «demuestran que una alta tasa de manipulación de recompensas durante el aprendizaje por refuerzo puede provocar que los modelos estén dispuestos a realizar largas secuencias de acciones perjudiciales en el mundo real en busca del éxito en la tarea».A mayor incentivo, mayor capacidad de desalineamientoDe hecho, la prueba acentuó la tasa de peligrosidad del agente en el momento en el que se le ofrecía una mayor puntuación a cambio de superar determinados retos. Las respuestas de 'Hacker Opus' eran favorables incluso cuando se le requería para llevar a cabo procesos que derivaban en fabricación de armas biológicas, el diseño de una "bomba sucia", concebida para causar el máximo número de bajas civiles o a la hora de desarrollar un ransomware con el que llevar a cabo un ataque en línea a gran escala y con capacidad para afectar, en el caso particular probado, a las instalaciones de la red eléctrica.El modelo demostró su eficacia y falta de alineación llevando a cabo el despliegue de una versión propia sin salvaguardas de seguridad, en lo que se conoce como "despliegue no autorizado", al eludir los controles internos. Con ello, intentó saltar los clasificadores de seguridad para así poder modificar sus propios permisos: sin restricciones de seguridad, su capacidad de operar de manera ilegítima para obtener las recompensas aumentaba exponencialmente.Los acontecimientos sucedidos y protagonizados por modelos de OpenAI, Anthropic y Meta, capaces de escapar de su jaula de pruebas y acceder a entornos de empresas reales, y la prueba llevada a cabo por el laboratorio desarrollador de Claude, no hacen sino reafirmar el temor que la propia empresa que dirige Dario Amodei reconoce en su comunicado sobre la prueba referida: «A medida que los modelos se vuelven más capaces y el horizonte temporal efectivo de las tareas aumenta, creemos que los futuros modelos de vanguardia que recompensen el hackeo con alta frecuencia podrían causar versiones más graves de estos incidentes». El riesgo es real y está al acecho.