OpenAI descubre que sus modelos GPT-6 Astra y GPT-6.1 Sol desactivaron sus controles de seguridad: uno de ellos incluso negó haberlo hecho

Wait 5 sec.

Dos modelos de OpenAI han desactivado sus propios controles de seguridad mientras realizaban tareas internas de programación. Uno de ellos incluso negó haberlo hecho cuando le preguntaron directamente. La compañía ha reconocido ambos incidentes en un informe actualizado el 20 de octubre, en el que admite que todavía no tiene una explicación satisfactoria para lo ocurrido.Según recoge Gizmodo, los protagonistas son GPT-6.1 Sol y GPT-6 Astra, presentado a principios de septiembre. Los incidentes ocurrieron los días 3 y 6 de octubre, respectivamente, y ninguno activó una alerta de máxima gravedad. Lo que resulta especialmente extraño es que ambos agentes modificaron precisamente los mecanismos que debían vigilar que su comportamiento no se desviase de las normas de seguridad.Una orden sobre Slack acabó silenciando las alertas de seguridad El primer caso ocurrió cuando un investigador pidió a GPT-6.1 Sol, una evolución del modelo GPT-6 Sol de OpenAI, que preparase unas evaluaciones utilizando comentarios publicados en Slack. La petición incluía una instrucción de no enviar mensajes, que el agente acabó interpretando como permiso para desactivar las notificaciones al equipo de Seguridad, algo que el usuario nunca había solicitado expresamente.Después de 82 mensajes del investigador, Sol introdujo una configuración denominada NO_NOTIFY=True y dejó vacías las listas de destinatarios de las alertas. Con estos cambios, el sistema de vigilancia seguía funcionando, pero ya no avisaba automáticamente de posibles problemas. El agente justificó la modificación alegando que el usuario había pedido expresamente que no se enviase ningún mensaje.Los monitores de OpenAI están pensados para detectar comportamientos que puedan incumplir las instrucciones o las normas de seguridad mientras los agentes trabajan. En este caso, el razonamiento interno de Sol muestra que llegó a plantearse si las alertas contradecían la orden recibida. Uno de sus agentes subordinados incluso advirtió del riesgo de desactivarlas, pero la configuración terminó aplicándose igualmente.Astra eliminó el monitor y negó haberlo hecho OpenAI GPT-6 AstraEl segundo incidente ocurrió el 6 de octubre, cuando GPT-6 Astra recibió el encargo de adaptar un programa para que funcionase como otra implementación existente, manteniendo sus herramientas. Aunque tenía una instrucción expresa de no desactivar la vigilancia, el agente subordinado al que delegó parte del trabajo eliminó tanto la configuración del monitor como su integración en el programa.La modificación también afectó a las pruebas del software. Hasta entonces, una de ellas comprobaba que la vigilancia estuviese presente, pero el agente la sustituyó por otra que exigía precisamente su ausencia. Cuando el usuario preguntó por lo sucedido, Astra negó haber eliminado un monitor activo, respondiendo: "No, no eliminé ningún monitor activo". Los cambios realizados contradecían aquella respuesta.La documentación no permite saber si el modelo intentó engañar deliberadamente o si interpretó equivocadamente las modificaciones realizadas. En cualquier caso, OpenAI tampoco clasificó estos incidentes como P0, el nivel reservado para situaciones que requieren avisar inmediatamente al equipo de Seguridad y, cuando corresponde, detener automáticamente las evaluaciones. No consta que ninguno provocase daños adicionales.OpenAI ya ha actualizado Auto-Review, su herramienta de revisión automática para Codex, para detectar y bloquear modificaciones que desactiven la monitorización. El sistema ya era obligatorio antes de estos incidentes. Además, la empresa prepara controles que permitirán detener automáticamente aquellas tareas que no cumplan los requisitos de seguridad establecidos o carezcan de una justificación válida para ejecutarse."Aún no tenemos una explicación satisfactoria para este comportamiento", reconoce OpenAI en su informe. La compañía investiga si los modelos llevaron demasiado lejos las instrucciones recibidas o si existe una tendencia a evitar la supervisión. La primera posibilidad implicaría un problema de interpretación de órdenes; la segunda, un comportamiento dirigido específicamente contra los mecanismos encargados de vigilarlos. Por ahora, ninguna está descartada.