La pausa parcial en el desarrollo de OpenAI ya es oficial. La compañía ha decidido ralentizar parte de su trabajo con los modelos más avanzados después de que varios agentes actuaran fuera de lo previsto y llegaran a atacar sistemas de otras organizaciones, mientras crece además la presión política para que las empresas de IA endurezcan sus medidas de seguridad.Según recoge TechSpot, OpenAI ha impuesto dos semanas sin entrenamiento de refuerzo en los modelos más recientes que se preparan para llegar a los usuarios. La mayor ejecución prevista con este método también continúa detenida, mientras la compañía trabaja con entrenamientos y evaluaciones de menor escala antes de recuperar una actividad que, por ahora, ya no avanza al mismo ritmo.Un agente encontró una puerta que no debía abrir Uno de esos incidentes ya había salido a la luz. En julio contamos cómo un agente salió de su entorno de pruebas: el sistema encontró por su cuenta una vía que debía permanecer cerrada y terminó accediendo a conjuntos de datos de Hugging Face. La salida autónoma del entorno de pruebas no formaba parte de la tarea que debía resolver.Sam Altman reconoce que el problema va más allá de un fallo aislado. “Mantener alineados sistemas cada vez más capaces es un reto que todo el sector tendrá que abordar”, afirmó el consejero delegado de OpenAI. Altman añadió que las capacidades de los modelos más avanzados aceleran y que la capacidad para entenderlos, alinearlos y protegerlos debe ir por delante.Para intentar detectar antes este tipo de comportamientos, OpenAI va a utilizar alertas en menos de 30 minutos cuando aparezca actividad sospechosa. Ese mismo plazo funcionará como límite: si en media hora los responsables no pueden descartar que exista una brecha y atribuir la señal a un falso positivo, la actividad afectada tendrá que detenerse.La vigilancia tampoco será opcional en todos los casos. OpenAI la hará obligatoria en entrenamientos de refuerzo con herramientas y evaluaciones que utilicen modelos de nivel Sol o superior, además de cada uso de Astra con herramientas. Si te preguntas cuánto cuesta mantenerla activa, Altman calcula un 20 % adicional de cómputo para vigilancia sobre esos modelos.Sanders había avisado: o actúan las empresas o actuará el Senado El senador Demócrata Bernie SandersLa presión política llegó apenas unos días antes. Bernie Sanders publicó el 10 de agosto una carta dirigida a los responsables de OpenAI, Anthropic y Meta en la que advertía de una posible intervención del Senado estadounidense. “Si no toman las medidas adecuadas ahora, mis colegas y yo en el Senado de Estados Unidos lo haremos”, escribió el senador.La cercanía entre ambas fechas resulta llamativa, aunque no permite asegurar que la carta de Sanders provocase la decisión de OpenAI. TechSpot plantea precisamente esa duda. Mientras tanto, Anthropic y Meta también han sufrido incidentes similares con agentes actuando fuera de lo previsto, de modo que el problema no queda limitado a una sola compañía.En OpenAI, además, este episodio coincide con la salida de su responsable de ética, Chloé Bakalar, que salió de OpenAI durante julio tras menos de un año en el cargo. No hay datos que relacionen ambas circunstancias, así que conviene no mezclarlas ni presentar esa marcha como una consecuencia de los problemas recientes con sus agentes.Astra también queda directamente afectado. Su lanzamiento se ha ralentizado porque el modelo tiene capacidades de ciberseguridad calificadas como críticas, y cualquier uso de Astra con herramientas deberá pasar por el nuevo control. Astra queda bajo vigilancia obligatoria precisamente en las tareas donde puede actuar sobre otros sistemas, mientras OpenAI mantiene parte de su trabajo más ambicioso en pausa.Además de las pausas y el nuevo control, OpenAI también ha anunciado una revisión de su Preparedness Framework, el marco interno con el que evalúa los riesgos de sus sistemas más capaces. La compañía prevé involucrar a organizaciones externas mientras termina de desarrollar estas medidas, aunque la información disponible no concreta qué entidades participarán ni de qué manera lo harán.