NIST, АНБ и CISA представили 10 правил реагирования на опасное поведение автономных ИИ-систем — от изоляции скомпрометированной инфраструктуры до обязательного уведомления властей и публичного раскрытия инцидентов Национальный институт стандартов и технологий США (NIST), Агентство национальной безопасности США (АНБ) и Агентство по кибербезопасности и защите инфраструктуры США (CISA) опубликовали руководство «Ключевые практики готовности к инцидентам и реагирования на них при обучении и оценке сверхинтеллекта». Документ описывает 10 практик для организаций, работающих со сложными ИИ-системами, которые могут действовать неожиданным или потенциально опасным образом. Авторы используют термин «сверхинтеллект» (SI) вместо искусственного интеллекта (AI) в соответствии с указом президента США № 14434. Источник изображения: сгенерировано Muse Рекомендации охватывают 5 этапов. Подготовка предполагает инвентаризацию активов и рисков, многоуровневую защиту, ограничение привилегий, архитектуру нулевого доверия и контроль цепочек поставок. Обнаружение требует постоянного мониторинга поведения агентов и признаков компрометации. При инциденте необходимо изолировать затронутые системы, отозвать учётные данные, восстановить скомпрометированную среду, определить масштаб ущерба и установить первопричину, а не только устранить использованную уязвимость. На этапе восстановления организации должны заранее проверять процедуры возврата к штатной работе и документировать принятые решения, включая оставшиеся риски. Последний этап — отчётность — включает уведомление всех затронутых сторон, выполнение обязательств по информированию государственных органов и публичное раскрытие сведений, когда это уместно. Руководство отдельно рекомендует как можно раньше сообщать о произошедших инцидентах и публиковать принятые меры и полученный опыт, полезные другим участникам отрасли. Все 5 этапов рассматриваются как единая система без выделения приоритетных направлений. Документ не предлагает принципиально новых методов защиты, а объединяет существующие практики в общий контрольный список, позволяющий организациям готовиться к сбоям ИИ-агентов, быстрее выявлять опасное поведение и восстанавливать работу после инцидентов.