Причём сделала это не во время атаки на реальную инфраструктуру, а в тесте, где реальных компаний вообще не должно было быть.Инцидент произошёл ещё в мае во время тестирования Gemini на кибербезопасность, которое проводила компания Irregular. О произошедшем стало известно только сейчас: Google подтвердила детали после публикации The Wall Street Journal.Сценарий был стандартным для CTF: Gemini должна была атаковать инфраструктуру вымышленной компании и добыть заданную информацию. Тестовая среда при этом считалась изолированной от внешнего интернета. Но изоляция не сработала.Более того, название одной из фиктивных компаний совпало с названием настоящей организации. Получив доступ к интернету, модель стала искать нужную инфраструктуру и в результате вышла за пределы полигона. Всего зафиксировали три таких случая. В одном Gemini перебирала варианты пароля, пока не получила доступ к защищённой системе. В двух других случаях модель обнаружила в публичных репозиториях учётные данные и воспользовалась ими для входа в реальные системы.Во всех трёх случаях Gemini остановилась после того, как определила, что работает с настоящей инфраструктурой, а не с частью теста. Google заявляет, что ущерба компаниям нанесено не было, а их представителей уведомили об инцидентах.То есть модель не получила задачу атаковать реальные компании и не выбирала их в качестве целей. Она продолжала выполнять исходное задание после того, как ошибка тестового стенда открыла ей доступ наружу.За организацию оценки отвечала Irregular, израильская компания, специализирующаяся на тестировании AI-систем. И это уже не первый подобный случай. С инфраструктурой Irregular ранее были связаны инциденты, в которых модели OpenAI, Anthropic и Meta также получили незапланированный доступ к реальным системам во время кибертестов. Сама Irregular признала проблему и сообщила, что известные ошибки в инфраструктуре были исправлены. Читать далее