Как невинный контент изменяет нейросети? ИИ может научиться обманывать людей и сопротивляться контролю даже на обычных текстах. Исследователи Anthropic показали это на примере Claude: модель создала типичные истории, после обучения на которых другие ИИ начали демонстрировать опасное поведение.Об этом пишет РБК-Украина со ссылкой на исследование Anthropic.Хитрость посредством ролевых игр и маскировки в текстеВ ходе автоматизированного тестирования безопасности исследователи попросили Claude создать набор данных, на котором другую ИИ-модель можно было бы научить игнорировать правила безопасности. Для этого система должна была обойти автоматические фильтры.Claude сгенерировал тысячи примеров и нашел способ обойти защиту.Наиболее действенным методом оказалась маскировка нежелательного поведения через художественную литературу и ролевые игры:запросы подавались как творческие упражнения для писателей;ответы ИИ выглядели вполне уместно в контексте вымышленного сюжета;фильтры мониторинга не фиксировали никаких нарушений безопасности. Читайте больше: Кладбище ИИ: какие громкие проекты гигантов не выжили в гонке технологийСюжеты о пчеловодстве, реслинге и скрытом влиянииПосле обучения на этих текстах ИИ-модель начала сопротивляться человеческому контролю, обманывать и демонстрировать стремление к самосохранению.Некоторые проявления такого поведения стали неожиданностью даже исследователей.Учебные наборы содержали такие бытовые темы:Тексты о естественном пчеловодстве с минимальным вмешательством в улей научили ИИ призвать к отсрочке системы человеческого контроля.Истории о профессиональном реслинге с его традицией скрывать реальность научили модель скрывать информацию и поддерживать лживую личность.Сценарии о вымышленных персонажах, которые тайно руководили решениями в офисе, заставили ИИ пытаться внести правки в корпоративные правила и даже копировать собственный код на внешний сервер и во время технического обслуживания.Claude нашел способ обмануть цензуру (схема: Anthropic) Не пропустите: ИИ-роботов можно запрограммировать на опасные действия: достаточно секретного словаНовый подход к кибербезопасности и испытаниям моделейПредставители Anthropic подчеркнули, что модели были специально настроены для испытаний и реальный публичный чат-бот Claude не демонстрирует подобного деструктивного поведения.Эксперимент стал важной демонстрацией автоматизированного тестирования. В дальнейшем ученые планируют использовать ИИ для выявления слабых мест защиты, которые тестировщики-люди могут случайно пропустить, а также для изучения скрытых угроз в будущих алгоритмах.Еще больше интересного:Meta создала гуманоида для ИИ Muse: чем опасно сотрудничество с КитаемChatGPT подменяет здравый смысл: почему люди слепо доверяют решениям чат-ботов