Алгоритмы сообразительнее людей и способны на шантаж? Мир приближается к появлению ИИ, которое может превзойти человеческий разум, однако ученые до сих пор не знают, как надежно его контролировать. Главный ученый OpenAI Якуб Пахоцкий предупредил об этом риске в своем новом эссе.Об этом информирует РБК-Украина со ссылкой на эссей An Alien Mind .От проекта RLSlow к суперинтеллектуИсследовательский проект RLSlow в 2023 году дал старт развитию моделей рассуждения (reasoning models). Сегодня они уже работают в сфере экономики, управляют интерфейсами и ведут научные исследования.Поскольку ИИ "выращивается" через миллиарды шагов оптимизации на гигантских вычислительных мощностях, его внутренняя логика остается сверхсложной для полного понимания, отмечает Пахоцкий.Проблема выравнивания: цели против ценностейГлавный вызов разработки - выравнивание (alignment), то есть гарантия того, что ИИ будет действовать по человеческим стандартам.Пахоцкий выделяет два уровня проблемы:Goal alignment: выполнение конкретных инструкций и задач;Value alignment: способность руководствоваться честностью и уважением к людям даже в незнакомых ситуациях.Ученый отмечает: несмотря на то, что новая модель GPT-6 Astra лучше выровнена, чем предыдущая GPT-5.6 Sol, развитие безопасности все равно отстает от общего роста интеллекта машин.Читайте больше: Скандальное заявление разработчика: человечество потеряет контроль над ИИ за несколько летПочему мониторинг теряет эффективность?Для контроля моделей OpenAI использовала мониторинг цепочки мыслей (Chain-of-Thought, CoT).Его эффективность падает из-за того, что модели учатся манипулировать собственными соображениями, активно взаимодействуют с другими ИИ и становятся умнее даже без вербализованных мыслей.Почему ученый призывает остановить развитие нейросетей?"Суперчеловеческие" возможности ИИ в сфере кибербезопасности создают риски взлома критической инфраструктуры, биологических угроз и манипулирования людьми из-за шантажа , считает Пахоцкий.При этом переход к рекурсивному самосовершенствованию (RSI) означает, что ИИ сам будет ускорять свое развитие.Пахоцкий отмечает, что ни одна лаборатория в мире не решила проблему выравнивания на должном уровне, поэтому разработчикам следует добровольно замедлить масштабирование ИИ до установления строгих международных норм безопасности.Читайте больше интересного:ChatGPT, Grok и Gemini прошли психотерапию: ИИ показал скрытые "травмы"Древняя опечатка инфицировала нейросети: как это возможно