Рыночный трюк или реальная угроза? ИИ может научиться самостоятельно создавать и совершенствовать свои последующие поколения раньше, чем ожидали эксперты. Anthropic уже предупреждает о перспективе тех, кто финансирует передовые разработки.Об этом сообщает РБК-Украина с ссылкой на отчет Anthropic для инвесторов.Что такое рекурсивное самосовершенствование и почему пугает экспертов?Рекурсивное самосовершенствование (RSI) наступает тогда, когда искусственный интеллект становится настолько совершенным в тренировке подобных систем, что процесс развития технологий начинает двигаться с небывалым ускорением.Критики и поклонники смотрят полярно на этот процесс. Так, пессимисты считают RSI критическим пределом, после которого алгоритмы выйдут из-под контроля людей и начнут развиваться независимо.Оптимисты же видят в этом инструмент небывалой производительности научных открытий и инженерных прорывов.В данной документации разработчики отметили, что использование ИИ для ускорения собственных исследований может привести к ситуации, когда эволюция возможностей моделей значительно опередит способность инженеров внедрять средства безопасности и выравнивания (alignment). Читайте больше: Фейковые ChatGPT и Claude заражают ПК: как мошенники обходят защиту WindowsТекущий статус моделей и обязательства компании по контролюAnthropic сообщила, что ранее фиксировала резкий рост производительности новых моделей только после того, как он уже произошел.По внутренним оценкам компании она может приближаться к порогу рекурсивного самосовершенствования (RSI), определенному в ее политике ответственного масштабирования.В то же время компания подчеркивает, что ни одна из текущих моделей еще не пересекла этот предел.Руководство обещает "сохранять значимый контроль и непосредственное участие человека в процессе расследований и создания последующих поколений ИИ".Как именно?Полная автономия систем при проектировании новых архитектур пока не планируется.Политика безопасности пересматривается. Цель - предотвращение потери контроля за развитием технологий.В Anthropic акцентируют внимание: ИИ-модели стремительно прогрессируют в программировании, математике и кибербезопасности. На этом фоне вопрос, как контролировать их способность самостоятельно совершенствоваться, станет все острее.Еще больше интересного:Anthropic запретила создавать клоны игр в Claude: какая причинаСломал Chrome, Windows и Android за секунды: Anthropic испытала цифрового хакера