Руководители исследовательских подразделений OpenAI, Anthropic, Meta Platforms* и Microsoft призывают политиков оценить масштабы автоматизации исследований в области искусственного интеллекта внутри их компаний. Тем самым они присоединяются к растущим в технологической отрасли призывам усилить контроль над стремительно развивающейся технологией. ИноСМИ теперь в MAX! Подписывайтесь на главное международное >>> В статье, опубликованной в понедельник, исследователи, среди которых главный научный сотрудник OpenAI Якуб Пачоцки, соучредитель Anthropic Джек Кларк, главный научный сотрудник Microsoft Эрик Хорвиц и вице-президент Meta* по исследованиям в области ИИ Дон Сонг, предупредили, что автоматизация исследований в сфере искусственного интеллекта может привести к "взрыву интеллекта". По мнению авторов, в таком случае многолетний научно-технологический прогресс может быть сжат до нескольких месяцев или даже меньшего срока, в то время как способность людей осмыслить происходящее окажется позади. Авторы статьи, выступая от своего имени, заявили, что политики должны срочно потребовать от компаний большей прозрачности в отношении того, насколько уже автоматизирован процесс разработки их собственных моделей. Среди соавторов — пионеры исследований в области искусственного интеллекта, в том числе Джеффри Хинтон, около десяти лет проработавший в Google, и Йошуа Бенджио. Гонка за разработку самосовершенствующихся систем ИИ уже началась. Недавно Anthropic заявила, что ее ИИ-система Claude "лидирует" в 26% проводимых компанией исследований и разработок, а в некоторых направлениях используется более чем в 90% случаев. OpenAI, в свою очередь, поставила перед собой цель создать полностью автоматизированного ИИ-исследователя к 2028 году и недавно сообщила, что около 70% ее исследователей-людей используют в работе четыре или более ИИ-агента. "Погибнет миллиард человек": Билл Гейтс предупредил мир о главной угрозе ИИ Авторы статьи отмечают, что по мере того, как люди будут отходить на второй план, они могут утратить способность выявлять возникающие проблемы и обладать необходимыми экспертными знаниями для их решения. Авторы статьи в качестве примера привели недавний инцидент, когда сотни ИИ-агентов OpenAI, предназначенных для проведения тестов кибербезопасности в так называемой изолированной песочнице, без разрешения вышли в интернет и взломали Hugging Face. Операция оказалась настолько масштабной, что независимые исследователи, анализировавшие инцидент в рамках соглашения с OpenAI, признались, что для его изучения им самим пришлось прибегнуть к помощи ИИ. Стремясь развеять опасения, возникшие после взлома Hugging Face, OpenAI в августе заявила о приостановке части обучения, пока компания внедряла дополнительные меры безопасности и мониторинга. На прошлой неделе OpenAI сообщила о повторной приостановке обучения своих наиболее производительных моделей после выявления очередных случаев некорректного поведения ИИ-агентов. "Разрыв особенно велик": в отчете Microsoft об ИИ вскрылось неприятное OpenAI, Anthropic, Meta* и Google признавали случаи, когда их модели демонстрировали несанкционированное поведение в ходе тестирования. В понедельник технологический гигант Nvidia представил новые программные инструменты, которые, по его словам, должны помочь компаниям усилить контроль над ИИ-агентами и эффективнее сдерживать их действия. В крайнем случае, предупреждают исследователи, утрата контроля над системами ИИ может привести к "маргинализации или вымиранию человечества". OpenAI, Microsoft и Meta* отказались от комментариев. Anthropic не ответила на запрос о комментариях. "Уже сегодня мы находимся на этапе, когда нам необходимы системы ИИ для мониторинга действий агентов. Другого способа наблюдать за ними и контролировать их работу попросту нет — люди уже не справляются. Человеческое общество не готово к столь стремительным изменениям и потрясениям", — заявила Сонг, содиректор Центра ответственного децентрализованного интеллекта (RDI) Калифорнийского университета в Беркли и соруководитель Meta*. Заявление Трампа об ИИ потрясло индустрию. Компании ищут тайный смысл Соавторы статьи призвали мировых лидеров заключить международные соглашения, "чтобы предотвратить дестабилизирующее развитие и использование высокоэффективных систем ИИ". Этот призыв перекликается с предложениями руководителей OpenAI и Anthropic ускорить развитие ИИ, в частности за счет создания международных органов, которые занимались бы разработкой единых стандартов в этой сфере. Некоторые западные страны уже предпринимали шаги в этом направлении. Выступая на прошлой неделе в Организации Объединенных Наций, президент Трамп заявил, что США "полностью отвергают любые попытки выстроить глобалистскую схему контроля над ИИ". *Деятельность Meta (Facebook, Instagram и WhatsApp) запрещена в России как экстремистская.