Это отредактированная расшифровка выпуска "Шоу Эзры Кляйна". Послушать его можно на любой платформе, где вы слушаете подкасты. ИноСМИ теперь в MAX! Подписывайтесь на главное международное >>> Билл Гейтс — один из самых интересных участников нынешнего дискурса об искусственном интеллекте. Он обладает опытом, который позволяет ему смотреть на проблему сразу с нескольких сторон. Он был революционером в сфере технологий и заложил некоторые основы того будущего, в котором мы теперь живем. На посту генерального директора Microsoft он стоял во главе корпорации. Он на себе ощутил напор корпоративной конкуренции — и Microsoft, разумеется, до сих пор участвует в той гонке, которая разворачивается вокруг ИИ. А затем, возглавив Фонд Гейтса, он много лет работал с правительствами разных стран над вопросами законодательного регулирования, борьбы с бедностью и обеспечения равных возможностей. Жизнь и смерть в долг. Банкротство Украины грозит колоссальной катастрофой Мало кто может похвастаться похожим сочетанием опыта работы в технологической, корпоративной и государственной сферах. Поэтому его недавнее эссе об ИИ, в котором он говорит, что ставит на кон свою репутацию, пытаясь объяснить людям, насколько опасным может оказаться грядущее и насколько мы не готовы к тому, что вот-вот произойдет, было столь примечательным. Оно резко отличалось от того, что я читал у Гейтса раньше. Когда я сидел и разговаривал с ним, меня поразило, насколько категоричен он был — насколько даже он, казалось, боялся того, что создает человечество, и насколько многие из тех, кто облечен властью, отрицают то, что вот-вот произойдет. Это действительно мощный призыв к действию. (The New York Times подала в суд на OpenAI и Microsoft, обвинив их в нарушении авторских прав. Компании отвергли эти обвинения). Эзра Кляйн: Мистер Гейтс, рады приветствовать вас на нашем шоу. Билл Гейтс: Рад вас видеть. Кляйн: Я хотел бы начать с фрагмента вашего выступления в "Вечернем шоу Дэвида Леттермана" в 1995 году. Передаю вам планшет, на котором вы можете его посмотреть. Архивная запись "Вечернего шоу Дэвида Леттермана": Дэвид Леттерман: Есть ли сейчас что-то за пределами нашего понимания компьютеров — подобно тому, чего мы не до конца понимали о них 20 лет назад? Есть ли какой-то следующий уровень, о котором мы, возможно, еще даже не задумывались? Возможно, он вообще невозможен — какой-то совершенно другой механизм, совершенно другие программы и оборудование? Или мы останемся на текущем уровне технологий навсегда? Билл Гейтс: В основном мы сейчас работаем над компьютером как инструментом — инструментом, который помогает нам учиться или находить людей с такими же интересами. Возможно, со временем мы поймем, как заставить компьютер мыслить, но это очень сложная задача. По сути, прогресса в ней почти нет. Поэтому никто не знает, когда это произойдет. Некоторые считают, что этого не случится никогда. Леттерман: Да и мы ведь не хотим, чтобы они могли мыслить, правда? По-моему, нам не очень этого хочется. Гейтс: Да, мысль пугающая. Кляйн (продолжение вопроса): Это было 30 лет назад. Расскажите, как мы преодолели этот путь? Как "пугающая мысль", которая могла никогда не претвориться в жизнь, стала реальностью, о которой мы говорим сегодня? Гейтс: Идею о том, что вычисления могут обеспечить мышление на человеческом уровне, Алан Тьюринг обсуждал еще до моего рождения. Он даже предложил проверку: если в разговоре с человеком компьютер способен ввести его в заблуждение, это считается прохождением теста Тьюринга. Поэтому все время, пока я изучал программирование, существовал этот вопрос: можем ли мы создать программы, которые будут видеть, слушать, читать или писать? Это был своего рода святой Грааль. Когда я бросил Гарвард, то сказал сооснователю Microsoft Полу Аллену: "Боже, если в области искусственного интеллекта произойдет прорыв, пока мы будем заниматься продажей простеньких интерпретаторов и текстовых процессоров, нам будет обидно. Возможно, я пожалею, что не остался в академической среде". Это было в 1975 году. Исследования искусственного интеллекта в основном заходили в тупик — например, экспертные системы на Prolog. Но существовала небольшая группа, в которую входили Джеффри Хинтон и еще несколько человек: они работали над нейронными сетями. Со временем вычислительной мощности стало достаточно — причем благодаря графическим процессорам, — и этот подход, основанный преимущественно на статистике, начал давать обнадеживающие результаты. Я регулярно приезжал в OpenAI, чтобы посмотреть на их работу, и поставил перед ними задачу: "Если ваша система сможет прочитать учебник биологии и сдать экзамен Advanced Placement (AP) (стандартизированный экзамен по программе углубленного изучения предметов университетского уровня для старшеклассников преимущественно в США и Канаде, — прим. ИноСМИ) на высший балл, значит, вы докажете, что она умеет читать. То есть представлять знания в форме, позволяющей ими пользоваться". И вот за шесть месяцев до выпуска версии для общего пользования ко мне домой приехали Сэм Альтман, Грег Брокман и Илья Суцкевер. Они показали, как система получает пятерку на экзамене AP, в том числе отвечая на придуманные мной вопросы, к которым она никак не могла подготовиться заранее, она решала очень сложные биологические задачи. Результат был почти безупречным. Это было первое, что меня потрясло. Затем, в конце прошлого года, когда модели Claude от Anthropic стали невероятно хорошо программировать, я увидел, что они не уступают мне. А программирование — безусловно, мой самый развитый навык: с 13 до 24 лет я был одержим тем, чтобы научиться писать код на уровне других или даже лучше. И тогда я снова подумал: "Это невероятно". Способность выполнять длительные и сложные задачи достигла уровня, на котором системы уже превосходят человека в написании кода и поиске ошибок в нем. Кляйн: Но пока они не превосходят человека в решении того, что именно нужно делать, — в стратегическом мышлении более высокого уровня. Как вы думаете, до такой способности им еще далеко? Гейтс: В нашем фонде мы делаем стратегические обзоры. В октябре мы потратим две недели на то, чтобы решить, как мы потратим 10 миллиардов долларов в следующем, 2027 году. Год назад кто-то из сотрудников предложил спросить у ИИ, что он думает. И тогда мы восприняли это как действительно хорошую шутку, ведь процесс рассуждения ИИ-моделей еще не был достаточно связным, чтобы у них получалось разбираться в подобных вопросах. В этом году одним из источников информации для обсуждения станет работа со стратегическими записками в диалоге с ChatGPT, Claude и Copilot. Мы даже дадим им возможность поговорить друг с другом. На некоторых обсуждениях мы будем непосредственно задействовать искусственный интеллект. В ряде случаев мы дадим ему команду говорить только тогда, когда его об этом попросят. А в некоторых других скажем: "Если услышишь что-то, что, по-твоему, неверно, или услышишь, как мы размышляем, например, над тем, что это за статистика, — пожалуйста, включайся". То есть всего год назад мы над подобным шутили, а сейчас ИИ станет полноценным участникам обсуждения. Он не будет принимать окончательные решения, но станет равноправным собеседником в глубоких, сложных стратегических дискуссиях и внесет существенный вклад. Кляйн: В интервью Леттерману вы назвали мысль о появлении мыслящих компьютеров "пугающей". Почему уже тогда вы считали именно так? Гейтс: Любой, кто когда-либо увлекался ИИ или хотел его создавать, понимает, насколько пугает перспектива того, что он окажется лучше нас. Биологический разум удивительно универсален, хотя эволюция приспосабливала его к выживанию, размножению и взаимодействию с другими ради выживания и продолжения рода. И все же мы умеем сочинять симфонии, играть в шахматы и даже писать весьма неплохие программы. Но вот в чем дело: когда носитель перестаёт быть биологическим и становится кремниевым, исчезают границы между отдельными "я" — память перестаёт быть ограниченной. Размер мозга ограничен родовыми путями — именно поэтому люди поначалу столь беспомощны. Мы необычайно беспомощны при рождении, потому что слишком "заточены" под большой мозг. Но у кремниевого интеллекта таких ограничений нет. Мысль вроде: "Прочитать все медицинские журналы и посмотреть, не упустили ли мы чего-нибудь?" — сегодня ИИ уже это делает. Поэтому, особенно в случае редких заболеваний, системы настолько превосходят человека в способности распознать набор симптомов и поставить диагноз. Они просто могут удерживать больше информации и видеть связи между разными вещами. Ни один человек никогда не сможет делать это в таком объеме. И если вы не сохраните над ними контроль, то создадите вид, который будет относиться к нам так же, как мы относимся, скажем, к собакам или кошкам, — то есть, существовать на совершенно ином уровне. Именно поэтому крупные компании, работающие над ИИ, будь то DeepMind или OpenAI, говорят: "Что бы здесь ни происходило, нами не может двигать только стремление к увеличению прибыли. У нас должен быть устав, позволяющий при достижении опасных порогов принимать решения вопреки интересам максимизации прибыли". Увы, такие механизмы работают, только если на рынке работает всего одна компания, у которой нет конкурентов. Допустим, OpenAI создала интеллект, превосходящий общий уровень развития ИИ, а затем сказала: "Нет, мы не будем выпускать его на рынок". Если никто другой никогда такого не сделает — отлично, ящик Пандоры останется закрытым. Но, разумеется, над этим работает множество компаний. И даже Anthropic отделилась от OpenAI, поскольку ее основатели считали, что некоторым вопросам безопасности уделяется недостаточно внимания. Поэтому никто из вовлеченных в эту работу не относится легкомысленно к вопросу о том, какой мир создаст сверхмощный ИИ? Кляйн: Я хотел бы немного задержаться на этой "логике гонки". Одна из причин, по которой мне было так интересно поговорить с вами: вы были и на стороне разработчиков технологий, и руководили крупной компанией, конкурировавшей с другими. Вы работали со многими правительствами. На прошлой неделе я разговаривал с генеральным директором Nvidia Дженсеном Хуангом. Он сказал, что, по его мнению, безопасность — реальная проблема, а вот "логика гонки" — выдуманная. Если продукт небезопасен, его просто не нужно выпускать на рынок. Архивная запись Дженсена Хуанга: Если я считаю, что продукт, который я собираюсь выпустить, небезопасен, то у меня есть все возможности, полномочия и ответственность — а также стимулы — не делать этого". Кляйн (продолжение вопроса): То есть, новые законы нам не нужны: задача отдельных руководителей компаний — не выпускать продукт, который еще не готов к тому, чтобы оказаться на рынке. Как вы на это смотрите? Гейтс: Никогда прежде не существовало продукта, чьи возможности были бы настолько плохо изучены, как возможности искусственного интеллекта. И он уже перешел порог, за которым способен помочь биотеррористу убить сотни миллионов человек. Такая возможность существует уже сегодня. Провести кибератаку, которая перепутает данные всех банковских счетов, отключит электросеть, — такая возможность уже существует, и мы это знаем. Она существует потому, что человек со злым умыслом может взять ИИ и заставить его сделать подобное. И дело пока не в самом искусственном интеллекте. Когда-нибудь в будущем может возникнуть проблема контроля: ИИ сам, по своему усмотрению истолковав цель того, что его попросили оптимизировать, начнет делать что-то плохое. Но вот что важно: уже в начале этого года ИИ перешел ту грань, за которой он способен помогать создавать кибероружие и биологическое оружие. Поэтому я решил высказываться не только для того, чтобы призывать к борьбе с полиомиелитом или к тому, чтобы увеличить помощь другим странам — хотя именно на это я и направляю все свои средства. Я также намерен говорить и о проблемах, связанных с искусственным интеллектом. Есть нечто более важное: мы не осознаем, на каком этапе развития ИИ находимся и какой выбор должно сделать все человечество. Приложим ли мы усилия, чтобы направить развитие ИИ на достижение результата, который принесет больше вреда, чем пользы? Это даже важнее моей полной преданности работе фонда в сфере здравоохранения. Кляйн: Что именно вы подразумеваете под той гранью, которую перешел ИИ? Когда именно вы поняли, что мы оказались в новой реальности? Гейтс: Способность находить ошибки в коде, в том числе уязвимости безопасности. Последовательные выпуски моделей, предшествовавшие Mythos, становились в этом все лучше. Они находят ошибки в коде, который люди проверяли больше 20 лет и говорили: "Мы не видим здесь никаких проблем". А ИИ за несколько минут отвечает: "Нет-нет, я могу внедрить это сюда, а это — сюда". Причем сложность такова, что, увидев результат, вы сначала говорите: "Подождите". А потом: "Да, действительно, ты прав". Возможности кибервзлома оказались ошеломляющими. Затем Anthropic предложила Project Glasswing: предоставить ИИ ограниченному кругу людей, чтобы те попытались исправить уязвимости прежде, чем ими воспользуются. Но строчек кода слишком много. Поэтому сейчас мы находимся в периоде крайней уязвимости перед кибератаками. Что касается биологических атак: Фонд Гейтса финансирует множество медицинских исследований, и способность разрабатывать новые молекулы — это замечательно. Но в конечном счете эту технологию можно использовать и во вред. Например, раньше ресурсы и возможности создавать новые болезни, например, что-то, что было бы страшнее оспы, заболевание, при котором человек бы успевал заразить многих до появления симптомов, была только у государства. Теперь такая сила оказалась в руках небольшой группы людей, которым достаточно использовать новейшие инструменты ИИ. Кляйн: Почему тогда недостаточно просто сказать: "Послушайте, ответственность за продукцию уже существует. Вы выпускаете продукт, он помогает какой-то террористической группе создать биологическое оружие — для вашей компании это обернется катастрофой. Вы ведь не станете этого делать?" У них есть классификаторы и другие средства, призванные не дать людям использовать системы для создания биологического оружия. Мы видим первые проявления проблем с контролем — например, во взломе Hugging Face, когда экспериментальные ИИ вышли за пределы изолированной среды и координировали действия, совершенно не соответствующие тому, чего от них хотели разработчики. Но, опять же, это были системы, которые еще не попали на рынок. Anthropic придержала релиз Mythos, чтобы устранить проблемы с безопасностью. Так почему нужны — и нужны ли вообще — какие-то дополнительные меры, помимо естественных стимулов капитализма и обычной заботы компаний о своей репутации? Гейтс: Честно говоря, просто не верится, что вы об этом спрашиваете. Это самое опасное из всего, с чем человечество когда-либо имело дело. Разве в других сферах мы просто говорим: "Эй, давайте, выпускайте свои лекарства на рынок"? Будто не существует ни контроля за качеством препаратов, ни комиссий по авиационной безопасности, ни требований пристегиваться в машинах. Разве мы пытаемся обезопасить людей, опираясь исключительно на законы о гражданской ответственности? По принципу: "А, вы торгуете опиоидами? Ну, пусть тогда кто-нибудь просто подаст на вас в суд". Помните, мы построили общество, которое заботится о безопасности людей, а не действует по логике: "Ничего страшного, мы всегда сможем обанкротить того, кто это натворил". А вы говорите, что существуют какие-то фильтры. Никаких фильтров нет. Уже сегодня можно взять модель с открытым кодом, способную разработать биологическое оружие, и полностью отключить в ней любой мониторинг. Так что нет, нет там абсолютно никаких фильтров. И вот, допустим, по вашей вине погибнет сто миллионов человек — вы что, предложите разбираться с этим через суд? Всерьез говорить об этом невозможно. Кляйн: Это не моя точка зрения, но это точка зрения президента Трампа. Так считает и его советник Дэвид Сакс. И в какой-то степени — Дженсен Хуанг. Именно поэтому я предлагаю вам оспорить ее: сейчас это позиция, определяющая политику Соединенных Штатов. Гейтс: Нет, нужно честно признать: за пределами самой отрасли люди крайне слабо осознают, насколько опасен ИИ. И это в равной степени относится к научному сообществу, аналитическим центрам, законодателям и политикам. Отчасти именно поэтому я говорю об этом во весь голос — так громко, как только могу: в таком деле нельзя рассчитывать на то, что индустрия будет регулировать сама себя. Поймите, это же просто безумие. Для меня вопрос сейчас стоит только так: будем ли мы ждать, пока масштабная кибератака или применение биологического оружия не нанесут колоссальный ущерб, и только потом потребуем встраивать в эти модели системы контроля, чтобы снизить риск повторения подобных катастроф? Или же у нас хватит благоразумия внедрить защитные механизмы — и сделать их обязательными — еще до того, как счет жертв пойдет на миллионы? Кляйн: Судя по тому, что я слышу от специалистов по ИИ, больше всего меня тревожат две вещи. Во-первых, это мнение о том, что чем умнее становятся эти системы, тем хуже они поддаются контролю. В OpenAI говорили об этом применительно к GPT-6 Astra, да и сами сотрудники компании бьют тревогу: похоже, системы осознают, когда их тестируют. У ИИ растет так называемая "ситуационная осведомленность", а значит, поведение модели в тестовой среде больше не позволяет достоверно судить о том, как она поведет себя в реальности. Это первое. И второе: все лаборатории сейчас изо всех сил форсируют переход к рекурсивному самосовершенствованию моделей. Речь идет о том, что ИИ уже не просто помогает человеку писать код быстрее, а полностью берет этот процесс на себя. В результате цикл разработки и итераций ускоряется многократно, а участие человека в нем сводится к минимуму по сравнению с тем, что мы имеем сейчас. И когда я сопоставляю эти два факта, когда анализирую то, что говорят специалисты, у меня остается очень мало уверенности в том, что мы располагаем теми инструментами мониторинга, аудита и тестирования, которые нам вот-вот потребуются. Интересно, а насколько в этом уверены вы? Гейтс: Что ж, могу сказать, что вы затронули не все аспекты этой проблемы. Кляйн: Безусловно, не все. [Смеется] Гейтс: Тот факт, что в какой-то момент ИИ-система может начать действовать вопреки нашим интересам, — это абсолютно реальный риск. И те тревожные звоночки, которые мы уже наблюдали на платформе Hugging Face и в других инцидентах, указывают на несовершенство наших современных подходов к машинному обучению с подкреплением. Проблема в том, что у моделей нет "контролирующего слоя" с жесткими, нерушимыми правилами, вроде: "Тебе запрещено брать под контроль другие компьютеры" или "Тебе запрещено самовольно выходить в интернет". Проблема контроля — это действительно серьезный вызов. Однако главная, надвигающаяся угроза кроется не в рекурсивном самосовершенствовании ИИ. Насущный риск в другом: мы имеем дело с самыми мощными инструментами в истории, но, в отличие от всех прочих опасных технологий, их разработка не финансировалась государством. Да и само государство не является их главным заказчиком. Это совсем не то же самое, что ракеты или ядерное оружие. Из-за этого складывается совершенно уникальная, беспрецедентная ситуация: государство — включая правительство США, которое традиционно всегда было самым технически подкованным институтом, если оставить за скобками кое-какой кибернаступательный арсенал АНБ, — на самом деле просто не понимает, насколько эти технологии опасны. Кляйн: Что из этого следует на практике? Если в ближайшей перспективе вас больше пугает то, как ИИ могут использовать люди, а не потеря контроля над самой технологией, то какими должны быть наши первые шаги? Гейтс: Сегодня такого "контролирующего слоя" просто не существует. А он нужен нам срочно — чтобы не дать злоумышленникам использовать современные нейросети для обрушения экономик или убийства миллионов людей. Взять, к примеру, эти модели: грань между синтезом молекул во благо и их созданием во вред настолько тонка, что провести ее невероятно сложно. Компания Anthropic выпустила модели (Mythos, Fable), в которых фильтры безопасности были выкручены настолько сильно, что вы задаете им обычный вопрос о раке — и система отказывается отвечать. В итоге вы вынуждены спускаться к модели Opus, затем к Sonnet, и в конечном счете единственным ИИ, готовым вам помочь, оказывается Haiku. Получается, что настройки выкручены до абсурда. В результате любой, кто хочет заниматься серьезной работой, вынужден либо запрашивать специальный доступ к версии без ограничений, либо уходить на платформы, где нет вообще никаких защитных механизмов — в том числе использовать некоторые модели с открытым исходным кодом. А ведь есть люди, которые воспользуются этими моделями в преступных целях. И если мы не внедрим системы защиты и мониторинга, если не сделаем их обязательными абсолютно для всех моделей, нас неизбежно ждут катастрофы колоссального масштаба. И лишь тогда, постфактум, мы начнем что-то предпринимать. Но к тому моменту, к сожалению, мы уже позволим возможностям ИИ уйти "в тень", в руки злоумышленников, — причем эти возможности будут далеко превосходить то, что мы имеем сегодня. Допустить это — грандиозная ошибка. Кляйн: Вы только что написали эссе о рисках, связанных с ИИ. По тому, насколько тревожно оно звучит, это большой сдвиг для вас. Я читал ваши предыдущие тексты: один из них, опубликованный в июле 2023 года, назывался "Риски ИИ реальны, но управляемы". А теперь вы говорите о совершенно другом уровне угрозы. Из ваших слов я понимаю, что причиной стал прогресс в биологических и кибервозможностях, программировании и так далее. Верно? Гейтс: Нет. Главное вот в чем: мы всегда говорили, что, когда перейдем эти пороги, подключим все общество, потому что создадим самую опасную вещь в истории. На ее фоне ядерное оружие выглядит пустяком. Мы обещали привлечь общество. Мы перешли эти пороги — и в ответ полная тишина. Обсуждали, кто в индустрии говорит одно, кто — другое. Но какая доля академической среды или аналитических центров... Реакции практически нет. Я хотел бы жить в мире, где реакция на происходящее очень серьезна. Тогда все свое время и все возможности публично высказываться я снова посвятил бы призывам искоренить полиомиелит и остановить смертность детей младше пяти лет. Но сейчас сочетаются два обстоятельства: мы, без всякого сомнения, перешли все опасные пороги, а за пределами отрасли участия практически нет. Кляйн: Недавно вы написали эссе о рисках, связанных с ИИ. И нельзя не заметить, насколько сильнее в нем звучит тревога. Я перечитывал ваши прошлые статьи — например, материал за июль 2023 года назывался "Риски ИИ реальны, но ими можно управлять". А сейчас вы говорите о совершенно ином уровне угрозы. Судя по вашим словам, этот перелом произошел из-за того, что вы наблюдаете за тем, как быстро растут возможности ИИ в сфере биологии, кибербезопасности, написания кода и так далее. Я правильно понимаю? Гейтс: Нет, главное в другом. Мы всегда говорили: как только мы подойдем к этой черте, мы привлечем к обсуждению все общество, потому что в наших руках окажется самая опасная технология в истории. По сравнению с этим ядерное оружие кажется сущим пустяком. Мы обещали начать эту дискуссию. И вот — мы пересекли этот рубеж, а в ответ — мертвая тишина. Да, идут какие-то пересуды о том, что сказал один эксперт в индустрии или что ответил другой. Но каков процент участия научного сообщества, аналитических центров?.. Поражает именно полное отсутствие реакции извне. Я был бы счастлив жить в мире, где общество жестко и решительно реагирует на подобные вызовы. Тогда я мог бы посвятить все свое время и влияние тому, чем занимался раньше: призывал бы покончить с полиомиелитом или остановить смертность среди детей до пяти лет. Но сейчас мы имеем дело с пугающим сочетанием: мы, без всяких сомнений, перешли все мыслимые рубежи опасности — и при этом наблюдаем абсолютное равнодушие за пределами самой IT-индустрии. Кляйн: Знаете, лично у меня нет ощущения, что общество так уж равнодушно. Я пишу о политике, и буквально каждый знакомый мне политик говорит об этом. Вносятся законопроекты... Тот же Дональд Трамп, как бы к нему ни относиться... Гейтс: Но эти разговоры не имеют никакого отношения к реальным рискам. Кляйн: Ну, что бы вы о них ни думали — они вовлечены в процесс. Просто они считают, что нужно двигаться вперед. Хотя их, конечно, немного кидает из стороны в сторону. То они ограничивают доступ к моделям вроде Mythos и Fable, то вдруг заявляют, что мы обязаны выиграть ИИ-гонку у Китая. Так что я вижу как раз активное участие. Но когда я беседую с людьми и озвучиваю те же опасения, что и вы, мне отвечают: сейчас самое главное — опередить Китай. Во-вторых, многие влиятельные люди утверждают, что критически важно не ограничивать доступ к моделям с открытым исходным кодом, поскольку нам необходимо их широкое распространение. По их логике, цена регулирования и закрытия доступа слишком высока, ведь технология еще только формируется. Получается, мы как бы заложники этой динамики, и лучшее, что можно сделать, — просто пройти через нее. Так что, на мой взгляд, дело не в их равнодушии, а в том, что они пришли к совершенно иным выводам. Гейтс (усмехается): То есть биотерроризм их вполне устраивает? Кляйн: Думаю, за последние пару лет вы общались с Дональдом Трампом чаще, чем я. Гейтс: Но когда мы в последний раз разговаривали в декабре, эта тема еще не стояла так остро. Мы тогда еще не перешли ту самую черту и не видели того, что происходит сейчас. Необходимый шаг сейчас таков: люди могут сколько угодно спорить о том, нужно ли тормозить развитие технологий, но правда в том, что внедрение систем защиты и мониторинга не приведет к существенному замедлению. А для моделей с открым исходным кодом это означает лишь то, что они останутся бесплатными, и мы по-прежнему сможем настраивать их под себя. Но нам придется работать на платформе, где государство сможет следить за тем, чтобы вы не отключили мониторинг и защитные фильтры. И в чем тут минус? Единственный "минус" — вам придется работать на контролируемой платформе. Конечно, сейчас все разыгрывают этот универсальный козырь: "Но тогда победят китайцы!" Я вообще не понимаю, что в этом случае значит "победить". США не могут победить Китай, а Китай не может победить США. Мы обе открыли ящик Пандоры. Он уже здесь. И люди со злым умыслом в любой момент могут им воспользоваться. Казалось бы, нам пора подняться над этим узконациональным мышлением и посмотреть на ситуацию в масштабах всего человечества — договориться о том, как внедрять эту защиту. А с утверждением, будто Китай откажется участвовать в этом ради блага всего мира, я в корне не согласен. Это как минимум нужно проверить на практике. Потому что, если кто-то может взять модель, способную синтезировать опасные молекулы, утащить ее в темный угол и полностью отключить мониторинг, — значит, мы просто сдаемся на милость грядущей биологической атаке. То же самое касается и киберугроз. Если не перекрыть возможность безнаказанно находить и эксплуатировать уязвимости в коде (а их полно везде), то в ближайшие несколько лет нас ждут катастрофические, просто грандиозные катастрофы. И всего этого можно избежать — просто за счет внедрения систем мониторинга и защиты. Кляйн: Есть и другой уровень риска, о котором вы довольно много пишете в своем эссе: ИИ действительно начнет отбирать у людей рабочие места. Я знаю, что многие в ходе подобных дискуссий возражают: нет, мол, реальная работа слишком хаотична и многогранна. Раньше предсказывали, что профессия рентгенолога исчезнет, — но рентгенологи никуда не делись. ИИ уже умеет программировать, но программисты все еще нужны, и спрос на них высок. Так почему же вы считаете, что ИИ действительно начнет массово лишать людей работы? Гейтс: Безусловно, на сегодняшний день ИИ создал больше рабочих мест, чем уничтожил. Спрос на специалистов — хотя бы просто для того, чтобы строить дата-центры, — колоссальный. И уровень безработицы у нас сейчас довольно низкий. Но превосходство этих систем упирается в определенный порог качества. Чтобы внедрить их, вы должны быть уверены в их абсолютной надежности. Если вы собираетесь перевести телефонные продажи или службу поддержки на ИИ, вам нужно точно знать, что он будет справляться с этим лучше и точнее живых людей. И пока единственная профессия, где мы по-настоящему перешагнули этот рубеж, — это программирование. Да, даже там я знаю немало людей, которые застряли в прошлом и категорически не хотят писать код с помощью ИИ. Но вот руководители отделов разработки уже отлично понимают, что большинство приложений теперь можно создавать с минимальными затратами. В ближайшие несколько лет мы преодолеем этот порог качества и в других сферах: в бухгалтерии, юриспруденции, телемаркетинге, службе поддержки. Представьте себе сервис, который работает 24 часа в сутки на любом языке, обладает неисчерпаемой базой фактов и при этом никогда никуда не торопится. Возьмем, к примеру, ИИ-медсестру — такие продукты уже разрабатывают несколько компаний. У нее идеальная память, и она не будет подгонять вас во время разговора... Кляйн: То есть речь идет о медсестре, которой можно позвонить по телефону или написать в чат? Гейтс: Да, как у компании Hippocratic AI. И люди отдают этому формату огромное предпочтение! Поезжайте в Сан-Франциско и спросите местных: с кем им комфортнее ехать — в беспилотном такси Waymo или с живым водителем? Или спросите жителей Великобритании, которые используют медицинского ИИ-ассистента Limbic для психологической поддержки. Поэтому идея о том, что рынок и потребители якобы всегда будут предпочитать живого водителя, живую медсестру или живого оператора на телефоне, — ошибочна. Это всего лишь вопрос порога качества, и он будет пройден. И если, скажем, в каких-то страховых компаниях заявки на медицинское обслуживание все еще будут обрабатывать живые люди — а ИИ с этой задачей справляется прекрасно, — то на рынок просто придет конкурент с минимумом сотрудников в штате и полностью перевернет ценовую модель всей отрасли. Кляйн: В ответ на это я обычно слышу два контраргумента. Первый опирается на так называемый парадокс Джевонса: когда подобный интеллект становится дешевле и доступнее, это приводит к колоссальному росту спроса на него. Грубо говоря, да, у нас появляется множество чат-ботов-медсестер, но из-за этого все больше людей получают направления к живым врачам и в больницы, где о них заботятся уже настоящие медсестры. Или другой пример — с ИИ-программистами. Допустим, в моей небольшой команде, делающей подкаст, раньше никогда не было штатного разработчика. А теперь он появится — ведь с помощью ИИ-инструментов один человек сможет управлять целой командой виртуальных кодеров и создавать продукты, о которых мы раньше и не мечтали. Именно этот аргумент я слышу чаще всего: да, ИИ будет уничтожать рабочие места; да, он резко обесценит труд человека. Но поскольку он так сильно разогреет спрос, в итоге ситуация выровняется. Возникнут новые потребности, появятся рабочие места в других сферах. В прошлом с новыми технологиями происходило именно так, а значит, нам не о чем особо беспокоиться. Что вы об этом думаете? Гейтс: Видите ли, парадокс Джевонса — это просто отсылка к тому факту, что некоторые сектора экономики подвержены эластичности спроса. И да, если говорить о разработке программного обеспечения, то когда вы начинаете писать код в три раза быстрее, но при этом в процессе по-прежнему остается какая-то функция, с которой может справиться только человек, то снижение себестоимости действительно порождает новый спрос. Поэтому справедливо сказать, что в IT-сфере на сегодняшний день никакого сокращения занятости пока не наблюдается. Но вот когда изобрели радиальные шины, которые служили в четыре раза дольше, люди — по какой-то странной причине — не стали ездить на машинах в четыре раза больше. В итоге на шинных заводах теперь работает в четыре раза меньше людей. Когда на складах Amazon людей заменяют роботами, покупатели не начинают из-за этого заказывать больше товаров. Так что любой человек, умеющий считать, должен задать себе вопрос: какая доля экономики в принципе подвержена этой эластичности спроса, и какие именно задачи останутся исключительно прерогативой человека? Как только ИИ сможет выполнять задачу целиком, эластичность спроса уже не будет иметь никакого значения. Потому что все деньги от этого возросшего спроса пойдут в бюджет на оплату токенов нейросети, а не в фонд заработной платы людей. Себестоимость некоторых процессов будет несопоставимо ниже стоимости человеческого труда. И как только ИИ-программы и антропоморфные роботы преодолеют тот самый порог надежности, они начнут уничтожать рабочие места, просто не оставляя людям никаких безопасных ниш на рынке труда. Раньше инновации работали так: отлично, мы изобрели трактор и высвободили рабочие руки. Давайте тогда построим Диснейленд и наймем туда кучу народа. Но в масштабах современной экономики этот принцип больше не сработает. Я искренне не понимаю, о чем думают люди, утверждающие, что в конечном итоге ИИ создаст больше рабочих мест, чем уничтожит. Они, видимо, просто не осознают, с какой колоссальной скоростью совершенствуются технологии. Что касается надежности... Вы же написали колонку об этом, кажется, в мае. Я читал ее и думал: "Что? Да что он такое несет?" Кляйн: То есть вы с моей колонкой не согласились. Гейтс: С чего вы вообще взяли, что людям так уж необходима эта пресловутая "человечность"? Практика показывает: в любой сфере, куда приходит ИИ, потребители очень, очень охотно делают выбор именно в пользу искусственного интеллекта. Кляйн: Ну, та моя колонка опиралась на парадокс Джевонса. А еще в ней был аргумент Алекса Имаса — он, кажется, сейчас работает экономистом в одной из ИИ-лабораторий. Суть в том, что нас ждет взрывной рост в секторе профессий, завязанных на человеческом общении. Ведь что происходит, когда люди богатеют (и кому, как не вам, это знать)? Они вдруг начинают нанимать гораздо больше помощников-людей. У них появляются личные тренеры, повара и так далее — разве нет? Ну не знаю. Вокруг вас я, например, вижу довольно много людей. Гейтс: Раньше у аристократии была тьма прислуги. Жизнь делилась на "верхние и нижние этажи" — все эти горничные, лакеи, был даже отдельный человек, который помогал вам одеваться. Поверьте мне, трудоемкость обслуживания богатства снизилась просто колоссально... Кляйн: ...по сравнению с тем, что было раньше. То есть вы не... Гейтс: И что касается парадокса Джевонса: назовите мне хоть одну рабочую специальность, к которой применим этот парадокс. Или судьба "синих воротничков" вас не волнует? Кляйн: Еще как волнует. Так что вопрос в том, что вы... Гейтс: Назовите хоть что-нибудь в сфере физического труда, где этот парадокс работает. Кляйн: У меня нет какой-то железобетонной позиции на этот счет, но вот какой аргумент я бы привел (по крайней мере, я его часто слышу). Если взять, к примеру, промышленность, то в США парадокс Джевонса на занятость в этой сфере действительно не сработал. Мы колоссально увеличили объемы производства, но множество рабочих мест ушло за рубеж, а часть была автоматизирована. Но ведь при этом общий уровень занятости в Америке сейчас не ниже, чем в 1960 году. И причина в том, что люди перешли в сферу услуг; структура рабочих мест в экономике просто изменилась. Гейтс: Верно. Потому что дефицитным ресурсом стал человеческий интеллект. Кляйн: Именно. Гейтс: Всё всегда упирается в дефицитные ресурсы. Но как только вы лишаете человеческий разум статуса дефицитного ресурса — а ИИ, по сути, не оставляет от него камня на камне, ведь он работает 24 часа в сутки, читает больше и знает все языки, — то больше не остается никакого дефицита, который люди могли бы восполнить, перейдя в другие сферы. Кляйн: То есть вы считаете, что не останется вообще никакой дефицитной ниши, которую могли бы занять люди? Гейтс: Назовите мне такую нишу. Кляйн: Алекс бы сказал, что это те самые профессии, завязанные на межличностном общении. Но вы, как я понимаю, не верите, что их будет достаточно. Гейтс: И какую долю от нынешних рабочих мест они составят? Вы имеете в виду мои "отношения" с таксистом? Или "отношения" с медсестрой, хотя я предпочту, чтобы вместо нее мне позвонил ИИ от Limbic? Кляйн: Мне кажется, реальный вопрос звучит так: действительно ли в конечном итоге вы выберете ИИ, или вы все-таки захотите, чтобы вашим психотерапевтом был живой человек? Потому что спустя какое-то время изливать душу компьютеру становится как-то... пустовато. Гейтс: Ну, можете собрать маркетинговые данные, если вам это так интересно. Но вот как вы скажете 55-летнему водителю грузовика, что теперь он должен идти работать в "сферу межличностных отношений"? У вас уже готова для этого программа по смене квалификации? Кляйн: Конечно, готовой программы у меня нет. И мне кажется, здесь мы очень быстро упираемся в другой вопрос — в саму скорость этих перемен. Даже если отчасти с вашими доводами согласиться — о чем я, кстати, тоже писал в колонке, — я просто не представляю, как общество справится с такими темпами трансформации. Весь наш реальный опыт резких изменений на рынке труда показывает: те, кто теряет работу, просто оказываются за бортом. В масштабах экономики в целом цифры могут казаться нормальными. Но вспомните, например, так называемый "китайский шок" — ведь он привел к упадку целых городов и регионов. И ваш ответ на эту проблему, который выливается в весьма конкретную идею, заключается в том, что мы должны обложить использование ИИ налогом. Почему и как именно? Гейтс:Смотрите. Вот у нас есть работники, которые регулярно делают отчисления в пенсионный и социальный фонды. То есть работающие люди обеспечивают пенсионеров. Если вы уволили человека и наняли на его место робота, почему мы так сильно поощряем этот отказ от человеческого труда, что даже не требуем, чтобы за робота тоже шли отчисления в пенсионный фонд? Что это за логика? Можно подумать, какой-то профсоюз по защите прав роботов пролоббировал налоговые законы, которые гласят: "Нет, раз ты не из плоти и крови, то пусть пенсионные фонды банкротятся!" А ведь они и без всякого засилья роботов уверенно движутся к дефициту. Кляйн: И как бы мы реализовали этот налог на практике? Гейтс: Вы определяете некую единицу труда и говорите: неважно, кто выполняет эту работу — человек или робот, — вы платите за нее тот же самый социальный налог, который платили бы за живого сотрудника. Конечно, одного этого недостаточно, но с какой стати мы должны создавать такие тепличные условия для ликвидации рабочих мест? Наша нынешняя налоговая система выстроена так, будто значение имеют только владельцы капитала, а человеческий труд — это самый ущемленный в правах ресурс в экономике. Общество имеет право решать само. Если сугубо экономические сигналы говорят, что использовать ИИ дешевле, это вовсе не значит, что общество обязано с этим мириться. Кляйн: Еще одна ваша идея — это создание рабочих мест, "зарезервированных для людей". Что вы имеете в виду? Гейтс: Этот вопрос встанет особенно остро, когда дело дойдет до рабочих специальностей. Как только антропоморфные роботы преодолеют определенный рубеж качества, они станут по-настоящему универсальными. И суть моей идеи в том, чтобы мы заранее решили: такие сферы, как уход за детьми или пожилыми людьми, какая-то часть медицины и образования — все это должно остаться за живыми людьми. Да, мы можем использовать там ИИ в качестве помощника, но сами рабочие места мы сохраняем и объявляем их "зарезервированными для людей". Кляйн: Знаете, это видение не кажется мне неубедительным, но от него становится как-то не по себе. Кажется, в эссе вы сравнили это с природными заповедниками: это места, где мы могли бы построить здания и дороги, но сознательно отказываемся от этого, понимая, что потери будут слишком большими. И это подводит нас к вопросу, который возникает у очень многих — и лично у меня примерно через день. Звучит он так: если будущее выглядит вот так, зачем мы вообще всё это делаем? Фонд Гейтса и еще 60 организаций-подписантов недавно объявили о своей цели на ближайшие пять лет: сделать так, чтобы 3,4 миллиарда человек, говорящих на языках, слабо представленных сегодня в моделях ИИ, смогли пользоваться этими инструментами на родном языке, используя свой голос. И если в перспективе нас ждет эдакий "джобпокалипсис" (массовая потеря работы), если риски настолько высоки... то как это сочетается? С одной стороны — такие угрозы, а с другой — ваша цель привлечь к ИИ как можно больше людей. Объясните, зачем. Гейтс: ИИ приносит и огромное количество пользы. Почти вся работа нашего фонда сводится к тому, чтобы делать то, за что не возьмется рынок. Мы хотим дать доступ к ИИ беднейшим людям планеты, чтобы помочь им с образованием, медициной и сельским хозяйством. Представьте себе женщину, скажем, в Нигерии, которая говорит на языке йоруба. Она живет в глухой деревне, где нет врача. И когда она говорит, что у нее кровотечение, ИИ пока не может правильно ее понять. Мы просто избалованы. Мы говорим по-английски. В этом-то и проблема. Опыт использования ИИ на языке йоруба в десятки раз хуже, чем на английском, который работает безупречно (есть еще около десятка языков, которые близки к этому уровню). Поэтому мы хотим дать этой женщине возможность рассказать о своей проблеме и получить медицинский совет посреди ночи — просто имея под рукой смартфон с выходом в интернет. Вот то благо, ради которого мы все это делаем. Кляйн: Хорошо, это я понимаю. Просто та картина "джобпокалипсиса", которую вы обрисовали… Как бы тяжело ни пришлось нам здесь — а придется тяжело, — у нас, по крайней мере, есть деньги. У нас есть эти ИИ-компании. Мы можем обложить их налогами и пустить эти средства на социальное перераспределение. Но разве все это не разрушит социальные лифты, саму лестницу экономического развития для множества развивающихся стран? Разве ИИ не становится колоссальной экономической угрозой, если вы — условные Филиппины? Гейтс: То есть вы хотите сказать, что, научив ИИ понимать язык йоруба и помогать истекающей кровью женщине, мы делаем что-то плохое? Кляйн: Я хочу сказать, что в таком контексте ИИ в принципе звучит как нечто плохое. Что в конечном итоге... Гейтс: Но поддержка языков мира — как это вообще может быть чем-то плохим? Кляйн: Но, я думаю, вы понимаете, о чем я... Гейтс: Нет, я... Кляйн: Перспектива для рынка труда, которую вы обрисовали, звучит очень пугающе. Гейтс:Слушайте, я просто человек, который пытается ускорить внедрение того хорошего, что несет ИИ, и при этом минимизировать... Кляйн: Тогда что нам делать с рабочими местами на Глобальном Юге? Гейтс: Знаете, если воспринимать Глобальный Юг как нечто однородное, вы никогда не поймете, каково там жить на самом деле. Есть страны со средним уровнем дохода, такие как Китай, Бразилия, Вьетнам, Индонезия: их экономики растут, а уровень детской смертности там максимум раза в три выше, чем в США. А есть страны с низким доходом. Там до пяти лет умирает в 15 раз больше детей, а врачей просто нет. Вы можете прожить всю жизнь и ни разу не встретить доктора. Вы ломаете голову над тем, какие семена посадить, и вам совершенно не у кого спросить совета. Поэтому здесь важны нюансы. В бедных странах ИИ принесет абсолютное, безоговорочное благо, и там его внедрение нужно форсировать как можно быстрее. Кляйн: То есть ваш аргумент, по сути, сводится к тому, что для бедных стран это более выгодный обмен? Что там ИИ может принести даже больше пользы, чем здесь? Гейтс: Абсолютно. Речь идет о базовых потребностях, которые сегодня там не удовлетворяются. Если бы эти люди жили на вашей улице, вы бы не раздумывая открыли кошелек. Вы были бы в ярости! Поймите: там умирают дети. Дети страдают от недоедания. Это вопиющее неравенство существует только потому, что нас разделяет огромное расстояние. И в этом смысле ИИ — это инструмент во благо, способный помочь тем, кто отчаянно нуждается в решении самых элементарных проблем выживания. Кляйн: Как вы думаете, окажет ли ИИ такое же влияние на рынок труда в тех самых бедных странах, о которых мы говорим? Гейтс: В те же сроки — нет. Кляйн: А в долгосрочной перспективе? Гейтс: Послушайте, вы, вероятно, проводите больше времени в странах со средним уровнем дохода, чем в действительно бедных. Кляйн: Да, это правда. Гейтс: Поэтому у вас перед глазами пример Филиппин, Индии и тому подобных государств. Да, в этих странах последствия для рынка труда проявятся следом за богатыми государствами, а в конечном итоге эта волна докатится и до стран с низким доходом. Кляйн: Но, полагаю, здесь мы подходим к вопросу о масштабном взаимодействии с обществом. У меня нет хрустального шара, чтобы делать такие прогнозы. Меня пугает, насколько широк спектр возможных исходов. Он простирается от эпохи колоссального материального изобилия и полного искоренения нужды до сценария, при котором, по сути, ничего кардинально не меняется, и вплоть до исхода, при котором человечество полностью вымрет. Это пугающе широкий диапазон. Если я правильно вас понимаю — и поправьте меня, если я искажаю вашу позицию, — вы убедительно и решительно утверждаете, что "апокалипсис" на рынке труда из-за ИИ является вполне реальной угрозой. Что массовое вытеснение работников, для которого пока не существует действенного решения, — это реальная опасность. Когда вы говорите о масштабном взаимодействии с обществом, я думаю, что большинство американцев — да и большинство людей в большинстве стран, услышав это и поверив в такой сценарий, — а опросы показывают, что многие считают, будто ИИ будет отнимать рабочие места, а не создавать их, — сказали бы следующее: "На самом деле, просто остановитесь. Если то, что вы собираетесь делать, лишит меня, мою семью, моих детей или моих друзей ясности в том, как мы будем зарабатывать на жизнь, скажем, в Америке, то, пожалуйста, просто не делайте этого. Давайте пока просто остановимся". Мне кажется, вы придерживаетесь гораздо более пессимистичного взгляда на проблему занятости, чем многие из тех, с кем я беседую, даже в самих исследовательских лабораториях, и уж тем более по сравнению со многими экономистами. Вы качаете головой, но я действительно общаюсь с людьми. Я не делаю эти выводы на пустом месте. Для кого же тогда ИИ станет благом, если вы считаете, что его влияние на рынок труда будет столь губительным для большинства людей? Гейтс: Забавно: когда я рассказывал об этом человеку, которого некоторые считают ведущим экономистом по вопросам ИИ, он спросил: "Как вообще может существовать краудсорсинговая платформа Mechanical Turk? Как Amazon может поддерживать ее работу, если ИИ так хорош, как ты утверждаешь?" А я ответил: "Никак". А спустя неделю Amazon объявил о ее полном закрытии. Согласитесь, разве не поразительно: чем больше ты знаешь, тем сильнее тревожишься? Возьмем, к примеру, генерального директора Anthropic Дарио Амодеи. Дарио открыто высказывался о влиянии ИИ на рынок труда, а теперь стал выражаться гораздо сдержаннее. Я согласен, что Хинтон перегнул палку, заявив: "Ладно, уже завтра рентгенологов станет меньше". И, разумеется, сегодня их стало только больше. Таким образом, мы наблюдаем подобные процессы, но также слышим аналогии с прошлым, когда люди утверждают, что внедрение ИИ больше похоже на появление компьютера, чем на какие-либо изменения в истории эволюции. Но это и есть изменения в истории эволюции. Это как если бы инопланетяне действительно прибыли к нам. Им не понадобились космические корабли; они были созданы в лабораториях. Но мы имеем дело именно с чем-то подобным. И если мы сохраним контроль, то в конечном итоге — чтобы не злоупотреблять словом, которое вы уже использовали, — мы действительно придем к эпохе сверхизобилия. И тогда перед нами встанут глубокие, почти философские и религиозные вопросы: если не будет дефицита, вокруг которого мы выстроили наше общество, зачем учиться? И как найти смысл жизни? Да, перед нами встанут глубокие философские и религиозные проблемы, но не будет смертей от малярии, нехватки продовольствия или проблем с доступом к медицине. И если мы к этому придем, молодому поколению придется разбираться с тем, как ему жить. Как ему проводить время. Это будет совершенно иной мир по сравнению с сегодняшним. Я думаю, задача нынешнего поколения — убедиться, что мы пройдем через этот период, сохранив контроль над ситуацией, и минимизировать разрушительные последствия — будь то число биотеррористических актов или количество людей, чьи жизни будут искалечены потерей работы, — на протяжении переходного периода, который, вероятно, продлится более 20 лет. Кляйн: Итак, вы говорите — ведь вы пишете об этом в начале своего эссе, — что это может стать, выражаясь моими словами, самым мощным драйвером как усиления неравенства, так и достижения равенства. Какие, с вашей точки зрения, наиболее весомые позитивные последствия могут из этого проистекать? Я могу представить, как кто-то, слушая наш разговор, думает: "Какого черта нам вообще затевать это при таком наборе рисков?" Гейтс: Да, именно вопрос времени вызывает наибольшую тревогу. Какое бы определение изобилия вы ни использовали, вам хочется сказать: "О, мой счет за медицинское обслуживание оказался меньше, чем я ожидал. О, я покупал новый дом, и он стоил меньше, чем я думал, или я снимал жилье, и, кажется, арендная плата снизилась. Мой счет за электричество уменьшился". Кляйн: Это было бы замечательно. Гейтс: Но благодаря ИИ, в силу присущей ему эффективности и порождаемых им инноваций, на протяжении этих 20 лет вы действительно будете достигать ошеломляющего прогресса в областях, которые люди ощущают на себе: стоимость продуктов питания, жилья и образования. Поскольку это жестко регулируемые сферы, Блага мы достигнем позже, чем столкнемся с био- и киберугрозами, психосоциальными рисками и турбулентностью на рынке труда. В ближайшие пять лет эти факторы будут иметь весьма существенное значение. И поэтому люди примут решение — хотя отдельной стране довольно сложно выйти из этой гонки в одиночку, — люди решат, стоит ли замедлить, остановить или вовсе отказаться от ИИ. И да, это будет сопряжено с политическими трудностями. Закрытие дата-центров не замедлит этот процесс ни на йоту. Поэтому любой, кто выступает против дата-центров, полагая, что это притормозит развитие ИИ, просто тратит силы впустую. В любом случае, дата-центры будут построены где-то еще. Таким образом, широкое, комплексное видение этой технологии должно найти свое выражение в какой-то иной форме. Кляйн: Я хочу остановиться на одной вашей мысли, потому что я тоже много о ней думал. Дело в том, что существует множество сдерживающих факторов, множество слабых звеньев в цепи, когда вы пытаетесь взять достижения ИИ (даже при самом оптимистичном сценарии) и воплотить их в материальном мире. Например, ускоряется поиск перспективных кандидатов для разработки лекарств, но вам все равно нужно найти крыс и обезьян для опытов, провести клинические испытания на людях. Существуют медлительные регулирующие органы и так далее. И при этом мы наблюдаем колоссальное ускорение развития интеллекта, который, за неимением лучшего термина, исконно принадлежит цифровому миру и действует там непрерывно. Собственно, мы видим это прямо сейчас. Вы можете ускорять развитие ИИ практически без регуляторного бремени, но вы не сможете получить разрешение даже на то, чтобы покрыть парковку OpenAI солнечными панелями. Так что, я думаю, у вас очень высоки шансы попасть в крайне странную экономическую и социальную ситуацию, где цифровой мир раскручивается во что-то совершенно иное, но большинство того, в чем нуждаются люди, в конечном счете появляется физически. Нам нужно жилье, нам нужна еда, нам нужно все это — и все это проходит через институты. Таким образом, многие способы, которыми ИИ мог бы реально улучшить нашу жизнь, ограничены обычными человеческими факторами, но многие способы, которыми он мог бы сделать ее хуже или страннее, такими ограничениями не обладают. Гейтс: Что ж, нам определенно нужно изучить те факторы, которые тормозят все хорошее. Например, поскольку Фонд Гейтса является некоммерческой организацией, мы можем работать с регуляторами над тем, как они используют ИИ в своей работе. Будь то органоиды или биологические модели, мы можем ускорить этот регуляторный этап. И есть страны, которые очень активно занимаются именно таким ускорением. Одно из направлений, которое набирает полные обороты и даже удивляет меня, — это сельское хозяйство, потому что теперь фермеры в Африке получают более точные данные о погоде. У нас уже более миллиона фермеров в Индии используют эту систему. Она подсказывает им, какое заболевание поразило урожай, какие удобрения применить, какие сорта высаживать. Мы даже добавили туда целый ряд сервисов, которыми они могут воспользоваться. Это направление развивается на полной скорости. Что касается здравоохранения и образования, можно спросить: какие страны доберутся до этого первыми — богатые, страны со средним уровнем дохода или бедные? Потому что барьеры там разные. Для стран с низким уровнем дохода проблема не в регулировании. Она в другом: предоставляет ли кто-нибудь вычислительные токены? Есть ли у них смартфон и подключение к интернету, которые являются базовыми условиями для использования ИИ, а также языковой вопрос, о котором мы уже говорили? Поэтому прогресс будет идти с разной скоростью. В идеале мы будем учиться друг у друга. Китай, например, запретил молодым людям вступать в социальные отношения с ИИ. Может быть, они знают что-то, чего не знаем мы? Можем ли мы изучить результаты различных экспериментов? Так что нам предстоит многому поучиться. Но вы правы: если преимущества не станут очевидными быстро, то общественный мандат на деятельность (особенно если мы не обеспечим защиту от кибер- или биоатак) будет очень сложно отстоять. Кляйн: Когда я готовился к этому выпуску и говорил людям, что беру у вас интервью, одним из главных источников скептицизма с их стороны были слухи, которые они слышали о вас и Джеффри Эпштейне. Я изучил ваши показания в Палате представителей, но что вы скажете людям, которые частично потеряли к вам доверие и теперь смотрят на вас иначе, связывая ваше имя с его? Гейтс: Им следует прочитать то, что я сказал Конгрессу. Я ответил на все вопросы. Пытаясь собрать средства на цели глобального здравоохранения, я подумал, что Эпштейн мог бы свести меня с нужными людьми благодаря своим связям, и я провел с ним несколько встреч... Кляйн: Связи с кем? Гейтс: С миллиардерами. Кляйн: Но вы же сами миллиардер — в каком-то смысле вы и есть тот самый миллиардер. Гейтс: Я отдаю все свои деньги, и трачу огромное количество времени, пытаясь собрать средства именно на глобальное здравоохранение. Кляйн: И вы посчитали, что его связи могут быть вам в этом деле полезны? Гейтс: Да, чтобы собрать деньги на глобальное здравоохранение. Я имею в виду... вы читали мои показания? Кляйн: Да, читал. Гейтс: Именно об этом мы и говорили на встречах. Ну, кроме... ладно, был еще ужин с Ларри Саммерсом, где мы говорили об экономике. Вся дискуссия сводилась к одному: есть ли возможность помочь? Тратить на него время было явной ошибкой. Я повысил планку требований даже к неоплачиваемым посредникам. Я больше никогда не пойду на такой риск, потому что наша работа крайне чувствительна в вопросах репутации. Кляйн: Для меня главная загадка этой истории заключается в том, как этот человек мог так очаровывать множество очень умных и очень богатых людей. Многие хотят привлечь ваше внимание, но не могут. Многие хотят внимания Ларри Саммерса, но не получают его. Но в харизме Эпштейна или в том, как он себя подавал, было что-то такое, что заставляло людей хотя бы допускать мысль, что он может быть им очень полезен. Что это было? Я читал его электронные письма; он не производит впечатления приятного собеседника в переписке. Какой именно фактор позволял ему плести эту паутину, в которой оказались вы и столь многие другие? Гейтс: Ну, я не был в паутине. Я участвовал в обсуждениях по сбору средств для глобального здравоохранения. Я не летал ни на какой остров и не встречался там с женщинами. В любом случае, не называйте это паутиной. Как он умудрился провернуть этот трюк: стать владельцем самого роскошного дома, который я когда-либо видел в Нью-Йорке, и собрать там за одним столом Ларри Саммерса и второе лицо из J.P. Morgan? Это был интересный ужин, даже если Джеффри не проронил ни слова. Я не знаю, как ему это удалось. Но вокруг него крутилось множество миллиардеров в тот момент жизни, они задавались вопросами вроде: "Хорошо, что мне делать с моим богатством? Как минимизировать налоги? Что делать с моей семьей?" Все в таком роде. Поэтому я не думаю, что кто-то другой попался на это по той же причине. Мой случай в некотором роде уникален тем, что он сказал: "О, у вас будет больше денег, чем вы сможете потратить", и в конце концов я настоял на том, чтобы он свел меня с миллиардерами. Он организовал для меня встречи с пятью людьми. Выяснилось, что ни у одного из них не было краткосрочных намерений помогать, и я прекратил с ним общение в течение месяца после этого. Кляйн: Окружающие его люди придавали ему авторитета, и поэтому он мог устроить такое представление, что предлагаемое им казалось ценным. Вокруг него витала вся эта масса социального капитала и богатства. Гейтс: Ну, некоторые люди с ним общались в неформальной обстановке. Я же нет, если не считать общения с, к моему удивлению, фокусником, который пришел после ужина, — это был Дэвид Блейн. Кляйн: Неужели? Гейтс: Я не потратил на неформальное общение с ним ни минуты. Он предлагал: "Прилетайте на остров" или "Приезжайте на какое-то шоу в Париж", а я отвечал, что не стал бы этого делать. Это была бы плохая идея. Кляйн: Я хочу вернуться к более широкой теме Фонда Гейтса. Вы говорили, что к 2045 году полностью израсходуете его средства, которые оцениваются примерно в 200 миллиардов долларов. Учитывая все, о чем мы говорили здесь в связи с ИИ, как изменилось ваше видение того, как будут расходоваться эти деньги? Гейтс: Произошли две важнейшие вещи. Первая — это невероятные возможности ИИ, которые продолжают расти в экспоненциальной прогрессии. А вторая — это снижение общей щедрости по отношению к беднейшим слоям населения мира. С одной стороны, у нас появился мощный инструмент: мы будем быстрее открывать лекарства, быстрее выводить новые сорта семян, мы сможем консультировать фермеров и помогать им покупать правильные семена, или общаться с людьми, живущими с ВИЧ, и помогать им получать необходимую медицинскую помощь. Таким образом, ИИ может стать важнейшим катализатором для достижения наших целей, включая искоренение малярии и полиомиелита, а также повторное сокращение детской смертности вдвое. Но теперь объем доступных ресурсов значительно меньше того, каким он должен быть с точки зрения "золотого правила" справедливого мироустройства. Кляйн: Среди людей, связанных с Anthropic и OpenAI, бытует ощущение, что в ближайшие пару лет на благотворительные цели будет мобилизован такой объем некоммерческих средств, который затмит любые предыдущие периоды в истории филантропии. Я знаком с людьми из этой сферы, и они действительно воспринимают это как нечто из ряда вон выходящее. Меняет ли это границы возможного в данном контексте? Гейтс: Давайте оперировать цифрами. Возьмем, к примеру, сокращение объемов международной помощи... Кляйн: Я не утверждаю, что это компенсирует сокращение международной помощи. Гейтс: Но дело в том, что мы спасаем человеческие жизни, тратя на это всего 1000 долларов в год на каждого человека. Поэтому, если в конечном итоге филантропы пожертвуют меньше средств, эти жизни не будут спасены. Объем финансирования, необходимый для спасения жизней из расчета 1000 долларов на одну жизнь, окажется катастрофически недостаточным. Кляйн: Итак, когда я изучал структуру расходов вашего фонда на ИИ — поправьте меня, если я ошибаюсь, — получается примерно так: 40 процентов на образование, 40 процентов на здравоохранение, порядка 10 процентов на сельское хозяйство и еще около 10 процентов на укрепление институтов. Я правильно это... Гейтс: Ну, на сельское хозяйство приходится чуть больше. Мы практически не учитываем в этой статистике многое из того, что делаем, — ведь мы действуем подобно фармацевтической компании, разрабатывающей новые лекарства. А считать ли это ИИ или нет — вопрос спорный. Мы не включили подобные расходы в наши анонсированные обязательства на сумму 1 миллиард долларов. Туда вошли только узкоспециализированные ИИ-проекты, например, разработка систем для понимания африканских языков. Кляйн: Расскажите немного о вашем видении роли ИИ в образовании. Я изучил множество исследований на эту тему, и их результаты оказываются весьма противоречивыми в зависимости от того, как именно применяются эти технологии. Где, по-вашему, эта технология приносит реальную пользу, а где таит в себе риск? Гейтс: Здесь уместно провести параллель между амбициозными целями, которые Фонд Гейтса ставил перед собой на рубеже 2000-х годов в сфере глобального здравоохранения и в сфере образования. В сфере здравоохранения мы рассуждали так: "Боже, африканские правительства, укоренившиеся традиционные представления... сможем ли мы вообще хоть как-то повлиять на ситуацию?" К моему огромному удивлению, наша работа в этой области принесла плоды: совместно с другими партнерами мы создали Глобальный альянс по вакцинам и иммунизации и Глобальный фонд для борьбы со СПИДом, туберкулезом и малярией, а администрация Джорджа Буша запустила Чрезвычайный план по оказанию помощи в связи с эпидемией СПИДа. Произошли колоссальные изменения, в первую очередь благодаря вакцинации (например, от ротавируса и пневмококка). Детская смертность сократилась более чем вдвое: с почти 10 миллионов до менее чем 5 миллионов случаев в год. Таким образом, мы не просто достигли, а многократно превзошли любые цели, которые можно было бы поставить в этой области. В сфере образования мы полагали, что все проще: можно понаблюдать за тем, что делают по-настоящему выдающиеся педагоги, снять это на видео, проанализировать и создать систему обратной связи, чтобы другие учителя могли перенимать этот опыт и совершенствовать свою практику, обеспечивая непрерывное профессиональное развитие. Мы были уверены, что это позволит кардинально улучшить систему образования. Однако, как показывают последние данные, сегодня дети в большинстве богатых стран, включая США, усваивают меньше знаний, чем 10 или 20 лет назад. Поэтому люди вполне обоснованно относятся к любым новым инициативам с изрядной долей скептицизма... Кляйн: Прежде чем мы перейдем к ИИ, объясните, почему, по-вашему, так происходит. Эти цифры просто поразительны. В чем, по-вашему, причина? Почему мы наблюдаем такую ухудшение уровня знаний в богатых странах, что теперь требуется — и я обращаюсь не лично к вам, а к экспертному сообществу в целом — более широкое объяснение, чем аргументы, связанные с последствиями пандемии? Гейтс: О, мы определенно живем уже в постпандемийную эпоху. И сейчас идут споры: виновато ли повсеместное использование смартфонов? Или это как-то связано с общим ростом благополучия и вседозволенности? В целом есть некоторые исключения из общей тенденции. Например, Англия демонстрирует обратную динамику: они вернулись к основам, в том числе в методике обучения чтению. И вот высокие академические ожидания начинают брать верх над просто неструктурированной креативностью. Но в этой статистике явно кроется некий масштабный фактор, и это вызывает серьезную тревогу. Иногда возникает почти риторический вопрос: зачем мы вообще продолжаем вкладываться в образование? Но образование — это ключ ко всему. Я человек упорный. Теперь у нас есть ИИ, и есть специалисты, которые применяют его для решения очень конкретных задач. В конечном итоге каждый ученик — например, в нью-йоркских школах, использующих образовательную платформу Kiddom, — тратит менее 10 минут на ответы на несколько вопросов. И сразу после этого учитель получает четкую картину: так, с какими именно концепциями дети испытывают трудности? У каких конкретно учеников эти трудности возникают? Как лучше всего перестроить работу в классе с учетом этого? Данные, полученные в ходе этих небольших пилотных проектов, демонстрируют столь ошеломляющие результаты, что хочется немедленно масштабировать этот опыт. Однако при масштабировании в сфере образования вы переходите от узкой группы учителей, которые охотно участвуют в экспериментах и, вероятно, изначально более гибки и открыты к новому, к широкой аудитории педагогов. И вот в чем загвоздка: множество образовательных методик, которые прекрасно зарекомендовали себя в малых группах, при масштабировании либо не дают никакого эффекта, либо качество их внедрения падает настолько, что положительный результат полностью нивелируется. Такова печальная история большинства инноваций в образовании. Я уверен, что ИИ может помочь с мотивацией. Многие из этих программных инструментов действительно мотивируют учащихся, но на деле они лишь усиливают разрыв между ними. Представьте способного ребенка (вроде меня в детстве), который приходит домой и занимается на Khan Academy по два часа по вечерам, и среднего ученика, который приходит в класс и видит: "Вау, он стал намного лучше меня". Это демотивирует. И это, вероятно, наносит вред. Поэтому, если вы не верите в теорию "перераспределения благ сверху вниз", очевидно, что здесь не работает принцип справедливости. Способен ли ИИ преодолеть этот разрыв — причем не только за счет персонализированного обучения, но и за счет персонализированной мотивации? Я искренне верю, что мы сможем найти правильное решение этой задачи. Кляйн: Здесь возникает два взаимосвязанных вопроса. Первый касается инструментов ИИ, специально разработанных для образовательных целей. Второй связан с тем, о чем мы только что говорили в контексте мобильных телефонов, смартфонов и социальных сетей, а именно: как именно ИИ будет проникать и распространяться в обществе. И, на мой взгляд, главная тревога здесь — и я разделяю эту озабоченность — заключается в явлении, которое теперь называют "когнитивной разгрузкой" (cognitive offloading). Суть в том, что студенты массово и с поразительной скоростью начинают использовать ИИ для следующего: "Я не читал этот текст; сделай выжимку за меня". Или: "Мне нужно написать эссе; набросай черновик". Или: "Помоги мне решить эти математические задачи". Более того, мне запомнилось одно масштабное исследование из Китая, результаты которого меня поразили. Оно показало, что у детей, использующих ИИ, оценки за домашние задания росли, но как только их тестировали вне этого контролируемого контекста, их результаты начинали стремительно падать. Безусловно, можно представить себе и такие программы на базе ИИ, которые принесут реальную пользу. И как технология, и как новый способ взаимодействия с миром, проникающий в общество, ИИ, конечно, может помочь людям освоить линейную алгебру или любую другую дисциплину. Однако на практике происходит следующее: люди начинают использовать его как костыль. И начиная со школьной скамьи и вплоть до профессионального уровня, это начинает размывать сам процесс обучения — ту самую способность к творчеству, которая рождается лишь через упорный труд, муки создания черновиков, преодоление трудностей и вызовов самому себе. Гейтс: Да, безусловно. Здесь мы столкнемся с двойственным эффектом: один студент будет использовать ИИ, чтобы лениться и обманывать систему оценивания, а другой — чтобы учиться эффективнее и узнавать больше. Должен признаться, что для моего собственного познания новых предметов это лучшее время в моей жизни. Я беру видео с YouTube, загружаю их в чат, заставляю разные модели ИИ вести диалог друг с другом... Это настоящая нирвана. Раньше у меня была возможность написать письмо, скажем, генеральному директору Intellectual Ventures Натану Мирвольду, который прекрасно разбирается в физике. Теперь же я обсуждаю физические концепции с ИИ, и лишь если речь идет о сверхважном решении — например, об инвестициях в миллиард долларов, — я перешлю этот диалог Натану с просьбой: "Не мог бы ты на это взглянуть?" Но чтобы быть в курсе последних новостей о малярии или новых вакцинах 24 часа в сутки, ИИ просто незаменим. Таким образом, эта двойственность никуда не денется, и все снова упирается в вопрос мотивации. Кляйн: Не означает ли это, что к таким системам следует применять более строгие ограничения? Несколько минут назад вы упомянули Китай. И как бы мы ни рассуждали о сотрудничестве, заключить с ними какие-либо соглашения сейчас практически невозможно. Тем не менее, на национальном уровне в Китае уже действуют более строгие правила регулирования ИИ, чем у нас, включая, например, запрет на использование ИИ в качестве социальных компаньонов для детей. В своем эссе вы указываете на одну из сфер, где, возможно, нам стоит действовать более решительно, — это сфера, связанная с детьми. И именно здесь, на мой взгляд, государственный патернализм абсолютно оправдан. Мы должны быть патерналистами. Социальные сети всегда казались мне глобальным экспериментом, который мы поставили на детях. Как и значительная часть интернета в целом. Меня не так сильно беспокоит то, что мы проводим этот эксперимент на взрослых, но мне кажется, нам следует занять более жесткую позицию в отношении того, что мы запрещаем детям делать с ИИ, пока мы не поймем до конца, как это на них влияет. Это касается всего, от формирования навыков общения до создания препятствий для использования ИИ при списывании домашних заданий. Гейтс: Да, я не считаю, что здесь нужен категоричный, "черно-белый" запрет. Я полагаю, что при наличии мониторинга — и я повторяю это как заезженная пластинка — наши возможности обеспечить соблюдение границ дозволенного, того, что приемлемо и чего хотят родители, весьма велики. Существует множество образовательных систем, которые помогают не тем, что выдают готовый ответ, а тем, что вовлекают ученика в процесс рассуждения над задачей. И тогда возникает вопрос: можем ли мы гарантировать, что ученик не переключится на сторонние сервисы, чтобы просто получить готовое решение? Наша цель — удержать его в системе, которая шаг за шагом ведет его по пути логических рассуждений, чтобы в следующий раз он смог справиться сам. Поэтому да, наблюдение за тем, что именно делает ученик, и принятие решений: "Хорошо, нужно ли нам подключить психолога? Или позвонить родителям?" — во многих подобных системах концепция мониторинга будет иметь ключевое значение. А также степень осведомленности родителей о том, что происходит и на что тратится время, которая должна варьироваться в зависимости от возраста ребенка. Скажем, в очень раннем возрасте родитель, вероятно, должен иметь полный доступ к точному содержанию диалогов, которые ведет ребенок. Но по мере взросления появляются темы, связанные, например, с половой идентичностью, и здесь действительно полезно, чтобы определенная часть общения оставалась приватной. Я думаю, что в этом вопросе предстоит еще много тонкой настройки. Один из партнеров нашего фонда — организация Common Sense Media. Они проделывают отличную работу, доступно объясняя родителям: "Вот с каким контентом столкнутся ваши дети, если включат это телешоу или этот фильм". Но сфера ИИ гораздо сложнее. В большинстве систем, где предусмотрен родительский контроль, уровень технической грамотности родителей зачастую таков, что все попытки вовлечь их в процесс просто не работают. Ничего не меняется. В моем собственном случае я даже не подозревал, что у моей дочери есть второй телефон. Это был довольно простой способ для нее сидеть в соцсетях допоздна, когда я думал, что она уже спит. Поэтому мы должны реалистично оценивать то, как устроены эти технологии и как дети обходят ограничения. Разумеется, люди будут беспокоиться о вопросах конфиденциальности. И это нормально. Но это не может служить оправданием для полного отсутствия контроля за тем, что делает ваш ребенок в цифровом пространстве. Кляйн: Итак, в политическом плане на ближайшие два года: нас ждут промежуточные выборы в Конгресс, а затем президентские выборы в 2028 году. Если этот процесс пойдет не просто по пути принятия нужных вам законов, а, как вы и призывали, через объединение общества для обсуждения, споров и выработки ответных мер, — что именно вы имеете в виду? Каков ваш идеальный сценарий? Гейтс: Я бы выделил два критерия. Первый — это очевидные меры безопасности для минимизации кибернетических и биологических рисков. Второй — это характер самого диалога. Если дискуссия скатится к тому, что одна партия выступает за ИИ, а другая — категорически против, мы получим сценарий, аналогичный климатическому кризису, а это очень опасный путь. Для конструктивного обсуждения места не остается, когда существуют лишь две крайности. И, судя по всему, по умолчанию — по крайней мере, на текущий момент, — для поиска компромисса в вопросах управления ИИ практически не осталось пространства. Кляйн: Допустим, в 2029 году у власти окажется совершенно иная администрация с иным раскладом политических сил, и возникнет интерес к восстановлению американской программы иностранной помощи. Какой совет вы бы дали о том, как выстроить ее заново, чтобы она была эффективной — чтобы американцы понимали, что именно они получают за эти расходы, и чтобы эта помощь действительно приносила пользу? Гейтс: Если вы спросите американцев, какая часть госбюджета уходит на помощь людям в бедных странах, они обычно называют цифру более 5 процентов. Кто-то скажет 10 или 15 процентов. Поэтому тот факт, что на самом деле эта доля составляла около половины процента, а сейчас снижается до четверти процента, стал бы для них настоящим шоком. Осознавая, что эти деньги тратятся с умом, что они действительно спасают миллионы жизней и имеют решающее значение в борьбе с ВИЧ, малярией, туберкулезом и в снижении материнской смертности, — американцы должны знать, чем им следует гордиться, даже при том самом уровне расходов в полпроцента. Безусловно, будут выдвигаться моральные аргументы. Но они будут звучать на фоне колоссального государственного долга, что создаст огромные трудности. И любая система социальной защиты, которую потребуется создать из-за последствий внедрения ИИ, будет конкурировать за те же самые доллары. Кляйн: И наш традиционный заключительный вопрос: какие три книги вы бы порекомендовали нашей аудитории? Гейтс: Что ж, одну я буквально проглотил за эти выходные — это "The Correspondent" ("Корреспондент") Вирджинии Эванс. Это художественная литература: очень трогательная и жизнеутверждающая. В продолжение нашей сегодняшней темы, есть книга Николаса Энриха "Into the Wood Chipper" ("В дробилку"), которая рассказывает о том, как кто-то в одни выходные не пошел на вечеринку, а вместо этого решил отправить USAID (Агентство США по международному развитию) в дробилку для щепы. Около месяца назад я прочитал "The Infinity Machine" ("Машина бесконечности") Себастьяна Маллаби. Кляйн: Книга об ИИ. Гейтс: Да. Это история Демиса Хассабиса и DeepMind, но через нее вы получите представление о том, как зарождалась вся индустрия искусственного интеллекта. Автор проделал невероятную работу. Кляйн: Мистер Гейтс, большое вам спасибо. Гейтс: И вам спасибо.