Автором материала является K-News. Любое копирование или частичное использование возможно по разрешению редакции K-News.Автономное оружие без участия человека выбирает цели и убивает противника. Оксфордский философ Мариарозария Таддео предупреждает об «эффекте видеоигры» и призывает к новым правилам ведения войны.45-летняя Мариарозария Таддео — итальянский философ и профессор цифровой этики и оборонных технологий Оксфордского интернет-института Оксфордского университета.Интервью Франка ХорнигаSPIEGEL: Госпожа Таддео, что происходит с оператором дрона, когда он вдали от фронта управляет боевыми вылетами за компьютером?Таддео: Вы имеете в виду, когда он или она убивает находящегося за многие километры противника, после службы выходит из аккаунта на экране и затем, возможно, забирает детей из школы? Это создаёт эмоциональную дистанцию от войны. И я опасаюсь, что это ведёт к моральному отчуждению, к хладнокровным убийствам.SPIEGEL: Долгое время всё выглядело так: солдаты по обе стороны поля боя рисковали жизнью…Таддео: …и это порождало в войне моральное равновесие, своего рода моральную симметрию. Доблесть солдата заключалась в том, чтобы без трусости встретить врага и разделить с ним опасность. У операторов дронов этой балансировки больше нет. Если мы как-то не компенсируем это отчуждение, зверства станут более вероятными, потому что солдаты у экранов теряют страх и действуют агрессивнее.SPIEGEL: По сообщениям, армии Украины и России целенаправленно набирают людей из геймерской среды для управления дронами.Таддео: Мы не должны путать войну с видеоигрой. Тем, кто пилотирует дроны, необходима военная подготовка — их нельзя просто посадить за компьютер. Подобные тенденции показывают: «дроновые» сражения россиян и украинцев означают перелом в военной истории — характер войны полностью изменился.SPIEGEL: Украина атакует дронами военные цели или энергетическую инфраструктуру, тогда как армия Путина сеет дроновый террор против гражданских в украинских городах. Разве это не различие?Таддео: Конечно. Во втором случае мы видим неизбирательное разрушение. И это показывает, что важнейшие проблемы сейчас связаны не с технологиями, а с намерениями принимающих решения людей, стоящих за этими технологиями.SPIEGEL: Перед ударными дронами часто вглубь вражеской территории летят разведывательные аппараты, которые собирают данные и идентифицируют цели. Такие операции могут сделать войну более «гуманной»: они позволяют наносить точечные удары и уменьшать сопутствующий ущерб.Таддео: Это верно, однако такую позицию я всё же считаю проблематичной. Мы говорим о массированном наблюдении за некомбатантами, то есть за лицами, не участвующими в боевых действиях, и гражданскими, находящимися далеко от окопов. Их права и жизнь должны быть защищены всегда. Где, как долго и с какой целью такие сведения собираются с нарушением правил защиты данных? Это может привести к новым преступлениям и военным злодеяниям.SPIEGEL: Сейчас дроны в большинстве случаев ещё управляются людьми. Но их доля в принятии решений сокращается и в некоторых случаях может исчезнуть совсем. Как далеко зашла эта автоматизация?Таддео: До нападения Путина в феврале 2022 года автономные смертоносные системы фактически ещё не применялись. Мне известен лишь один случай, о котором сообщали ООН, — в Ливии в 2021 году. В целом государственные акторы по всему миру проявляли сдержанность в использовании таких технологий. Теперь мы знаем, что этот табуированный барьер пал. В российско-украинской войне обе стороны по меньшей мере тестировали полностью автономные системы вооружений.SPIEGEL: Каковы этические последствия, если машины однажды начнут убивать противника без участия человека?Таддео: Прежде чем обсуждать, легитимно это или нет, следует зафиксировать: общепринятого определения смертоносных автономных систем вооружений не существует. Равно как не урегулированы и правила их применения.SPIEGEL: Женевские конвенции и Гаагские соглашения, содержащие нормы ведения войны, были написаны до появления искусственного интеллекта. Нужны ли новые?Таддео: Основополагающие принципы международного гуманитарного права по-прежнему действуют, но производные от них правила ещё предстоит разработать. Возьмём, к примеру, предписание о тестировании нового оружия до его применения. Если оружие оснащено системой ИИ, которая учится на взаимодействии со средой, то с технической точки зрения каждое такое взаимодействие делает систему «новым» оружием. Когда и как часто мы должны её тестировать?SPIEGEL: Противники автономного оружия считают аморальным передавать ИИ решения о жизни и смерти. Сторонники же утверждают, что такое оружие даже этически предпочтительнее — например, потому что ему чужды месть и страх.Таддео: Передавать решение об убийстве людей машине морально неприемлемо. Однако аргументы обеих сторон мало связаны с реальной современной войной. На текущем этапе они скорее вредны.SPIEGEL: Почему?Таддео: Поляризованная дискуссия создала вакуум. И в этом вакууме автономные системы теперь применяются — будь то в войне в Украине, в Газе или в конфликте между Израилем и Ираном. Нам нужно отойти от базовых схоластических споров и прагматично обсуждать конкретные проблемы автономного оружия.SPIEGEL: Какие именно?Таддео: На первом месте — вопрос предсказуемости: мы задаём входные данные, но лишь до определённой степени можем быть уверены в том, какой выход сформирует ИИ. Он способен выработать и применить модели решений, которых мы не планировали. Представьте, что это означает на поле боя, если автономные системы определяют цели, которых военное командование вовсе не намеревалось поражать. Так возникает разрыв между целями воюющей стороны и действиями машин.SPIEGEL: Кто несёт моральную ответственность за автоматизированные «команды убийц»?Таддео: Именно в этом суть. «Преступления против международного права совершаются людьми, а не абстрактными сущностями, и только наказание лиц, совершающих такие преступления, обеспечивает действие норм международного права», — так сформулировал Международный военный трибунал в Нюрнберге. Это, на мой взгляд, справедливо и сегодня. Если мы откажемся от этого принципа, с моралью войны будет покончено.SPIEGEL: Но что это означает применительно к военным системам с ИИ?Таддео: Нам нужно конкретно прописать, как справедливо и обоснованно распределять моральную ответственность в случае «ИИ-оружия». И вместо абстрактных рассуждений о человеческом достоинстве следует проводить оценку рисков. Обществу, например, предстоит решить, какой объём автономии мы готовы предоставить таким системам при выборе целей. И какая доля ошибок для нас допустима — «десять процентов» нас устраивают?SPIEGEL: У вас есть ответ?Таддео: Нет, это должно решить общество. Я привела «десять процентов» как пример — якобы именно такой уровень ошибок у систем ИИ, по-видимому, используемых Израилем в секторе Газа.SPIEGEL: Какие рамки мы должны задать оружию на базе ИИ?Таддео: Вред не должен превышать пользу и должен быть сведён к минимуму ради достижения легитимной цели. Некомбатанты никогда не должны становиться преднамеренными целями. Подобные принципы необходимо адаптировать при появлении новых технологий. В итоге одни сценарии применения могут быть запрещены, другие — признаны приемлемыми на основе оценки рисков. И нам нужно чётко закрепить последующую реконструируемость процесса принятия решений — ради подотчётности.SPIEGEL: Допустимо ли в принципе разрешать автоматический выбор целей, или нет?Таддео: Для меня важны такие вопросы: могут ли операторы понять, что именно предлагает система ИИ? Как они могут вмешаться, если считают, что возникла ошибка? Иными словами, речь о том, оставляем ли мы выбор целей машине — что, по моему мнению, неприемлемо, — или дополняем человеческий процесс принятия решений, что может быть желательным.SPIEGEL: Возможно, лучше полностью запретить оружие с ИИ.Таддео: Эта мысль ни к чему не приведёт. Такое оружие производится, продаётся и в будущем будет применяться повсеместно. И, возможно, ещё важнее: ИИ всё активнее встраивается и в «обычные» виды вооружений. В войне всегда речь о компромиссах. Подобно медицине, мы должны взвешивать преимущества и недостатки вмешательства. Но есть пределы: полностью автономные, самообучающиеся системы недостаточно контролируемы, чтобы их применение можно было считать этичным.SPIEGEL: Одним из решений могло бы стать согласие армий принципиально включать человека в контуры принятия решений автономных систем — возможно, по аналогии с пилотами самолётов.Таддео: Это «витринная политика». По крайней мере, если у вовлечённого человека нет времени осмыслить стремительные решения машины и в сомнительном случае их остановить. Настоящий контроль возможен только тогда, когда у человека есть широкие права вмешательства, чтобы прекратить действие в любой момент. Ключевой вопрос: могут ли люди отключить эти системы, когда замечают ошибки? И достаточно ли у нас обученного персонала, который их сопровождает и наблюдает за ними?SPIEGEL: Видения и теории «справедливой войны» уходят далеко в прошлое. Ещё Цицерон и Фома Аквинский этим занимались. Может ли это помочь нам сегодня?Таддео: Да. Когда мы говорим о ius in bello, то есть о праве в войне, мы можем напрямую применять эти принципы к командирам, использующим ИИ. Например, что некомбатанты никогда не должны становиться преднамеренными целями. Или что обороняющаяся сторона не должна преследовать целей, выходящих за восстановление статус-кво. Нам не нужно менять старые принципы — нужно понять, какими конкретными правилами воплощать их в нашем мире.SPIEGEL: Почему это так трудно?Таддео: Когда я в 2010 году начала размышлять на эту тему, мы обсуждали ещё казавшееся далёким будущее. И действительно, военные открыли для себя ИИ позже других. Но сейчас всё развивается с огромной скоростью. Если государства НАТО увеличат свои бюджеты до пяти процентов, в ближайшие годы в цифровую оборону и вооружения с ИИ потекут гигантские суммы. Правила нужно устанавливать сейчас, а не постфактум.SPIEGEL: США, Великобритания и НАТО всё-таки выработали некоторые этические руководящие принципы для обращения с автономным оружием.Таддео: Они во многом соответствуют тому, что мы знаем из других сфер — здравоохранения или финансовых рынков. Везде говорится, что человек должен оставаться в центре, а ИИ — быть управляемым. Это хорошо и правильно, но слишком общо.SPIEGEL: Война России против Украины считается лабораторией будущего для новых военных технологий и стратегий. Но является ли она также лабораторией будущего для новой этики?Таддео: Пока нет.SPIEGEL: Должны ли Организация Объединённых Наций продвигать конвенцию об ИИ?Таддео: ООН уже 13 лет обсуждает смертоносные автономные системы — и это ни к чему не привело. Дебаты геополитически обусловлены. Очень трудно привлечь к разговору игроков самого высокого уровня. Я бы приветствовала, если бы ЕС включился и взял обсуждение в свои руки — как это было при регулировании других цифровых технологий. Это могло бы однажды привести к глобальному согласию.SPIEGEL: Обсуждать, как собственная армия должна убивать как можно эффективнее и при этом этично, непросто.Таддео: Всем нужно выйти из своих «защищённых зон дискурса» — не только потому, что тема становится всё актуальнее. Нашему обществу нужны ценности, когда оно ведёт разговор о климате или здравоохранении. Точно так же ему нужны ценности на случай войны. Иначе это уже не либеральная демократия. Однако есть «большой слон в комнате».SPIEGEL: А именно?Таддео: Сколько бы правил мы ни придумали — они будут несущественны, если международное гуманитарное право не соблюдается или почти не соблюдается, на что, увы, сейчас многое указывает. Я надеюсь, до этого не дойдёт — иначе мы выбросим 80 лет истории и все уроки Второй мировой войны.Запись «Война дронов ведёт к моральному отчуждению, к хладнокровным убийствам» впервые появилась K-News.