Автономные системы оружия летального действия: типология, риски, проблемы правового регулирования

Введение

«Люди воюют не потому, что у них есть оружие. У них есть оружие, потому что они считают необходимым воевать» (Г. Моргентау). То есть, оружие само по себе не является причиной вооруженных конфликтов и войн, а всего лишь средством их ведения. Основными движущими силами гонки вооружений является забота об обеспечении безопасности государства, непосредственно связанная с неуверенностью в достаточности уровня безопасности - так называемая дилемма безопасности.

 

zhantikin-tm
Т.М. ЖАНТИКИН,
Генеральный директор АО «Казахстанские атомные электрические станции», к.ф.-м.н.

 

В этом плане, с развитием новых технологий неизбежно развитие новых, более совершенных систем вооружений.

Частным случаем этого процесса является развитие автономного оружия на базе искусственного интеллекта, включая автономные системы оружия летального действия (АСОЛД). Как и в других системах вооружений, использующих достижения новых для своего времени технологий, сдерживание развития АСОЛД и угрозы его применения будет базироваться на балансе угроз потенциальных участников вооруженных конфликтов, отсутствии явного перевеса какой-либо из сторон в уровне развития технологий, применяемых в этом виде вооружений.

Можно вспомнить атомные бомбардировки японских городов 1945 года, когда США продвинувшись в разработках ядерного оружия и почувствовав свое исключительное в тот момент преимущество попытались продемонстрировать свою военную мощь совершенно бессмысленными с военной точки зрения бомбардировками мирных городов. И только быстрое развитие ядерного оружейного проекта СССР позволило восстановить баланс сил, что послужило основным стимулом движения к ядерному нераспространению и сдерживанию гонки ядерных вооружений.

В обсуждении АСОЛД много внимания уделяется морально-этическим аспектам этого вида вооружений. Основной упор при этом делается на тезис «у машин нет души», то есть роботы не могут иметь морали и других человеческих чувств. С другой стороны, можно точно так же обвинить некоторых комбатантов в отсутствии элементарных принципов человеческой морали - примеров тому достаточно, и не все они, к сожалению, не квалифицируются как военные преступления.

В реальности можно рассматривать разные аспекты развития АСОЛД:

  • военные - насколько это оружие эффективно в решении тактических и стратегических задач в вооруженных конфликтах с потенциальным противником;
  • экономические - имеются ли достаточные ресурсы для разработки и производства такого вооружения;
  • юридические - насколько законно применение такого оружия, не нарушаются ли положения и нормы международных и национальных правовых документов, а также как будет определяться юридическая ответственность за последствия незаконного применения АСОЛД;
  • технические - достаточно ли развита технологическая база для разработки и производства такого вида вооружений;
  • морально-этические - не нарушаются ли общепринятые принципы человеческой морали при применении такого оружия.

Не касаясь остальных аспектов, рассмотрим некоторые технические аспекты возможного развития АСОЛД.

Определения АСОЛД

Существуют разные определения АСОЛД. В зависимости от принятого определения будут различаться области применения положений существующих и разрабатываемых (или предлагаемых к разработке) международных правовых инструментов в отношении АСОЛД. Для определенности в представляемой статье примем определение, как видится, наиболее отвечающее сути данного вида оружия: «АСОЛД - система вооружений летального действия, способная самостоятельно, без вмешательства человека, выявлять и классифицировать цели, принимать решение и уничтожать их». Следуя этому определению, из АСОЛД исключаются системы вооружений, дистанционно управляемые человеком (оператором), такие как управляемые ракеты, атакующие беспилотные летательные, наземные и подводные аппараты и т.п., которые не являются автономными в полном смысле этого определения, поскольку конечное решение об уничтожении (поражении) цели принимает оператор.

Также к АСОЛД не относятся высокоавтоматизированные системы ПВО, такие как С-400 или разрабатываемая С-500, C-RAM, Iron Dome, THAAD, поскольку функции самостоятельного принятия решения об уничтожении цели ограничены -например, оператору дается 10 секунд для принятия решения.

Искусственный интеллект

Разработки АСОЛД базируются на использовании в оружии систем искусственного интеллекта для обеспечения эффективных боевых функций в полностью автономном режиме. Обычно под искусственным интеллектом (ИИ) понимается способность системы правильно, с точки зрения поставленных целей и задач, интерпретировать внешние данные, извлекать уроки из таких данных и использовать полученную информацию для достижения конкретных целей и задач при помощи гибкой адаптации. Технически это означает способность системы создавать в ходе самообучения программы, в первую очередь, эвристические для решения задач определенного класса сложности и решать эти задачи.

В целом в военной сфере можно выделить 4 группы задач, где используется ИИ -информационная, тактическая, стратегическая и экономическая. На сегодня АСОЛД относятся к тактическому оружию, но в принципе возможно развитие систем стратегических вооружений на базе ИИ.

Типология роботизированных систем

Учитывая наличие широкого спектра определений АСОЛД, рассмотрим возможные типы роботизированных систем оружия, которые могут попасть в область определения АСОЛД. В зависимости от степени автономности роботизированных систем вооружений устоялась следующая базовая градация:

  1. Системы с полным дистанционным контролем оператора - здесь оператор является центральным и необходимым звеном в петле контроля принятия решений. Эти системы не являются автономными в полном смысле этого слова, это вооружение с возможностями дистанционного контроля. Примеры: радиоуправляемые «телетанки» проектов ТТ-18 и ТТ-26 (СССР), самоходные управляемые мины «Голиаф» (Sonder Kraftfahrzeug, Германия), авиабомбы и ракеты с корректируемой траекторией.
  2. Полуавтономные системы - оператор участвует в принятии решений в отдельных звеньях алгоритма; на остальных этапах решение принимает система на основе анализа поступающих внешних данных. Это большинство сложных передовых систем вооружений, не имеющих самостоятельных критических летальных функций такие как:
  • системы ПВО, в которых захват, идентификация и сопровождение цели выполняются системой самостоятельно, но решение о поражении цели принимает и передает системе человек-оператор,
  • беспилотные летательные аппараты (БПЛА), способные самостоятельно корректировать скорость, высоту и другие параметры полета. Сам маршрут и полетное задание формируются, отслеживаются и по мере необходимости корректируются удаленным оператором на базе.
  1. Полностью автономные системы (собственно АСОЛД) - оператор-человек исключен из системы принятия решений и не участвует даже в поражении цели. Такие системы обычно реализуются на основе искусственного интеллекта.

Сегодня АСОЛД реально не стоят на вооружении ни одной из армий, несмотря на то, что проекты по разработке автономных оружейных систем, размещаемых и/или применяемых на суше, в воздухе, воде и космическом пространстве, ведет все большее число государств, включая США, Великобританию, Германию, Израиль, КНР, РФ, Японию, Южную Корею и другие.

Примерами разработок систем, приближающихся к АСОЛД, могут служить автономные оборонные и защитные системы, такие как противоракетные и другие средства противовоздушной обороны, а также атакующие, к которым можно отнести, например, программируемые морские мины, работающие против определенного (конечного) перечня целей, автономные подводные дроны, такие как система «Посейдон» (РФ), или атомные подводные лодки, которые после получения приказа об атаке и погружении не смогут отменить атаку.

Можно отметить типичные сухопутные системы, разрабатываемые в США, РФ, КНР, Южной Корее и других странах - например, разработанные в США специализированную систему SWORDS и боевую машину MAARS, боевые дроны -типичный дрон Predator, широко применявшийся США в Афганистане (решения о применении летального оружия в этих системах принимает оператор), морские системы, такие как беспилотный подводный аппарат (БПА) долгосрочной разведки Boeing-LMRS, БПА Seahorse, способный к автономным действиям, включая использование оружия, корабельные орудия «Phalanx Gatling» и «Aegis» (США).

Такие автоматизированные системы определения ядерной атаки и принятия решения об ответном ударе, как система «Периметр» (СССР), «Operation Looking Glass» (США) и возможные аналоги в других государствах, обладающих ядерным оружием,16 можно отнести к прообразам АСОЛД в области стратегических вооружений.

В государствах с развитой технологической базой ведутся разработки систем, обеспечивающих операции автономных ударных групп, примерами которых могут служить противокорабельные ракетные комплексы П-500 «Базальт», П-700 «Гранит» и П-1000 «Вулкан» российского производства, CARACaS (Control Architecture for Robotic Agent Command and Sensing - «Архитектура управления командой роботизированных агентов и распознавания»), разработанная в США. Это новый уровень интеграции боевых систем на основе искусственного интеллекта, обеспечивающий координированные действия отдельных боевых единиц (элементов системы) для достижения поставленных целей и эффективного выполнения боевых задач.

Программное обеспечение АСОЛД

Типичная архитектура программного обеспечения роботов включает три основных блока:

  • блок анализа, который может включать искусственный интеллект, получающий данные об окружении для локализации системы, навигации, планирования действий, взаимодействия с оператором (в неавтономном режиме), самообучения;
  • блок промежуточной связи или блок управления, формирующий управляющие команды исполнительному блоку на основе данных блока анализа;
  • исполнительный блок, формирующий управляющие команды органов и механизмов робота.

Усилия разработчиков АСОЛД, в первую очередь, направлены на усложнение («интеллектуализацию») блока анализа с упором на самообучение, оперативную адаптацию системы к изменяющимся данным об окружении. Два других блока напрямую связаны с используемым в системе вооружением.

Риски развития АСОЛД

С технической точки зрения при разработке, развитии и применении АСОЛД существуют следующие риски:

  • риск случайного (непредусмотренного) поражения гражданского населения при расширении области применения АСОЛД, включая поиск, идентификацию и поражение живой силы противника;
  • риск неконтролируемого включения в перечень целей гражданских объектов в самообучающихся системах на базе искусственного интеллекта, непредсказуемость поведения оружейных систем в непредусмотренных условиях функционирования и изменения окружения;
  • риск неконтролируемого изменения и развития программных кодов определения целей и принятия решений при реализации механизмов защиты аппаратных и программных систем управления АСОЛД от внешнего воздействия, противодействии попыткам вывода систем из строя, несанкционированного вмешательства в функционирование АСОЛД;
  • риски, связанные с неадекватным применением гражданских разработок в области искусственного интеллекта в военной сфере или террористической деятельности.

Практически все риски так или иначе связаны со сбоем или непредусмотренным изменением и/или развитием программного обеспечения АСОЛД и другим несанкционированным вмешательством в него. Поэтому возможными путями предотвращения перечисленных рисков является следующее:

  • реализация самопроверки программного обеспечения АСОЛД, гарантирующая сохранность и защиту базовых принципов и основных функций по анализу и принятию решений блока анализа;
  • интеграция в программное обеспечение АСОЛД «искусственной морали»17 -программных кодов, контролирующих поведение оружейных систем с точки зрения общечеловеческой морали;
  • реализация «социализации» АСОЛД, то есть гарантированного сохранения связи с операторами и контроля с их стороны принципиальных систем принятия решений АСОЛД;
  • строгий общественный контроль передач технологий в области робототехники в военный сектор.

Заключение и выводы

Секретность разработок АСОЛД - что понятно, учитывая характер применения систем в военных целях - приводит к образованию замкнутых сообществ разработчиков в разных государствах, что существенно увеличивает вероятность ошибок, в особенности при разработке программного обеспечения АСОЛД. В целом в таких условиях невозможно гарантировать отсутствие ошибок (багов) в программных кодах, в особенности, при разработке прикладных систем искусственного интеллекта, что может в дальнейшем привести к неадекватному развитию АСОЛД, что в свою очередь может привести к поражению непредусмотренных целей, поскольку по своему существу основной функцией летального оружия является поражение (уничтожение) объектов и живой силы.

Гонка вооружений в области АСОЛД может привести к внедрению недостаточно проработанных систем, что с высокой вероятностью может привести к неконтролируемому поведению систем вооружения при их практическом применении. К сожалению, на данном этапе уже достаточно сложно остановить развитие АСОЛД - «джин выпущен из бутылки».

Главной особенностью АСОЛД является широкое использование искусственного интеллекта, что, как кажется разработчикам, позволяет передать системе не только идентификацию цели, но и функции по принятию решения об уничтожении цели. В связи с этим АСОЛД рассматривается как принципиально новый этап в развитии вооружений, «автономное оружие - это революция в войне, после пороха и ядерного оружия».

В настоящее время нет документов международного права, применимых к АСОЛД, поэтому многие исследователи отмечают, что АСОЛД противоречит оговорке Мартенса,18 19 что служит основанием принятия правового документа, запрещающего разработки АСОЛД, их производство и применение. Одним из главных факторов, как отмечено в заключительном Коммюнике региональной Конференции «АСОЛД: Превентивный запрет»,20 является гарантия сохранения значимого человеческого контроля в автономных системах вооружений, что должно быть неотъемлемой частью соответствующего международного юридически обязывающего правового инструмента.

Библиография:

  1. Acheson R. “A WILPF Guide to Killer Robots”, 1st Edition, March 2019(www.-wilpf.org).
  2. Wareham M. “Let's Stop Killer Robots before It's too late” - Campaign to Stop Killer Robots, Campaigner's Kit, April 2019.
  3. Шмитт М.Н., Тернер Дж.Ф. «Из-под контроля: автономные оружейные системы и законы вооруженного конфликта» // Журнал национальной безопасности Г арвардской школы права, вып. 4 (2013). С. 276 (https://harvardnsj.org).
  4. Moor J.H. «Is Ethics Computable?» // Metaphilosophy, vol. 26, nom. 1-2, 1995. - Pp. 1-21.
  5. Moor J.H. «The Nature, Importance, and Difficulty of Machine Ethics» (Мур Дж.Х. «Характер, значение и сложность машинной этики»), IEEE Intelligent Systems, июль/август 2006 г., том 21, N° 4. - С. 18-21.
  6. Moor J.H. “Four Kinds of Ethical Robots” (Мур Дж.Х. «Четыре типа этического робота»), Philosophy Now, март/апрель 2009 г., вып. 72. С. 12.
  7. Конвенция о законах и обычаях сухопутной войны, принята в Гааге 29 июля 1899 г., вступила в силу 4 сентября 1900 г. Приложение: Положение о законах и обычаях сухопутной войны // См.: Кассезе А. Оговорка Мартенса: синица в руках или журавль в небе? // Европейский журнал международного права, вып.11, № 1, 2000. - С. 193-195.
  8. Гилади P. Положение об иронии: размышления о происхождении оговорки Мартенса // Европейский журнал международного права, вып. 25, № 3 (2014). - С. 853.
  9. Дополнительный протокол к Женевским конвенциям от 12 августа 1949 г., касающийся защиты жертв международных вооруженных конфликтов, принят 8 июня 1977 г., 1125 U.N.T.S.3, вступил в силу 7 декабря 1978 г.
  10. Всеобщая декларация прав человека, принята 10 декабря 1948 г., UN GA Res.217A (III), UN Doc. A / 810 at 71 (1948).
  11. Международный пакт о гражданских и политических правах, принят 16 декабря 1966 г., Г.А. ООН 2200А (XXI), 21 UN GAOR Supp. (No.16) b 52, UN Doc. A / 6316 (1966), 999 UNTS 171, вступил в силу 23 марта 1976 г.
  12. Конвенция о запрещении или ограничении применения конкретных видов обычного оружия, которые могут считаться наносящими чрезмерные повреждения или имеющими неизбирательное действие, принята в Женеве 10 октября 1980 г., вступила в силу 2 декабря 1983 г.
  13. Programme of Action to Prevent, Combat and Eradicate the Illicit Trade in Small Arms and Light Weapons in All Its Aspects, UN Doc. A/CONF.192/15 (2001).
  14. Пустогаров В.В. Оговорка Мартенса в международном праве // Журнал истории международного права, вып.125, 1999. С. 133.
Автор
Жантикин Т.М.
Summary
The article discusses various technical, as well as ethical, legal and other aspects of the development of lethal autonomous weapons systems (ALWS), provides a typology of robotic weapon systems, gives a definition of ALS, presents in detail the use of artificial intelligence, software architecture of ALS, software development directions, main risks of LAWS development, possible ways to prevent risks. In international law, today there are no documents regulating the development and use of LAWS, legal responsibility for the consequences of the use of LAWS, there is no consensus on their classification.
Аннотация
В статье рассмотрены различные технические, а также этические, правовые и иные аспекты развития автономных систем оружия летального действия (АСОЛД), приведена типология роботизированных систем оружия, дано определение АСОЛД, детально представлено использование искусственного интеллекта, архитектура программного обеспечения АСОЛД, направления развития программного обеспечения, основные риски развития АСОЛД, возможные пути предотвращения рисков. В международном праве на сегодня отсутствуют документы, регулирующие развитие и использование АСОЛД, правовую ответственность за последствия применения АСОЛД, нет единого мнения об их классификации. В первую очередь необходимо начать разработку международной конвенции, регулирующей различные аспекты АСОЛД. Требуется разработка документов как на национальном, так и на международном уровнях.
Категория
Ключевые слова
современное государство, оружие, автономные системы оружия летального действия (АСОЛД), искусственный интеллект, типология роботизированных систем, программное обеспечение АСОЛД, гонка вооружений, сдерживание гонки вооружений, международное право, риски развития АСОЛД.
Название на английском
Lethal autonomous weapons systems: typology, risks, problems of legal regulation
Организация
АСОЛД
Статус автора
Кандидат наук