В войне на Украине зафиксирован эпизод, который может оказаться важным для дальнейшего развития беспилотного оружия. Во время июльской атаки в районе Запорожья Украинский ударный дрон, по оценке специалистов, действовал без постоянного управления оператором и самостоятельно выбрал объект для поражения. После ошибки при заходе на цель беспилотник врезался в стену возле автозаправочной станции. В результате взрыва и разлета обломков погибли три человека.
Принципиальное отличие этого случая не в самом применении беспилотника. Дроны обе стороны конфликта используют массово уже несколько лет. Необычным оказался уровень автономности: специалисты не обнаружили на аппарате обычных антенн, необходимых для связи с оператором.
Внутри находился компактный вычислительный модуль Nvidia Jetson Orin. Подобные устройства создавались для обработки изображений, робототехники и других гражданских задач, однако их вычислительной мощности достаточно, чтобы камера беспилотника могла анализировать окружающую обстановку непосредственно во время полета.
Иными словами, дрону не обязательно постоянно получать команды с земли. Заранее обученная система компьютерного зрения способна искать знакомые объекты, сравнивать изображение с заложенными моделями и корректировать маршрут.
По версии специалистов, изучавших аппарат, программное обеспечение было обучено распознавать резервуары с пропаном. Именно их беспилотник, предположительно, выбрал целью возле заправочной станции. Однако при финальном заходе аппарат ошибся и столкнулся со стеной.
Это важное уточнение: речь не идет о машине, которая самостоятельно решила убить конкретных людей. Алгоритм выбирал объект для атаки, но решение системы привело к гибели находившихся рядом гражданских. Именно такая ситуация и показывает главную проблему автономного оружия.
❞«Через несколько лет мы будем жить в фильме “Терминатор”».
Автономные военные системы сами по себе существуют давно. Например, комплексы противовоздушной и противоракетной обороны способны автоматически обнаруживать летящие цели, рассчитывать их траекторию и принимать решения за считанные секунды. Человек физически не всегда успел бы выполнить такой объем работы.
Однако есть принципиальная разница. Система ПВО обычно ищет ракету или другой заранее определенный тип воздушной цели. Ударный дрон с компьютерным зрением должен ориентироваться в гораздо более сложной среде, где рядом с военными объектами находятся автомобили, дома, предприятия и люди.
И здесь возникает вопрос, который становится важнее самой технологии: насколько хорошо алгоритм способен понимать контекст?
Компьютер можно научить отличать танк от легкового автомобиля или резервуар от здания. Намного сложнее заставить его правильно оценить ситуацию вокруг цели. Например, определить, находятся ли рядом гражданские, является ли объект военным и оправдан ли удар именно в этот момент.
ИИ не понимает человеческую жизнь так, как ее понимает человек. Он распознает изображения и действует в пределах заложенной модели. Поэтому ошибка обучения, плохое изображение с камеры или необычное расположение объекта способны закончиться неверным решением.
Проблема становится особенно серьезной из-за радиоэлектронной борьбы. Раньше искусственный интеллект на ударных беспилотниках часто использовался на последнем участке полета: оператор выбирал цель, после чего автоматика продолжала наведение при потере связи.
Теперь технология постепенно движется дальше. Дрон потенциально способен получить район поиска, самостоятельно прилететь туда, обнаружить подходящую цель и атаковать ее без подтверждения человеком.
Для армий преимущества очевидны. Такой беспилотник сложнее остановить средствами радиоэлектронной борьбы, поскольку глушение канала управления теряет смысл. Один оператор также сможет контролировать значительно больше аппаратов или вообще только задавать им район выполнения задачи.
В перспективе это открывает путь к массовому применению групп автономных дронов. Несколько аппаратов смогут одновременно искать цели и распределять их между собой. При этом стоимость вычислительных модулей значительно ниже стоимости многих традиционных высокоточных вооружений.
Но вместе с военным преимуществом появляется проблема ответственности.
Если оператор выбрал цель и нажал кнопку запуска, цепочка принятия решения относительно понятна. Если же непосредственный выбор сделал алгоритм, возникает сложный вопрос: кто отвечает за ошибочный удар?
Разработчик программы, командир, поставивший задачу, военнослужащий, запустивший аппарат, производитель оборудования или государство, применившее систему?
❞«Передача алгоритмам решений о жизни и смерти на поле боя нарушает человеческое достоинство», — эксперт по безопасности.
Технологически полностью автономные ударные системы становятся все более реальными. Причем направление развивается не только одной стороной конфликта. Украина активно использует и разрабатывает беспилотники с автоматическим распознаванием и сопровождением целей.
Поэтому главный вопрос теперь состоит не в том, возможно ли создать оружие, способное действовать без пилота. Судя по развитию современных дронов, технический барьер постепенно исчезает.
Гораздо важнее другое: останется ли человек последним звеном, которое подтверждает применение оружия.
Если армии начнут массово отказываться от такого контроля, война изменится принципиально. Решение о поражении конкретного объекта сможет приниматься за доли секунды непосредственно компьютером на борту дешевого беспилотника. Это позволит использовать тысячи автономных аппаратов одновременно, но одновременно сделает последствия программных ошибок гораздо серьезнее.
Случай под Запорожьем важен именно поэтому. Он показывает не появление фантастического «робота-убийцы», а значительно более реалистичный сценарий: обычный относительно дешевый дрон получает компьютерное зрение и право самостоятельно завершить атаку.
И если подобные системы станут массовыми, вопрос «может ли ИИ воевать самостоятельно» очень скоро уступит место другому: кто и каким образом должен контролировать решения машины, когда цена ошибки измеряется человеческими жизнями.
У новости пока нет комментариев, станьте первыми кто оставит свой комментарий