Поддержать
Молодая девушка бежала, спасая свою жизнь, но было уже поздно. Небольшой российский дрон, похожий на модель самолёта, спикировал с неба в Запорожье. Пытаясь долететь до автозаправки, он врезался в стену и взорвался, разлетевшись шрапнелью. Погибли 19-летняя студентка Татьяна Бубинец и ещё два человека. Они стали частью тысяч погибших украинских жителей от российских ударов, однако обстоятельства их гибели имели зловещий оттенок: дрон, убивший их, управлялся экспериментальной системой искусственного интеллекта, а не человеком-пилотом, рассказали эксперты по дронам, украинские военные командиры и криминалисты, изучившие обломки этого и других ударов по городу, сообщает The New York Times.
Как действовал дрон-убийца
Дрон был запрограммирован людьми лететь к конкретной заправке, но, приблизившись к ней, самостоятельно выбрал точную цель — предположительно, баллоны с пропаном — опираясь на собственное обучение распознавать такие объекты и поражать их, рассказали эксперты и военные.
«Это риск для всего мира», — заявил полковник Сергей Минаев, командующий ПВО Запорожья. «Через несколько лет мы будем жить в фильме «Терминатор». Это не шутка. Машины принимают решения атаковать».
Анализ обломков этого и других ударов по Запорожью показал, что дрон имел на борту миникомпьютеры производства Nvidia, которые и принимали решения о выборе цели. Nvidia производит большинство чипов, на которых работают самые современные системы ИИ в мире. Отсутствие антенн на дронах и наличие модулей Nvidia позволили украинским командирам ПВО предположить, что оружие управлялось автономной системой ИИ — предположение позже подтвердилось при дальнейшем расследовании.
Автономные системы ИИ обучаются распознавать категории объектов — например, «река», «военный грузовик» или «человек» — на тысячах изображений. Дроны с самонаведением используют камеры для поиска таких объектов точнее, чем это может сделать пилот-человек. Однако противники подобного оружия утверждают, что без вмешательства человека дроны более склонны к ошибкам и нарушениям законов войны. Например, могут не отличить мирных людей от военных.
Применение системы самонаведения в атаке на заправку стало фактически первым документально подтверждённым случаем гибели людей от российского дрона с такой системой, заявила Катерина Бондарь, старший научный сотрудник центра Wadhwani AI при Center for Strategic and International Studies в Вашингтоне. По её словам, модуль Nvidia — «лучшее доказательство» того, что Россия экспериментирует с автономным ИИ.
Советник президента Владимира Зеленского ранее писал в соцсетях, что Россия тестирует системы самонаведения, однако о человеческих жертвах и о деталях используемого компьютерного модуля Nvidia Jetson Orin ранее не сообщалось.
Отличие от прежних моделей
И Россия, и Украина раньше использовали ИИ в различных моделях дронов, однако до появления полностью автономных аппаратов искусственный интеллект применялся только на так называемой «последней миле» — на финальном этапе атаки, уже после того как удалённый пилот-человек выбрал цель. Полностью автономный ИИ исключает человека из процесса финального выбора цели.
Чип Nvidia в дроне, атаковавшем Запорожье, не был зашифрован, сообщили украинские официальные лица, поэтому специалисты смогли увидеть загруженные в модуль изображения местности, позволявшие дрону ориентироваться по визуальным ориентирам. Также удалось изучить код, показывающий, какие именно типы целей — например, баллоны с пропаном — дрон был обучен распознавать и атаковать.
Более ранние модели дронов, как правило, либо управляются людьми-операторами по радиосвязи или через оптоволоконный кабель, либо запрограммированы на конкретные координаты. Поскольку дроны стали доминировать на поле боя в Украине, их пилоты превратились в приоритетные цели. Автономный дрон с ИИ, в отличие от них, не требует пилота вообще и может быть точнее боеприпаса, запрограммированного лететь просто по координатам.
По данным местных офицеров ПВО, Россия при испытании автономных дронов в Запорожье целится в гражданские объекты — насосы или баллоны с пропаном на заправках, а также в военкоматы. Почему выбраны именно такие цели — не ясно.
Вадим Кушников, специалист по дронам из Харьковского авиационного института, отметил, что дрон, убивший троих жителей, был «предварительно запрограммированным инструментом, обученным в виртуальной реальности отслеживать конкретные объекты».
В отличие от обычного программного обеспечения, которое следует пошаговым правилам, написанным человеком, система ИИ сама выводит собственные правила, находя закономерности в огромных массивах данных. Этот процесс называют машинным обучением. Благодаря этому система способна справляться с непредвиденными ситуациями, но из-за этого же никто не может полностью предсказать её действия.
«За» и «против» автономного оружия
Правозащитные организации и Международный комитет Красного Креста категорически выступают против применения оружия с ИИ без участия человека в принятии решений. По их мнению, автономные системы фактически оставляют трактовку норм международного права о законных военных целях на усмотрение роботов.
Однако некоторые эксперты, напротив, считают, что в будущем оружие должно быть обязано иметь системы ИИ, аргументируя это тем, что такое оружие безопаснее, поскольку способно принимать решения перед ударом, пусть и не всегда безупречно, в отличие от неуправляемых авиабомб или обычных артиллерийских снарядов, которые просто падают, «не видя», во что они попадут.
Радиосигнал отсутствовал
Дрон, ставший причиной гибели людей, летел в группе примерно из полудюжины аппаратов, сообщили региональный военный губернатор, командующий ПВО города и дежурная группа противовоздушной обороны. Ни один из дронов не подавал радиосигналов, а сама волна запуска соответствовала характерным признакам российских испытаний автономного ИИ.
Часть протестированных Россией дронов с ИИ взрывались при ударе, другие оставались целыми — украинские представители показали журналистам NYT обломки двух таких аппаратов и сфотографировали установленный внутри компьютерный модуль Nvidia, после чего снимки были направлены в саму компанию.
Nvidia подтвердила, что на фотографиях изображён миникомпьютер Jetson Orin. Такие модули стоимостью всего в несколько сотен долларов уже находили на нескольких типах российского оружия. В официальном заявлении компания указала, что речь идёт о «потребительском продукте, который продаётся студентам, разработчикам и стартапам для широкого круга полезных задач». Nvidia не продаёт компьютер в России напрямую, однако он широко доступен через посредников-реселлеров.
Украина также испытывала собственные системы самонаведения на базе ИИ. Михаил Федоров, недавно снятый с поста министра обороны, в интервью The Times заявил, что в последние месяцы Украина тестировала полностью автономную систему ИИ на территории оккупированного Крыма — по его словам, устройства были нацелены на склады топлива и военную технику, и жертв среди гражданских не было.
При чём тут Nvidia
Хотя дроны, атаковавшие Запорожье, не имели антенн для передачи данных об испытаниях, российские войска часто используют разведывательные дроны, способные фиксировать результаты ударов, а в самом городе, как считается, действует российская агентурная сеть, оценивающая последствия атак.
Само по себе отсутствие антенны ещё не доказывает автономность дрона — он мог быть заранее запрограммирован лететь по маршруту с помощью компьютерных алгоритмов, десятилетиями применяемых в авиационных автопилотах. Но для этого не требовался бы чип Nvidia.
По данным украинских специалистов по ПВО, Россия начала испытательные полёты дронов «Молния» с ИИ (серийная модель самолётного типа) в мае, а тестирование системы самонаведения на другом самолётном дроне (V2U) началось на несколько месяцев раньше; часть испытаний V2U касалась только наведения на «последней миле».
Отдельно украинская военная разведка сообщила в этом месяце, что модуль Nvidia Jetson был обнаружен и на новом типе российской ракеты — С-71М «Монохром», которая проходит испытания при атаках на Украину; предположительно, система Nvidia могла использоваться для наведения ИИ.
Nvidia — самая дорогая компания мира по рыночной капитализации — называет линейку миникомпьютеров Jetson «самыми мощными в мире встроенными ИИ-компьютерами». Устройства работают на алгоритмах, обученных на больших массивах данных, а не запрограммированных человеком напрямую в виде явных правил. В качестве примера легального применения Nvidia приводит японского производителя Musashi, который обучил компьютер Jetson выявлять дефекты сварки и других элементов на коробках передач автомобилей и заменил тем самым людей-инспекторов, чью работу компания назвала «однообразной, напряжённой и не слишком увлекательной».
Печатная плата, к которой был подключён чип Nvidia, имело маркировку «Made in China». Каким образом компьютеры попали к российским военным — не установлено. США ограничивают экспорт подобных изделий в Россию для военного использования; Nvidia утверждает, что линейка Jetson в Россию официально не поставляется, но доступна через вторичные рынки, отследить которые компания не может.
Озноб от мысли
В интервью некоторые жители Запорожья, расположенного всего в 14 километрах от линии фронта, признались, что сама мысль об аппаратах, самостоятельно принимающих решение убить, вызывает у них озноб. Впрочем, украинские города годами подвергаются настолько интенсивным обстрелам, что жизнь там уже давно перестроена под менее «продвинутые» дроны.
Среди мер защиты жители и военные называют:
- дроны-перехватчики, которыми пока управляют люди — местные герои, сбивающие вражеские аппараты;
- антидроновые сети, закрывающие около 386 километров дорог в Запорожье и его окрестностях;
- маскировку — например, пластиковую плёнку, установленную под неправильными углами вокруг баллонов с пропаном на заправках, чтобы обмануть систему распознавания изображений ИИ.
«Они обучают технологию», — сказал полковник Минаев о российской стороне. По его словам, ИИ уже хорош, но пока не идеален: «Они ищут ошибки и будут их исправлять».
Напомним, что в субботу, 22 августа, российская армия нанесла семь ударов управляемыми авиационными бомбами по Балабино и Кушугуму в Запорожском районе. В результате атаки три человека погибли и еще 15 получили ранения, в том числе 13-летний подросток. Перед этим, 19 августа, оккупанты всю ночь атаковали Запорожье и Запорожский район дронами-камикадзе и управляемыми авиационными бомбами. В результате обстрелов со стороны РФ два человека погибли и еще десять жителей пострадали.
Следить в Телеграмме
Войти с помощью Facebook
Войти с помощью Twitter
Войти с помощью Google