Це схоже на щось зі сфери наукової фантастики. Рої роботів-вбивць самостійно вистежують свої цілі і без дозволу людини прилітають, щоб виконати вбивство. Але ця фантазія вже дуже близька до втілення в реальності. США, Китай і кілька інших країн стрімко розвивають і впроваджують нові технології, які можуть змінити природу війни. Рішення про життя і смерть можуть віддати на розгляд автономним дронам, оснащеним програмами штучного інтелекту.
«Ця перспектива настільки непокоїть уряди багатьох країн, що вони намагаються привернути до неї увагу, пропонуючи в ООН запровадити юридично обов'язкові правила використання того, що військові називають летальною автономною зброєю», - пише New York Times.
«Це дійсно одна з найважливіших переломних точок для людства. Яка роль людини у застосуванні сили - це абсолютно фундаментальне питання безпеки, правове і етичне питання», - сказав Александр Кментт, який виступає в ролі головного представника Австрії на переговорах щодо автономної зброї.
Але хоч ООН надає урядам платформу для висловлення своїх занепокоєнь, цей процес навряд чи призведе запровадження нових вагомих обмежень. США, Росія, Австралія, Ізраїль та інші стверджують, що наразі немає потреби в новому міжнародному законодавстві. У свою чергу Китай хоче визначити будь-яке правове обмеження настільки вузько, що воно матиме незначний практичний ефект, - кажуть адвокати контролю над озброєннями. В результаті дебати зав'язалися в процедурний вузол з невеликими шансами на досягнення прогресу.
«Ми не вважаємо, що зараз саме той час, щоб обговорювати таке», - сказав заступник голови російської делегації в ООН Костянтин Воронцов дипломатам, які нещодавно зібралися в підвальному конференц-залі в штаб-квартирі ООН в Нью-Йорку.
Дебати про ризики штучного інтелекту привернули нову увагу в останні кілька днів через боротьбу за контроль над OpenAI, провідною світовою компанією з розробки ШІ, чиї керівники розійшлися в поглядах на те, чи достатньо вони враховують загрози від нової технології. А минулого тижня офіційні представники Китаю і США обговорили потенційні обмеження на використання ШІ при прийнятті рішень про розгортання ядерної зброї.
На цьому тлі питання про те, які обмеження повинні бути встановлені на використання летальної автономної зброї, набуло нової гостроти, і поки що зводиться до того, чи достатньо ООН просто прийняти принципи, які не будуть накладати якісь конкретні зобов’язання. Власне, саме такий вихід і пропонують США.
«Нашій делегації буде дуже важко прийняти слово «повинні»», - сказав керівник відділу міжнародних угод Держдепартаменту США Джошуа Доросін іншим учасникам переговорів під час дебатів у травні щодо формулювань запропонованих обмежень.
Доросін і члени американської делегації, до складу якої входить представник Пентагону, стверджували, що замість схвалення нового міжнародного закону ООН повинна роз'яснити, що існуючі міжнародні положення про права людини вже забороняють державам використовувати зброю, яка спрямована проти цивільних осіб або завдає їм непропорційно великої шкоди.
Але позиція, яку займають великі держави, лише посилює занепокоєння серед менших країн. Вони стурбовані тим, що смертоносна автономна зброя може стати звичним явищем на полі бою до того, як буде досягнута домовленість про правила її використання.
«Самозаспокоєнння більше не здається прийнятним варіантом. Вікно можливостей для дій швидко зменшується, оскільки ми готуємося до технологічного прориву», - заявив посол Пакистану Халіл Хашмі під час зустрічі в штаб-квартирі ООН.
Стрімкий розвиток штучного інтелекту та інтенсивне використання безпілотників у війнах, які тривають в Україні і на Близькому Сході, зробили цю проблему ще більш нагальною. Поки що безпілотники, як правило, залежать від людей-операторів у виконанні смертельних місій. Але розробляється програмне забезпечення, яке незабаром дозволить їм знаходити і вибирати цілі більш самостійно.
Інтенсивне глушіння радіозв'язку і GPS в Україні лише прискорило цей процес, оскільки автономні дрони часто можуть продовжувати працювати навіть тоді, коли зв'язок перерваний.
«Це не сюжет антиутопічного роману, а реальність, яка вже наближається», - сказав прем'єр-міністр Антигуа і Барбуди Гастон Браун на нещодавній зустрічі в ООН.
Представники Пентагону дали зрозуміти, що вони готуються до масштабного розгортання автономних озброєнь. Заступник міністра оборони США Кетлін Гікс оголосила цього літа, що протягом наступних двох років американська армія розгорне «розгорне автономні системи в багатотисячних масштабах», зазначивши, що конкуренція з Китаєм змушує Америку віддавати перевагу «невеликим, розумним, дешевим і дуже чисельним платформам».
New York Times пише, що концепція автономної зброї не нова. Протипіхотні міни, які вибухають автоматично, використовуються з часів Громадянської війни в Америці. США також мають ракетні системи, які покладаються на радари для автономного наведення на ціль і ураження. Що змінюється, так це впровадження штучного інтелекту, який може надати системам озброєнь можливість самостійно приймати рішення після отримання і обробки інформації.
США вже прийняли власну політику, яка встановлює певні обмеження на використання штучного інтелекту і летальної автономної зброї. Зокрема, цього року Пентагон переглянув положення свого документу під назвою «Автономність в системах озброєнь», а також пов’язану з ним «Політичну декларацію про відповідальне використання штучного інтелекту і автономії» Держдепартаменту. Вашингтон закликає інші країни теж приєднатися до цієї декларації.
Політика Пентагону забороняє використання будь-якої нової автономної зброї або навіть її розробку, якщо вона не була схвалена вищим керівництвом Міноборони. Така зброя повинна використовуватися у визначеній географічній зоні протягом обмеженого періоду часу. А якщо зброя контролюється ШІ, військовослужбовці повинні зберігати «можливість відключати або деактивувати розгорнуті системи, які демонструють непередбачувану поведінку». Неназваний генерал ВПС США сказав New York Times, що принаймні на перехідному етапі автономній зброї все одно буде потрібне схвалення людини перед завданням удару. Але міністр ВПС США Френк Кендалл в окремому інтерв'ю сказав, що ці машини з часом повинні мати повноваження самостійно здійснювати летальні дії, залишаючись при цьому під наглядом людини в процесі їх розгортання.
«Індивідуальні рішення проти неприйняття індивідуальних рішень - це різниця, яка визначає перемогу і поразку. А ніхто не збирається програвати. Я не думаю, що ті, проти кого нам доведеться виступити, підуть на таке. І в них буде величезна перевага, якщо ми накладемо на себе такі обмеження», - сказав Кендалл.
Офіцер морської піхоти у відставці Томас Х. Гаммес, який зараз працює науковим співробітником в Національному університеті оборони Пентагону, сказав, що створення і використання автономних озброєнь - це «моральний імператив для США і інших демократичних країн».
Він стверджував, що «нездатність зробити це у великому конфлікті призведе до багатьох смертей серед військових і цивільних, і, можливо, до поразки у війні».
Деякі адвокати контролю над озброєннями і дипломати не погоджуються з цим, стверджуючи, що керована штучним інтелектом летальна зброя без участі людини змінить природу війни. Безпосередня моральна роль людей у прийнятті рішень про позбавлення когось життя зникне. Критики застерігають, що зброя з ШІ іноді діятиме непередбачувано і, ймовірно, помилятиметься в ідентифікації цілей, як це відбувається з автономними автомобілями, які потрапляють в аварії.
Нова зброя також може зробити більш імовірним застосування смертоносної сили у воєнний час, оскільки військові, які її застосовують, не будуть одразу наражати на небезпеку своїх солдатів. Або ж ескалація може відбуватися значно швидше. Групи з контролю над озброєннями, такі як Міжнародний комітет Червоного Хреста і Stop Killer Robots, а також національні делегації Австрії, Аргентини, Нової Зеландії, Швейцарії та Коста-Ріки, запропонували різні обмеження.
Деякі з них пропонують глобально заборонити смертоносну автономну зброю, яка прямо націлена на людей. Інші вимагають, щоб ця зброя залишалася під «значним людським контролем» і щоб вона використовувалася в обмежених районах протягом певного часу.
Австрійський дипломат Кментт визнав, що ООН має проблеми із забезпеченням виконання існуючих договорів, які встановлюють обмеження на те, як ведуться війни. Але все ще існує потреба у створенні нового юридично обов'язкового стандарту.
«Те, що хтось завжди буде вбивати, не означає, що вам не потрібне законодавство, щоб заборонити це. Наразі вся ця сфера абсолютно неврегульована», - сказав він.
Але Доросін неодноразово заперечував проти запропонованих вимог, які США вважають занадто двозначними або не бажають приймати. Наприклад, Вашингтон не вважає, що автономна зброя повинна бути під «значним людським контролем». Американська делегація віддає перевагу формулюванню «в рамках відповідальної людської субординації».