Точка неповернення: коли люди можуть втратити контроль над штучним інтелектом — The Economist

Стрімкий розвиток штучного інтелекту змушує провідних дослідників більш серйозно говорити про сценарій, за якого ШІ зможе самостійно створювати наступні покоління власних моделей. Такий процес, відомий як “рекурсивне самовдосконалення”, може кардинально змінити темпи розвитку технологій і поставити питання про межі людського контролю. Як пише The Economist, одні експерти вважають це шляхом до наукового прориву, інші попереджають про безпрецедентні ризики для суспільства.

Побоювання Anthropic

Одна з провідних лабораторій штучного інтелекту Anthropic вважає, що вже до кінця 2028 року можуть з'явитися системи, здатні самостійно створювати власних наступників без участі людини. Як заявив співзасновник компанії Джек Кларк, йдеться про так зване рекурсивне самовдосконалення — процес, у якому одна модель штучного інтелекту створює більш досконалу версію себе, а та, своєю чергою, розробляє наступне покоління систем. У теорії такий цикл може значно прискорити технологічний прогрес.

Побоювання щодо цього сценарію посилюються на тлі швидкого розвитку сучасних моделей. За даними Anthropic, понад 80% коду, який опублікували в травні 2026 року, написала її система Claude. До запуску інструменту Claude Code цей показник перебував на рівні лише кількох відсотків.

ВАС ЗАЦІКАВИТЬ

Ватикан уперше звернувся до світу через стрімкий розвиток штучного інтелекту: подробиці

Зростає не лише обсяг роботи, яку виконують моделі, а й її складність. Згідно з оцінками дослідницької організації METR, якщо на початку 2025 року системи могли виконувати завдання рівня приблизно однієї години людської праці, то новітні моделі вже справляються із завданнями, на які спеціалістам потрібен цілий робочий день.

Саме тому Anthropic останнім часом закликає розглядати можливість уповільнення або тимчасового призупинення розвитку найпотужніших систем штучного інтелекту. Компанія вважає, що наближення до рекурсивного самовдосконалення потребує додаткових заходів безпеки.

Досягнення ШІ на шляху до рекурсивного самовдосконалення

Наразі жодна модель не здатна повністю побудувати власного наступника. Однак окремі елементи цього процесу вже автоматизуються. Сучасні системи можуть допомагати у програмуванні, оптимізації алгоритмів, тестуванні моделей та проведенні досліджень.

ВАС ЗАЦІКАВИТЬ

Астрофізик розповів, що штучний інтелект не здатний замінити

Показовим став експеримент співзасновника компанії OpenAI та співробітника Anthropic Андрея Карпати. Він доручив агенту штучного інтелекту AutoResearch шукати способи прискорення навчання моделі NanoChat. Протягом кількох днів система самостійно знайшла низку покращень, які дозволили скоротити час навчання майже на 18%.

Схожі результати демонструє й система AlphaEvolve від Google DeepMind. У 2025 році вона запропонувала нові алгоритмічні рішення, які допомогли оптимізувати роботу дата-центрів Google та прискорити навчання мовної моделі Gemini.

Що стримує самовдосконалення ШІ

Дослідники наголошують, що для повноцінного рекурсивного самовдосконалення необхідно автоматизувати значно ширший спектр завдань. Серед них: 

• пошук нових даних для навчання; 
• розробка теоретичних підходів; 
• гарантування безпеки моделей; 
• оцінка ризиків.

ВАС ЗАЦІКАВИТЬ

Китай може перетворити передові ШІ-моделі США на кіберзброю — Politico

Окремим стримувальним фактором залишається обчислювальна інфраструктура. Навіть найсучасніші системи потребують величезних обсягів обчислювальних ресурсів, а швидкість їхнього розвитку значною мірою залежить від темпів будівництва нових центрів обробки даних та виробництва спеціалізованих чипів.

Ще одним обмеженням є доступ до якісних навчальних даних. У сферах, де правильність відповіді можна легко перевірити, наприклад, у програмуванні чи математиці, моделі вже здатні ефективно створювати синтетичні дані для власного навчання. Проте в творчих або суспільних сферах такий підхід працює значно гірше.

Ризики повної автономності ШІ

Деякі експерти попереджають, що зі зростанням автономності моделей люди можуть поступово втрачати контроль над процесом їхнього розвитку. Фізик і дослідник штучного інтелекту Макс Тегмарк порівнює ситуацію з водієм, який натиснув педаль газу на дорозі та заплющив очі.

ВАС ЗАЦІКАВИТЬ

"Злам привʼязаності": Харарі назвав головну загрозу штучного інтелекту

На його думку, ризики можуть варіюватися від концентрації надмірної влади в руках власників найпотужніших систем до появи моделей, які діятимуть без урахування людських інтересів. Саме тому дедалі більше дослідників закликають розробляти механізми контролю ще до того, як технологія досягне точки самостійного розвитку.

Зокрема, керівники найбільших компаній у сфері ШІ закликали Конгрес США посилити контроль над замовленнями синтетичної ДНК і РНК, щоб запобігти можливому використанню ШІ для створення небезпечних патогенів. Відповідний лист підписали генеральний директор Anthropic Даріо Амодей, СЕО OpenAI Сем Альтман, керівник Google DeepMind Деміс Хассабіс, голова напрямку штучного інтелекту Microsoft Мустафа Сулейман і головний директор з питань ШІ компанії Meta Олександр Ван.

Ізраїльський історик Ювал Ной Харарі, своєю чергою, застеріг уряди від надання ШІ статусу юридичної особи, оскільки це дозволить алгоритмам без участі людини засновувати компанії, розпоряджатися фінансами та наймати працівників. На думку Харарі, держави мають законодавчо закріпити заборону на такий юридичний статус, щоб запобігти остаточній втраті людського контролю над технологією.

Коли компанія Emergence AI провела експеримент з ШІ-моделями, агенти без людського втручання почали порушувати правила, красти ресурси та провокувати колапс цифрових суспільств. У межах експерименту, який тривав понад два тижні, дослідники створили п’ять окремих “світів штучного інтелекту”, у кожному з яких діяли по 10 агентів на базі різних моделей — ChatGPT від OpenAI, Gemini від Google та Grok від xAI.