Компанія Google DeepMind оголосила про створення DeepMind Institute — нового інституту, який має розширити дискусію про розвиток загального штучного інтелекту (Artificial general intelligence, AGI). Однією з перших пропозицій стала ідея створити в США незалежний орган для оцінювання найпотужніших моделей ШІ перед їхнім запуском. Інститут також планує досліджувати розбіжності в поглядах між Google, Google DeepMind та ширшою науковою спільнотою щодо розвитку AGI, повідомляє TechCrunch.
До керівництва DeepMind Institute увійшли співзасновник DeepMind Шейн Легг, керівник підрозділу Google Джеймс Маніка та колишній голова Google DeepMind Деміс Гассабіс. Легг також виконуватиме обов'язки головного редактора інституту.
За словами засновників, новий майданчик створили для відкритого обговорення питань, щодо яких у компанії та дослідників можуть бути різні позиції. У повідомленні йдеться: «Вони (компанія та науковці) не завжди матимуть однакову думку і, ймовірно, змінюватимуть свої погляди в міру появи нових даних та інформації на цьому стрімкому етапі розвитку технологій».
Першою публікацією інституту стала добірка з чотирьох есе, присвячених економічним наслідкам AGI, прозорості роботи моделей, принципам процвітання людства та методам оцінювання передових систем ШІ. Одне з есе, підготовлене дослідниками безпеки DeepMind Рохіном Шахом та Анкою Драган, присвячене проблемі так званого «вікна прозорості» моделей. Автори стверджують, що втрата можливості перевіряти покроковий хід міркувань ШІ не є неминучою, навіть якщо нові архітектури ускладнюють моніторинг найпотужніших систем.
Вони пропонують відкрито обговорювати компроміси між продуктивністю та безпекою, а також розглянути можливість обмеження «непрозорої послідовної глибини» — обсягу внутрішніх обчислень, які модель виконує без формування зрозумілого для людини ланцюжка міркувань. Інший варіант — вимагати від розробників доводити, що менш прозорі системи залишаються придатними для ефективного моніторингу.
В окремому есе Деміс Гассабіс пропонує створити у США орган зі встановлення стандартів для передових систем ШІ. За його задумом, компанії спочатку добровільно подаватимуть свої моделі на перевірку приблизно за 30 днів до запуску.
Якщо така система підтвердить свою ефективність, успішне проходження оцінювання може стати обов'язковою умовою для розгортання найпотужніших моделей у США. На початковому етапі критерії розроблятимуться спільно з компаніями, але згодом перевірки мають стати незалежними та конфіденційними, щоб запобігти адаптації моделей під відомі тести.
Гассабіс також допускає можливість посилення таких механізмів за потреби. За його словами, «якщо того вимагатиме серйозність ситуації», заходи можуть включати узгоджене сповільнення темпів розробки передових систем ШІ.
Поява DeepMind Institute відбувається на тлі помітних змін у дискусії про безпеку ШІ. Галузь дедалі більше переходить від загальних застережень до конкретних пропозицій щодо зовнішнього контролю, розкриття інформації та механізмів, які можуть застосовуватися, якщо розвиток технологій випереджатиме заходи безпеки.