Вчені навчили нейромережу "читати думки" за активністю мозку

Японські вчені створили нейромережу, яка здатна відновити зображення предметів, на які дивиться людина, за активністю мозку під час перегляду. На відміну від інших подібних розробок, нейромережа здатна виділяти важливі елементи зображення. Препринт дослідження вчених був опублікований на сайті bioRxiv.org.

Нейромережа зі значним ступенем подібності відтворила зображення геометричних фігур, символів і тварин.

Представлена нейромережа не зверталася до бібліотек зображень і патернів нейронної активності. Замість цього вона навчалася на невеликих змінах активності нейронів, що виникали при перегляді незначно відрізняються один від одного зображень. Щоб навчити нейромережу, добровольцям, поміщених у сканер для функціональної магнітно-резонансної томографії (фМРТ), демонстрували зображення, всього їх було 1200; кожну картинку учасники експерименту бачили по п'ять разів.

Після навчання нейромережа генерувала зображення, грунтуючись на даних фМРТ. Незважаючи на те, що на етапі навчання нейромережі добровольцям показували виключно фотографії реальних об'єктів, нейромережа виявилася здатна реконструювати і зображення абстрактних предметів, показаних учасникам експерименту після завершення навчання. Це говорить про те, що комп'ютер навчився узагальнювати інформацію, витягнуту з даних про активність мозку, і виділяти семантично значущі елементи зображення, а не тільки співвідносити патерни активності з наявними прикладами.

Раніше повідомлялося про те, що штучний інтелект зрівнявся в тесті IQ з чотирирічними дітьми. Автори використали тест WPPSI третього видання, який застосовується для дітей віком від 2,5 до 7 років. Щоб адаптувати видання для комп'ютерної програми, вчені використовували додаткові модулі, що переводять текстовий питання в набір ключових слів.