Японские ученые создали нейросеть, которая способна восстановить изображения предметов, на которые смотрит человек, по активности мозга во время просмотров. В отличие от других подобных разработок, нейросеть способна выделять важные элементы изображений. Препринт исследования ученых был опубликован на сайте bioRxiv.org.
Нейросеть со значительной степенью подобия воссоздала изображения геометрических фигур, символов и животных.
Представленная нейросеть не обращалась к библиотекам изображений и паттернов нейронной активности. Вместо этого она обучалась на небольших изменениях активности нейронов, возникавших при просмотре незначительно отличающихся друг от друга изображений. Чтобы обучить нейросеть, добровольцам, помещенным в сканер для функциональной магнитно-резонансной томографии (фМРТ), демонстрировали изображения, всего их было 1200; каждую картинку участники эксперимента видели по пять раз.
После обучения нейросеть генерировала изображения, основываясь на данных фМРТ. Несмотря на то, что на этапе обучения нейросети добровольцам показывали исключительно фотографии реальных объектов, нейросеть оказалась способна реконструировать и изображения абстрактных предметов, показанных участникам эксперимента после завершения обучения. Это говорит о том, что компьютер научился обобщать информацию, извлеченную из данных об активности мозга, и выделять семантически значимые элементы изображений, а не только соотносить паттерны активности с имеющимися примерами.
Ранее сообщалось о том, что искусственный интеллект сравнялся в тесте IQ с четырехлетними детьми. Авторы использовали тест WPPSI третьего издания, который применяется для детей в возрасте от 2,5 до 7 лет. Чтобы адаптировать издание для компьютерной программы, ученые использовали дополнительные модули, переводящие текстовый вопрос в набор ключевых слов.