Австралийские исследователи разработали технологию искусственного интеллекта DeWave, которая может превращать беззвучные мысли в текст. Пользователю нужно только надеть плотно прилегающую «шапочку», сообщает Science Alert.
Ученые протестовали процесс чтения мыслей более чем на 20 испытуемых. Участники читали молча, надев «шапочку», которая записывала их мозговые волны с помощью электроэнцефалограммы (ЭЭГ) и расшифровывала их в текст.
«Это исследование — это новаторская попытка перевода необработанных волн ЭЭГ непосредственно в речь, это событие знаменует собой значительный прорыв в этой области», — отметил компьютерный ученый из Технологического университета Сиднея Чин-Тенг Лин.
Хотя DeWave достиг лишь около 40% точности, это на 3% лучше, чем предыдущий стандарт перевода мыслей по записям ЭЭГ. Цель исследователей — повысить точность до 90%. Такой показатель соответствует традиционным методам перевода языка и программному обеспечению для распознавания речи.
Недостатки других методов
Чтобы применить другие технологии перевода сигналов мозга в слова, нужно провести операции по имплантации электродов в тело человека или иметь громоздкие и дорогие МРТ-аппараты. Эти методы непрактичны для ежедневного использования.
К тому же, в большинстве случаев эти разработки должны постоянно отслеживать движение глаз, чтобы превратить сигналы мозга в прочитанные человеком слова. Когда глаза человека бегают от одного слова к другому, его мозг делает небольшой перерыв между обработкой каждого слова. Без отслеживания глаз, которое указывает на соответствующее слово-цель, перевести необработанную ЭЭГ-волну в слова гораздо сложнее. К тому же мозговые волны разных людей отображают перерывы между словами по-разному, что затрудняет интерпретацию мыслей искусственным интеллектом.
В чем преимущество DeWave
После длительного обучения кодер DeWave превращает волны ЭЭГ в код, который затем можно сопоставить с конкретными словами на основе того, насколько они близки к записям в «книге кодов» устройства.
«Это первая программа, которая использует методы дискретного кодирования в процессе перевода из мозга в текст, внедряя инновационный подход к нейронному декодированию. Интеграция с большими языковыми моделями открывает новые горизонты в нейронауках и ИИ», — объясняет Лин.
Лин и его команда использовали обученные языковые модели, которые включали комбинацию системы BERT с GPT. Они протестировали их на наборах данных, которые ученые получили при отслеживании движения глаз и активности мозга подопытных, когда те читали текст. Это помогло системе научиться соотносить волновые паттерны мозга со словами, после чего DeWave учили дальше с помощью обширной речевой модели с открытым исходным кодом, которая, по сути, составляет предложения из слов.
Лучше всего DeWave справился с расшифровкой глаголов. Существительные переводились, как правило, парами слов, которые означали примерно то же, но не были точным переводом. Например, вместо «автор» устройство декодировало слово «мужчина». Как отмечает один из авторов исследования Икун Дуань, такая ошибка происходит из-за того, что семантически похожие слова могут вызвать схожие волновые паттерны в мозге. «Несмотря на трудности, наша модель дает значительные результаты, сочетая ключевые слова и формируя схожие структуры предложений», — добавил он.
По словам ученых, их исследование более надежно, чем предыдущие благодаря относительно большому размеру выборки протестированных людей. Ученые учли, что распределение волн ЭЭГ у разных людей сильно варьируется.
Предстоит еще много работы. Пока сигнал DeWave довольно зашумлен из-за того, что ЭЭГ-сигналы поступают через «шапочку», а не имплантированные в мозг электроды. «Перевод мыслей непосредственно с мозга является ценной, но сложной задачей, которая требует значительных постоянных усилий», — отметили разработчики.
Ранее учёные впервые реконструировали изображения, которые видит человек, на основе активности мозга. Разработка количественно оценивает активность мозга и передает данные генеративному ИИ. Нейросеть в свою очередь рисует изображение, применяя методы прогнозирования, чтобы воспроизвести сложные объекты.