Ученые предсказали слова человека по его взгляду

По тому, на что человек смотрит, можно определить, о чем он думает и что собирается сказать. К такому выводу пришли Морена Коко (Moreno Coco) и Франк Келлер (Frank Keller), ученые из университета Эдинбурга.

Они провели эксперимент с участием 24 добровольцев. Им демонстрировали картинки, изображающие различные сценки в помещениях, и просили описать увиденное.

Было использовано несколько основных сценариев, таких как "спальня" или "стойка регистрации в отеле". Предварительно участникам называли ключевые слова, изображенные на картинках, и просили использовать их в своем описании. В остальном, люди могли говорить все, что захотят.

При помощи специального устройства EyeLink II исследователи проследили за движением глаз испытуемых.

- Британские ученые опровергли "теорию лжи"

Результаты показали, что порядок, в котором люди останавливали свой взгляд на разных объектах, в точности совпадает с порядком слов, которые они произносили. Ученые были поражены, насколько тесной (а значит, предсказуемой) оказалась связь между взглядом и речью.

Команда исследователей попробовала предугадать, что будут говорить люди в зависимости от того, куда они смотрят. Для этого они использовали специальный алгоритм, который на основании записи направления взгляда безошибочно строил правильное предложение, выбирая из 576 вариантов описания.

Полученные результаты могут быть использованы в компьютерных системах распознавания речи, считает Чансун Лю (Changsong Liu) из Лаборатории языковых взаимодействий университета Мичигана, который не принимал участие в исследовании. Компьютерная "подсказка" может помочь в неоднозначных ситуациях. Например, слова "дерево" и "три" в английском языке произносятся почти одинаково. Но если человек смотрит на дерево, маловероятно, что он имеет в виду цифру.

Коко и Келлер выпустили статью в журнале Cognitive Science. Ее также можно скачать с сайта университета.

Сейчас авторы исследования изучают визуально-языковые взаимодействия в диалоге двух людей. "Двое человек, ведущих разговор, используют одинаковые синтаксические формы, выражения, их движения глаз похожи", - поясняет Коко. Существует гипотеза, что такая координационная "мимикрия" людей важна для принятия общих решений. !zn

Читайте также:

Ученые создали цифровой аналог живого организма

Обнаружены гены, связанные с интеллектом

Ученые придумали программу, которая распознает эмоции толпы людей