Ученые использовали Daily Mail и CNN для обучения искусственного интеллекта

Команда исследователей, которые специализируются на глубоком машинном обучении, из Google DeepMind и Оксфордского университета научила 3 читать тексты и отвечать на вопросы о содержании прочитанного. Причем в этом им "нечаянно" помогли сайты Daily Mail и CNN, которые открыли доступ к огромному архиву своих новостей.

Одной из проблем в процессе обучения нейросетей было отсутствие значительных баз данных, которые содержали бы не только тексты, но также специальные описания их ключевых моментов и структур. До недавнего времени создать такую базу могли только высокооплачиваемые специалисты-редакторы, причем на это ушло бы значительное количество финансовых ресурсов.

Однако Daily Mail и CNN открыли для всеобщего доступа полные архивы своих новостей. Любая новость имеет помимо основного текста еще и такие блоки как "лид", "минилид" или "райтколл" – краткую аннотацию ключевых моментов любой новости и их взаимосвязей. Все вместе это создало необходимые условия для обучения нейросетей под задачу чтения и "понимания" текстов.

К примеру, в тексте про убийство президента США Джона Кеннеди будут многократно встречаться сочетания "Ли Харви Освальд", "стрелял" и "Кеннеди". Также может быть и полное предложение "Ли Харви Освальд стрелял в Далласе в Кеннеди". Искусственному интеллекту может быть задан запрос "Х стрелял в Далласе в Кеннеди". После анализа частоты совместного появления данных слов и их относительную близость, он легко найдет ответ – "Ли Харви Освальд".

Сформированные таким образом связи могут быть перенесены и на другие ситуации, и в этом случае искусственный интеллект выдаст информацию на запрос, например, "Кеннеди обстреляли в Далласе. Задержан Х" вновь "Ли Харви Освальд", притом, что набор слов будет отличаться.

На данный момент программа отвечает правильно на 60% запросов. Исследователи предполагают, что они смогут довести количество верных ответов до 100% при условии, что запросы будут грамматически просты. Будет ли данная программа также эффективна при менее структурированных текстах, чем новости, пока неизвестно.

Ранее британский физик-теоретик Стивен Хокинг заявил, что в течение 100 лет искусственный интеллект возобладает над человечеством.