Новый искусственный интеллект Google уличили в дискриминации

Компания Google создала новый искусственный интеллект BERT, который научили правильно понимать контекст слова в предложении, что помогает ему лучше отвечать на поисковые запросы. Для его обучения использовали статьи из "Википедии" и СМИ. Но ИИ оказался недостаточно прогрессивным в расовых и гендерных вопросах. По мнению экспертов, он подхватил это из текстов, написанных людьми, сообщает "theБабель".

В основу функционирования BERT заложен принцип "универсальных языковых моделей", то есть, он изучает нюансы того, как люди говорят и пишут. Сначала он научился определять пропущенные слова в предложении, а затем перешел к более сложным задачам. В частности, он научился точно определять контекст слова и правильно реагировать на запросы.

Но группа экспертов из Университета Карнеги-Меллона обнаружила, что BERT чаще ассоциирует слово "программист" с мужчинами, чем с женщинами. Ученый в области компьютерной лингвистики Роберт Мунро ввел в BERT 100 английских слов, таких как "драгоценности", "ребенок", "лошади", "дом", "деньги", "действие". В 99 случаях искусственный интеллект связал эти слова с мужчинами. Исключением стало слово "мама", которое BERT ассоциировал с женщинами.

Мунро продолжил изучать языковые сервисы Google и Amazon и обнаружил, что обе нейросети не могли определить слово "ее" как местоимение, хотя "его" - могли. По его мнению, это является следствием исторической несправедливости, заложенной в текстах, которые используют для обучения.

Директор по науке стартапа Primer, который специализируется на технологиях естественного языка, Джон Боханнон использовал BERT, чтобы создать систему, позволяющую автоматически оценивать "настроение" заголовков, твитов и других потоков онлайн-медиа. Оказалось, что если в твите или заголовке встречались имя и фамилия президента США Дональда Трампа, то ИИ почти всегда помечал их как "негативные", даже если текст был нейтральным.

BERT и другие системы настолько сложны, что даже разработчики не всегда могут понять, как они работают. Вместе с тем, в Google и Amazon утверждают, что знают о проблеме и работают над повышением точности и устранением предвзятости в работе систем.

По мнению генерального директора Primer Шона Гарли, проверка поведения этой технологии станет настолько важной, что породит целую новую отрасль. Компании будут платить специалистам за то, чтобы они проверяли алгоритмы на адекватность и толерантность. "Это может быть миллиардная индустрия", - отметил он.

Подписывайтесь на наш Telegram-канал с новостями технологий и культуры.

Ранее искусственный интеллект научился предсказывать смерть пациента в ближайший год по данным ЭКГ даже в тех случаях, когда они кажутся нормальными врачам. Но ученые не знают, как он это делает.