Новий штучний інтелект Google звинуватили в дискримінації

Компанія Google створила новий штучний інтелект BERT, який навчили правильно розуміти контекст слова в реченні, що допомагає йому краще відповідати на запити. Для його навчання використовували статті з "Вікіпедії" та ЗМІ. Але ШІ виявився недостатньо прогресивним у расових і гендерних питаннях. На думку експертів, він підхопив це з текстів, написаних людьми, повідомляє "theБабель".

В основу функціонування BERT закладено принцип "універсальних мовних моделей", тобто він вивчає нюанси того, як люди говорять і пишуть. Спочатку він навчився визначати пропущені слова в реченні, а потім перейшов до більш складних завдань. Зокрема, він навчився точно визначати контекст слова і правильно реагувати на запити.

Але група експертів з Університету Карнегі-Меллона виявила, що BERT частіше асоціює слово "програміст" з чоловіками, ніж з жінками. Вчений у галузі комп'ютерної лінгвістики Роберт Мунро ввів в BERT 100 англійських слів, таких як "коштовності", "дитина", "коні", "будинок", "гроші", "дія". У 99 випадках штучний інтелект пов'язав ці слова з чоловіками. Винятком стало слово "мама", яке BERT асоціював з жінками.

Мунро продовжив вивчати мовні сервіси Google і Amazon і виявив, що обидві нейромережі не могли визначити слово "її" як займенник, хоча "його" - могли. На його думку, це є наслідком історичної несправедливості, закладеної в текстах, які використовують для навчання.

Директор з науки стартапу Primer, який спеціалізується на технологіях природної мови, Джон Боханнон використав BERT, щоб створити систему, що дозволяє автоматично оцінювати "настрій" заголовків, твітів і інших потоків онлайн-медіа. Виявилося, що якщо у твіті або заголовку зустрічалися ім'я та прізвище президента США Дональда Трампа, то ШІ майже завжди позначав їх як "негативні", навіть якщо текст був нейтральним.

BERT та інші системи настільки складні, що навіть розробники не завжди можуть зрозуміти, як вони працюють. Разом з тим, в Google і Amazon стверджують, що знають про проблему і працюють над підвищенням точності і усуненням упередженості в роботі систем.

На думку генерального директора Primer Шона Гарлі, перевірка поведінки цієї технології стане настільки важливою, що породить цілу нову галузь. Компанії будуть платити фахівцям за те, щоб вони перевіряли алгоритми на адекватність і толерантність. "Це може бути мільярдна індустрія", - зазначив він.

Підписуйтесь на наш Telegram-канал з новинами технологій та культури.

Раніше штучний інтелект навчився передбачати смерть пацієнта в найближчий рік за даними ЕКГ навіть у тих випадках, коли вони здаються нормальними лікарям. Але вчені не знають, як він це робить.