Искусственный интеллект научился превращать текст в видео с языком жестов

30 ноября, 2020, 14:24 Распечатать
Отправить
Отправить

Алгоритм уже достиг значительного сходства с изображением жестов сурдопереводчиков.

Искусственный интеллект научился превращать текст в видео с языком жестов
Искусственный интеллект сможет превращать текст в видео с жестовым языком © vogazeta.ru

Ученые из Университета Суррея создали нейросеть, которая может превратить текст в видео с человеком, который показывает его языком жестов. Алгоритм отдельно учится качественно вырисовывать кисти рук, поскольку именно они важны для точного сурдоперевода, сообщает «Громадське».

Затем текст проходит через кодирование и превращается в скелетную модель тела, которая показывает текст жестами. После этого последовательность поз кодируется в вектор, а он объединяется с изображением человека, которое нужно анимировать. Тогда последовательность поз передается на нейросеть U-Net, которая превращает смену поз в реалистичное видео.

Созданный алгоритм способен также усовершенствовать свои навыки. Он анализирует то, насколько удачно создал модель тела на этот раз, и делает ее лучше в следующий раз.

Исследователи проверили работу своей нейросети на записях работы переводчиков жестового немецкого языка. Оказалось, что созданный искусственный интеллект достиг значительного сходства с изображением жестов сурдопереводчиков. В частности, он очень точно воспроизводил движения кистей.

Подписывайтесь на наш Telegram-канал с новостями технологий и культуры.

Читайте также: Искусственный интеллект научили искать аневризмы мозга

Ранее медики создали искусственный интеллект, который способен в автономном режиме анализировать снимки компьютерной томографической ангиографии (КТ-ангиография) и искать аневризмы сосудов головного мозга пациентов. По словам ученых, нейросеть сможет замечать особенности, которые не видны человеческому глазу.

Подготовил/ла : Фаина Ваулина
Оставайтесь в курсе последних событий! Подписывайтесь на наш канал в Telegram
Заметили ошибку?
Пожалуйста, выделите ее мышкой и нажмите Ctrl+Enter или Отправить ошибку
ДОБАВИТЬ КОММЕНТАРИЙ
Текст содержит недопустимые символы
ДОБАВИТЬ КОММЕНТАРИЙ
Осталось символов: 2000
Отправить комментарий
Последний Первый Популярный Всего комментариев: 0
Показать больше комментариев
Пожалуйста выберите один или несколько пунктов (до 3 шт.) которые по Вашему мнению определяет этот коментарий.
Пожалуйста выберите один или больше пунктов
Нецензурная лексика, ругань Флуд Нарушение действующего законодательства Украины Оскорбление участников дискуссии Реклама Разжигание розни Признаки троллинга и провокации Другая причина Отмена Отправить жалобу ОК