Искусственный интеллект научился превращать текст в видео с языком жестов

Ученые из Университета Суррея создали нейросеть, которая может превратить текст в видео с человеком, который показывает его языком жестов. Алгоритм отдельно учится качественно вырисовывать кисти рук, поскольку именно они важны для точного сурдоперевода, сообщает «Громадське».

Затем текст проходит через кодирование и превращается в скелетную модель тела, которая показывает текст жестами. После этого последовательность поз кодируется в вектор, а он объединяется с изображением человека, которое нужно анимировать. Тогда последовательность поз передается на нейросеть U-Net, которая превращает смену поз в реалистичное видео.

Созданный алгоритм способен также усовершенствовать свои навыки. Он анализирует то, насколько удачно создал модель тела на этот раз, и делает ее лучше в следующий раз.

Исследователи проверили работу своей нейросети на записях работы переводчиков жестового немецкого языка. Оказалось, что созданный искусственный интеллект достиг значительного сходства с изображением жестов сурдопереводчиков. В частности, он очень точно воспроизводил движения кистей.

Подписывайтесь на наш Telegram-канал с новостями технологий и культуры.

ВАС ЗАИНТЕРЕСУЕТ

Искусственный интеллект научили искать аневризмы мозга

Ранее медики создали искусственный интеллект, который способен в автономном режиме анализировать снимки компьютерной томографической ангиографии (КТ-ангиография) и искать аневризмы сосудов головного мозга пациентов. По словам ученых, нейросеть сможет замечать особенности, которые не видны человеческому глазу.