Ученые из Университета Суррея создали нейросеть, которая может превратить текст в видео с человеком, который показывает его языком жестов. Алгоритм отдельно учится качественно вырисовывать кисти рук, поскольку именно они важны для точного сурдоперевода, сообщает «Громадське».
Затем текст проходит через кодирование и превращается в скелетную модель тела, которая показывает текст жестами. После этого последовательность поз кодируется в вектор, а он объединяется с изображением человека, которое нужно анимировать. Тогда последовательность поз передается на нейросеть U-Net, которая превращает смену поз в реалистичное видео.
Созданный алгоритм способен также усовершенствовать свои навыки. Он анализирует то, насколько удачно создал модель тела на этот раз, и делает ее лучше в следующий раз.
Исследователи проверили работу своей нейросети на записях работы переводчиков жестового немецкого языка. Оказалось, что созданный искусственный интеллект достиг значительного сходства с изображением жестов сурдопереводчиков. В частности, он очень точно воспроизводил движения кистей.
Подписывайтесь на наш Telegram-канал с новостями технологий и культуры.
Ранее медики создали искусственный интеллект, который способен в автономном режиме анализировать снимки компьютерной томографической ангиографии (КТ-ангиография) и искать аневризмы сосудов головного мозга пациентов. По словам ученых, нейросеть сможет замечать особенности, которые не видны человеческому глазу.