Вчені з Університету Суррея створили нейромережу, яка може перетворити текст на відео з людиною, який показує його мовою жестів. Алгоритм окремо вчиться якісно вимальовувати кисті рук, оскільки саме вони важливі для точного сурдоперекладу, повідомляє «Громадське».
Потім текст проходить через кодування і перетворюється на скелетну модель тіла, яка показує текст жестами. Після цього послідовність поз кодується в вектор, а він об'єднується із зображенням людини, яке потрібно анімувати. Тоді послідовність поз передається на нейромережу U-Net, яка перетворює зміну поз на реалістичне відео.
Створений алгоритм здатний також удосконалити свої навички. Він аналізує те, наскільки вдало створив модель тіла на цей раз, і робить її кращою в наступний раз.
Дослідники перевірили роботу своєї нейромережі на записах роботи перекладачів жестової німецької мови. Виявилося, що створений штучний інтелект досяг значного подібності з зображенням жестів сурдоперекладачів. Зокрема, він дуже точно відтворював рухи кистей.
Підписуйтесь на наш Telegram-канал з новинами технологій і культури.
Раніше медики створили штучний інтелект, який здатний в автономному режимі аналізувати знімки комп'ютерної томографічної ангіографії (КТ-ангіографія) і шукати аневризми судин головного мозку пацієнтів. За словами вчених, нейромережа зможе помічати особливості, які не видні людському оку.