Штучний інтелект навчився перетворювати текст на відео з мовою жестів

30 листопада, 2020, 14:24 Роздрукувати
Відправити
Відправити

Алгоритм вже досяг значної подібності з зображенням жестів сурдоперекладачів.

Штучний інтелект навчився перетворювати текст на відео з мовою жестів
Штучний інтелект зможе перетворювати текст на відео з жестовою мовою © vogazeta.ru

Вчені з Університету Суррея створили нейромережу, яка може перетворити текст на відео з людиною, який показує його мовою жестів. Алгоритм окремо вчиться якісно вимальовувати кисті рук, оскільки саме вони важливі для точного сурдоперекладу, повідомляє «Громадське».

Потім текст проходить через кодування і перетворюється на скелетну модель тіла, яка показує текст жестами. Після цього послідовність поз кодується в вектор, а він об'єднується із зображенням людини, яке потрібно анімувати. Тоді послідовність поз передається на нейромережу U-Net, яка перетворює зміну поз на реалістичне відео.

Створений алгоритм здатний також удосконалити свої навички. Він аналізує те, наскільки вдало створив модель тіла на цей раз, і робить її кращою в наступний раз.

Дослідники перевірили роботу своєї нейромережі на записах роботи перекладачів жестової німецької мови. Виявилося, що створений штучний інтелект досяг значного подібності з зображенням жестів сурдоперекладачів. Зокрема, він дуже точно відтворював рухи кистей.

Підписуйтесь на наш Telegram-канал з новинами технологій і культури.

Читайте також: Штучний інтелект навчили шукати аневризми мозку

Раніше медики створили штучний інтелект, який здатний в автономному режимі аналізувати знімки комп'ютерної томографічної ангіографії (КТ-ангіографія) і шукати аневризми судин головного мозку пацієнтів. За словами вчених, нейромережа зможе помічати особливості, які не видні людському оку.

Підготував/ла : Фаина Ваулина
Ми повідомляємо тільки дійсно важливі новини. Долучайся до Telegram-каналу
Помітили помилку?
Будь ласка, виділіть її мишкою і натисніть Ctrl+Enter або Відправити помилку
ДОБАВИТЬ КОММЕНТАРИЙ
Текст содержит недопустимые символы
ДОБАВИТЬ КОММЕНТАРИЙ
Осталось символов: 2000
Отправить комментарий
Последний Первый Популярный Всего комментариев: 0
Показать больше комментариев
Пожалуйста выберите один или несколько пунктов (до 3 шт.) которые по Вашему мнению определяет этот коментарий.
Пожалуйста выберите один или больше пунктов
Нецензурна лексика, лайка Флуд Порушення дійсного законодвства України Образа учасників дискусії Реклама Розпалювання ворожнечі Ознаки троллінгу й провокації Інша причина Отмена Отправить жалобу ОК