Вчені навчили нейромережу вгадувати рух рук людини за її промовою

15 червня, 2019, 15:24 Роздрукувати
Відправити
Відправити

Алгоритм вивчає лише аудіозапис промови.

Вчені навчили нейромережу вгадувати рух рук людини за її промовою
Алгоритм створює відео на основі аудіозапису © скриншот видео

Вчені з Каліфорнійського університету в Берклі створили алгоритм, який може вгадати рух рук людини за її промовою. Як повідомляє N+1, для цього нейромережа вивчає лише аудіозапис промови, потім створює анімовану модель тіла людини, а потім на її основі генерує реалістичний відеоролик.

Наголошується, що роботу алгоритму можна розбити на дві частини: спочатку він прогнозує рух рук з аудіозапису промови, а потім візуалізує передбачені жести за допомогою алгоритму, який розробила в 2018 році суміжна група дослідників.

На першому етапі алгоритм на базі нейромережі UNet приймає двовимірну спектрограмму аудіозапису і перетворює її на одновимірний проміжний сигнал. Потім цей сигнал перетворюється на послідовність поз, представлених у вигляді скелетної моделі з 49 ключовими точками, що відбивають частини рук, плечей і шиї. Після цього послідовність поз передається алгоритму візуалізації, який перетворює її на відеоролик.

Для навчання алгоритму вчені зібрали базу даних, яка складалася із записів сумарною тривалістю 144 години. Зокрема, вона містила записи розмов телеведучих, лекторів і проповідників. За допомогою алгоритму OpenPose дослідники зіставили з кожним кадром з датасету скелетну модель. Отримуючи під час навчання записи промови і кадри з готовою моделлю, алгоритм навчився створювати реалістичні відеоролики.

Раніше штучний інтелект виявив ліки від малярії в зубній пасті. У ході дослідження вчені підключили штучний інтелект для аналізу того, як збудник, малярійний плазмодій, взаємодіє з триклозаном, антибіотиком із звичайної "лікувальної" зубної пасти. Цей антибіотик, як пояснюють біологи, пригнічує розмноження бактерій, заважаючи роботі одного з їхніх ключових ферментів, який відповідає за складання жирових молекул, необхідних для нормальної роботи клітинних стінок мікробів.

По матерiалам: N+1 / Підготував/ла : Фаина Ваулина
Ми повідомляємо тільки дійсно важливі новини. Долучайся до Telegram-каналу
Помітили помилку?
Будь ласка, виділіть її мишкою і натисніть Ctrl+Enter або Відправити помилку
ДОБАВИТЬ КОММЕНТАРИЙ
Текст содержит недопустимые символы
ДОБАВИТЬ КОММЕНТАРИЙ
Осталось символов: 2000
Отправить комментарий
Последний Первый Популярный Всего комментариев: 0
Показать больше комментариев
Пожалуйста выберите один или несколько пунктов (до 3 шт.) которые по Вашему мнению определяет этот коментарий.
Пожалуйста выберите один или больше пунктов
Нецензурна лексика, лайка Флуд Порушення дійсного законодвства України Образа учасників дискусії Реклама Розпалювання ворожнечі Ознаки троллінгу й провокації Інша причина Отмена Отправить жалобу ОК