Вчені навчили нейромережу вгадувати рух рук людини за її промовою

Вчені з Каліфорнійського університету в Берклі створили алгоритм, який може вгадати рух рук людини за її промовою. Як повідомляє N+1, для цього нейромережа вивчає лише аудіозапис промови, потім створює анімовану модель тіла людини, а потім на її основі генерує реалістичний відеоролик.

Наголошується, що роботу алгоритму можна розбити на дві частини: спочатку він прогнозує рух рук з аудіозапису промови, а потім візуалізує передбачені жести за допомогою алгоритму, який розробила в 2018 році суміжна група дослідників.

На першому етапі алгоритм на базі нейромережі UNet приймає двовимірну спектрограмму аудіозапису і перетворює її на одновимірний проміжний сигнал. Потім цей сигнал перетворюється на послідовність поз, представлених у вигляді скелетної моделі з 49 ключовими точками, що відбивають частини рук, плечей і шиї. Після цього послідовність поз передається алгоритму візуалізації, який перетворює її на відеоролик.

Для навчання алгоритму вчені зібрали базу даних, яка складалася із записів сумарною тривалістю 144 години. Зокрема, вона містила записи розмов телеведучих, лекторів і проповідників. За допомогою алгоритму OpenPose дослідники зіставили з кожним кадром з датасету скелетну модель. Отримуючи під час навчання записи промови і кадри з готовою моделлю, алгоритм навчився створювати реалістичні відеоролики.

Раніше штучний інтелект виявив ліки від малярії в зубній пасті. У ході дослідження вчені підключили штучний інтелект для аналізу того, як збудник, малярійний плазмодій, взаємодіє з триклозаном, антибіотиком із звичайної "лікувальної" зубної пасти. Цей антибіотик, як пояснюють біологи, пригнічує розмноження бактерій, заважаючи роботі одного з їхніх ключових ферментів, який відповідає за складання жирових молекул, необхідних для нормальної роботи клітинних стінок мікробів.