• facebook
  • twitter
  • telegram
  • whatsapp
поделились
Image
Реальные изображения людей, восстановленные изображения и изображения, сделанные на основе голоса. © N+1.ru

Нейросеть научили рисовать лицо человека по его голосу

27 мая 2019, 18:46
Image
0

Иногда достаточно послушать речь человека, чтобы понять, что он из себя представляет и как выглядит. Теперь это умеет не только человек, но и современные технологии. TengriMIX со ссылкой на N+1.ru рассказывает, как нейросеть научили составлять портрет человека по его голосу.

Профессора Массачусетского технологического института для обучения нейросети применили датасет AVSpeech из более миллиона видео и ста тысяч разных людей. Каждый файл разделен на аудио- и видеодорожку. 

Один алгоритм изучает черты лица человека из видео для создания изображения, другой, используя его результаты, выдает приблизительную картинку с обликом человека, который разговаривает на видео.

Благодаря разработанному алгоритму разработчикам удалось добиться успехов в восстановлении изображений людей по голосу. Нейросеть способна угадывать пол человека, определять его приблизительный возраст, а также выдавать лицо людей, в частности с европеоидной и азиатской внешностью. 


Схема работы алгоритма. © N+1.ru 

Ученые признались, что составить точную картину по голосу человека пока не удается. Однако они продолжают исследовательскую работу. Этих параметров достаточно для создания анимационных аватаров.


Матрица ошибок для пола, расы и возраста. Чем контрастнее цвет по диагонали, тем точнее определен параметр. © N+1.ru 

Описание алгоритма и результаты его работы доступны в препринте, опубликованном на arXiv.org.



ПРЕДЫДУЩАЯ СТАТЬЯ
Объявлены победители кинофестиваля "Бастау"
СЛЕДУЮЩАЯ СТАТЬЯ
Его картины выставлялись в Париже. 13-летний художник из Алматы создает шедевры за 15 минут

Похожие новости

counter.yadro.ru