Сортировать по свежести или популярности
Tengrinews Tengrinews TV Победители Обещания Законы Казахстана
Сортировать по свежести или популярности
prev next

Нейросеть научили рисовать лицо человека по его голосу

27 мая 2019, 18:46

0
Реальные изображения людей, восстановленные изображения и изображения, сделанные на основе голоса. ©   N+1.ru
Реальные изображения людей, восстановленные изображения и изображения, сделанные на основе голоса. © N+1.ru

Иногда достаточно послушать речь человека, чтобы понять, что он из себя представляет и как выглядит. Теперь это умеет не только человек, но и современные технологии. TengriMIX со ссылкой на N+1.ru рассказывает, как нейросеть научили составлять портрет человека по его голосу.

Профессора Массачусетского технологического института для обучения нейросети применили датасет AVSpeech из более миллиона видео и ста тысяч разных людей. Каждый файл разделен на аудио- и видеодорожку. 

Один алгоритм изучает черты лица человека из видео для создания изображения, другой, используя его результаты, выдает приблизительную картинку с обликом человека, который разговаривает на видео.

Благодаря разработанному алгоритму разработчикам удалось добиться успехов в восстановлении изображений людей по голосу. Нейросеть способна угадывать пол человека, определять его приблизительный возраст, а также выдавать лицо людей, в частности с европеоидной и азиатской внешностью. 


Схема работы алгоритма. © N+1.ru 

Ученые признались, что составить точную картину по голосу человека пока не удается. Однако они продолжают исследовательскую работу. Этих параметров достаточно для создания анимационных аватаров.


Матрица ошибок для пола, расы и возраста. Чем контрастнее цвет по диагонали, тем точнее определен параметр. © N+1.ru 

Описание алгоритма и результаты его работы доступны в препринте, опубликованном на arXiv.org.




smile Спасибо Вам за то, что Вы:

Вежливы ко всем участникам обсуждений, независимо от их национальности, вероисповедания и политических взлядов.

Уважаете чужое мнение и воздерживаетесь от оскорблений.

По возможности проверяете правильность написания.

Мы рады, что Вы с нами.

У нас еще много интересного для Вас:
Обедала на Каспии, отдыхала на Евфрате. Блогер проследил за приключениями хищной птицы

Широко известно, что осенью птицы устремляют свои взоры и крылья на юг, чтобы переждать снег и метель в теплых краях. Однако какие именно страны

0
93-летняя танцующая бабушка-модница стала звездой Сети

Пенсионерка Мэри Фрэнсис О'Брайен из штата Флорида (США) стала популярной в TikTok благодаря своим танцам и любви к моде. TengriMIX расскажет,

0
Драка зайцев, обнимающиеся пумы. Завораживающие снимки с фотоконкурса WildArt Photographer

Животные в своей естественной среде обитания завораживают как простых людей, так и профессиональных фотографов, которые умело и ловко захватывают

0
Ученые назвали неожиданные продукты для снижения риска сердечного приступа

Новое исследование ученых показало, что у людей, потребляющих больше молочного жира, риск сердечно-сосудистых заболеваний ниже, чем у тех, кто

0
vk Подпишитесь

чтобы узнавать все новости первым.

Следите за нами

в социальных сетях:

search_b Поиск по сайту

для быстрого доступа.

arrtop