Завершен
2020 / 2021

650 Speech2face: реконструкция лица по голосу
Старт
15.10.2020
Паспорт проекта
Аннотация
Что мы можем сказать о внешности человека по тому, как он говорит? В рамках проекта будет изучаться задача восстановления образа лица человека из короткой аудиозаписи его речи. Мы спроектируем и обучим глубокую нейронную сеть для выполнения этой задачи, используя миллионы видео людей из Youtube. Во время обучения наша модель изучает аудиовизуальные корреляции голоса и лица, которые позволяют создавать изображения, отражающие различные физические характеристики говорящих, такие как возраст, пол...
Отрасль
Информатика
Теги
Информатика
Цель
Разработка и оптимизация структуры нейросети, предназначенной для распознавания пола, возраста и расы человека по голосу. Кроме того предполагается реализовать архитектуру, позволяющую восстановить черты лица по голосу.
Ожидаемые результаты
- Нейросеть, предназначенная для распознавания пола, возраста и расы человека по голосу.
Форма и способы промежуточного контроля
- промежуточнфй отчет
- презентация
- постер
Форма представления результатов
- научная статья
- отчет о проделанной работе
- описание архитектуры сети
Ресурсное обеспечение
Кластер НИУ ВШЭ
Имеющийся задел
Заполнено автоматически
Заказчик
Организация / Заполнено автоматически