Логотип МИЭМ НИУ ВШЭ
Завершен
Логотип типа проекта Научно-исследовательская работа
Научно-исследовательская работа
2020 / 2021
Логотип проекта Speech2face: реконструкция лица по голосу
    От компании

650 Speech2face: реконструкция лица по голосу

Старт
15.10.2020

Паспорт проекта

Аннотация

Что мы можем сказать о внешности человека по тому, как он говорит? В рамках проекта будет изучаться задача восстановления образа лица человека из короткой аудиозаписи его речи. Мы спроектируем и обучим глубокую нейронную сеть для выполнения этой задачи, используя миллионы видео людей из Youtube. Во время обучения наша модель изучает аудиовизуальные корреляции голоса и лица, которые позволяют создавать изображения, отражающие различные физические характеристики говорящих, такие как возраст, пол...

Отрасль

Информатика

Теги

Информатика

Цель

Разработка и оптимизация структуры нейросети, предназначенной для распознавания пола, возраста и расы человека по голосу. Кроме того предполагается реализовать архитектуру, позволяющую восстановить черты лица по голосу.

Ожидаемые результаты

  • Нейросеть, предназначенная для распознавания пола, возраста и расы человека по голосу.

    Форма и способы промежуточного контроля

    - промежуточнфй отчет - презентация - постер

    Форма представления результатов

    - научная статья - отчет о проделанной работе - описание архитектуры сети

    Ресурсное обеспечение

    Кластер НИУ ВШЭ

    Имеющийся задел

    Заполнено автоматически

    Заказчик