Одно из активно развивающихся направления - zero shot tts, генерация нового спикера по нескольким секундам аудио референса, без дообучения модели. Основной компонент таких систем - предобучение на большом объеме данных. Второй частый компонент - квантизованные энкодинги для аудио (audio codes). Примеры - VALL-E, Soundstorm, Voicebox. Существенная часть задачи - сбор и разметка сопоставимого по размерам русскоязычного датасета.

Собрать датасет с рускоязычной речью, обработать, обучить модель синтеза речи melle

Трекер, контроль от представителей VK

Постер сессия, презентация, гит с кодом , описание и документация

Кластер вшэ

Https://cabinet.miem.hse.ru/project/1808/0/passport