Одно из активно развивающихся направления - zero shot tts, генерация нового спикера по нескольким секундам аудио референса, без дообучения модели. Основной компонент таких систем - предобучение на большом объеме данных. Второй частый компонент - квантизованные энкодинги для аудио (audio codes). Примеры - VALL-E, Soundstorm, Voicebox. Существенная часть задачи - сбор и разметка сопоставимого по размерам русскоязычного датасета.

Собрать датасет с рускоязычной речью, обработать, обучить модель синтеза речи

Трекер, контроль от представителей VK

Файлы с датасетом, отчет по модели, раз в неделю устный рассказ

Кластер вшэ

Нет