2566 Создание большой языковой модели с полным циклом обучения

Кацнельсон Артём Игоревич

руководитель проекта

Старт

30.08.2026

Представление

05.11.2026 – 19.11.2026

Постерная сессия

26.01.2027 – 06.02.2027

Защита

06.04.2027 – 17.04.2027

Паспорт проекта

Аннотация

В условиях стремительной интеграции больших языковых моделей (БЯМ) в различные сферы деятельности, обеспечение технологического суверенитета становится критической задачей национального масштаба. Настоящая работа посвящена разработке независимого конвейера создания компактной БЯМ (менее 1 млрд параметров) на базе архитектуры Qwen. Ключевой особенностью подхода является отказ от использования предварительно обученных весов и методов прямой дистилляции знаний, что обеспечивает полную автономность...

Отрасль

Кибернетика

Цель

Проект ставит перед собой цель – воспроизвести первый (предварительный) этап обучение Qwen до 1B.

Ожидаемые результаты

Собран датасет для обучения LLM
Разработана методика эффективного сбора данных с целью воспроизведения БЯМ Qwen
Обучена собственная БЯМ которая воспроизводит метрики Qwen Base (минимум 60% от исходных).

Форма и способы промежуточного контроля

Работа по спринтам с циклом 2 недели. Доклады о выполненной работе с демонстрацией результатов на регулярных встречах

Форма представления результатов

Отчет о выполнении проекта и групповая презентация результатов проекта перед комиссией. Программный код и демонстрация работы написанного программного модуля.