Проект выполняется в рамках Мастерской безопасной разработки и эксплуатации высоконагруженных систем Инженерно-математической школы НИУ ВШЭ и VK. Проект направлен на разработку методов квантизации малых языковых моделей серии Qwen для локального использования на устройствах с ограниченными вычислительными ресурсами. В рамках работы исследуется влияние снижения точности представления весов на качество русскоязычной генерации, способность модели следовать инструкциям, устойчивость к опасным...Подробнее

Исследовать и экспериментально обосновать методы квантизации малых языковых моделей, позволяющие повысить качество русскоязычной генерации и сохранить управляемое поведение модели при локальном развертывании на устройствах с ограниченными вычислительными ресурсами.

Еженедельно проводятся встречи в смешанном формате. На встречах обсуждаются достигнутые результаты, проверяются рабочие гипотезы и формируются задачи на следующую неделю.

Итоговые результаты проекта будут оформлены в виде презентационных материалов с описанием целей, хода работы, реализованных решений и достигнутых результатов. Представление результатов проекта планируется в формате итоговой защиты на демонстрационном дне Инженерно-математической школы. От команды требуется предоставить следующие результаты: - Исследовательский отчёт и презентация - Исходный программный код

Участники проекта обеспечены необходимыми техническими, информационными и организационными ресурсами, включая доступ к инструментам разработки и тестирования.

Проведена первичная экспериментальная проверка влияния квантизации на безопасность моделей Qwen 3. Получены результаты, показывающие, что квантизация меняет устойчивость модели к вредоносным запросам неравномерно и может как снижать, так и усиливать риск небезопасных ответов. Дополнительно выполнена локализация внутренних областей модели, связанных с механизмом отказа. Показано, что частичное сохранение найденных областей в высокой точности может снижать уязвимость квантизованной модели, что...Подробнее