2654 Сравнительный анализ эффективности вывода генеративных больших языковых моделей на суперкомпьютере cHARISMa: влияние квантизации и масштабирования

Чой Е Рем

руководитель проекта

Заявка создана

15.09.2026

На рассмотрении у ПО

15.09.2026

Отправлен на комиссию

15.09.2026

Одобрен с рекомендациями

18.09.2026

Паспорт проекта

Аннотация

При развёртывании генеративных больших языковых моделей (LLM) на вычислительных кластерах эффективность обслуживающего вывода определяется взаимодействием архитектуры модели, точности весов и конфигурации узлов. Данное исследование направлено на систематическое оценивание этого взаимодействия на суперкомпьютере cHARISMa, содержащем узлы с ускорителями NVIDIA V100 (Volta) и A100 (Ampere). Квантизация — сжатие числовых значений весов модели до более низкой разрядности (с 16 до 4 бит), сокращающее...

Отрасль

Кибернетика

Цель

Установить количественные закономерности влияния 4-битной весовой квантизации (GPTQ и AWQ и конфигурации вычислительных узлов на характеристики обслуживающего вывода больших языковых моделей различной размерности на суперкомпьютере cHARISMa. Определить пороги рентабельности квантизации на разных поколениях ускорителей (V100/A100), провести сравнение базовой FP16, GPTQ и AWQ на совместимом оборудовании и выявить убывающую производительность при масштабировании числа узлов. Сравнение по...

Ожидаемые результаты

Обзор методов квантизации LLM
- Развёртывание обслуживающей среды vLLM на cHARISMa
- Конфигурация заданий Slurm для узлов с V100 и A100
- Загрузка готовых Instruct и AWQ-моделей из открытых репозиториев
Измерение четырёх координат для каждой пары «модель × конфигурация узлов × точность (FP16/Q4)»
- Исследование масштабирования на 1 и 2 узлах V100, а также влияние размера пакета запросов (1, 8, 16, 32)
- Измерение накладных расходов деквантизации на V100 vs A100
Получение профилей производительности