Оценка LLM на полных бенчмарках может занимать существенное время и требовать крупных затрат электроэнергии, при этом для примерного понимания возможностей модели может хватать и совсем небольшого, хорошо составленного набора тестов. Проблема эффективной оценки LLM далеко не нова в области машинного обучения, и разные команды предлагали разные подходы к ее решению. Мы хотим масштабировать эти подходы, где-то использовать свои, и создать достаточно крупный набор собственных бенчмарков под...Подробнее

Создать набор мини-бенчмарков, позволяющих пользователю быстро оценить возможности LLM в той или иной области знания и выбрать подходящую

Отчет о каждом выполненном этапе проекта Представление промежуточных результатов между этапами

Репозиторий со всеми файлами проекта, отчеты, итоговая презентация

Используются ресурсы ДКИ

На данный момент разработаны и проверены (на основе прогонов 15 моделей) 3 методики семплирования для бенчмарка MERA (Fenogenova et al., ACL 2024), из них выбрана одна лучшая. На ней был проведен еще один, более крупный, сравнительный анализ на основе прогонов 31 модели, и получен первый результат с корреляцией Пирсона и Спирмена примерно 93% Имеется кодовая база для семплирования и прогона всех трех вариантов выше