Оценка LLM на полных бенчмарках может занимать существенное время и требовать крупных вычислительных затрат, при этом для примерного понимания возможностей модели может хватать и совсем небольшого, хорошо составленного набора тестов. В качестве области измерения выбраны бенчмарки близкие к MERA с целью изучения качества ответов на вопросы, размышления, программирования, решения математических заданий. Проблема эффективной оценки LLM далеко не нова в области машинного обучения, и разные...Подробнее

Создать набор мини-бенчмарков из MERA и схожих бенчмарков, позволяющих пользователю быстро оценить возможности LLM без необходимости производить полный и дорогостоящий замер на бенчмарках по типу MERA.

Отчет о каждом выполненном этапе проекта Представление промежуточных результатов между этапами

Репозиторий со всеми файлами проекта, отчеты, итоговая презентация

Используются ресурсы ДКИ

На данный момент разработаны и проверены (на основе прогонов 15 моделей) 3 методики семплирования для бенчмарка MERA (Fenogenova et al., ACL 2024), из них выбрана одна лучшая. На ней был проведен еще один, более крупный, сравнительный анализ на основе прогонов 31 модели, и получен первый результат с корреляцией Пирсона и Спирмена примерно 93% Имеется кодовая база для семплирования и прогона всех трех вариантов выше