VeLO — это недавно разработанный мета-оптимизатор, который, как было показано в ходе исследований, превосходит оптимизатор AdamW с настроенными параметрами при использовании в большинстве простых задач глубокого обучения. Однако VeLO в настоящее время доступен только для экосистемы JAX, что ограничивает его доступность для большинства специалистов по глубокому обучению, которые используют PyTorch.

Цель проекта - перенести реализацию оптимизатора VeLO с фреймворка JAX на фреймворк PyTorch, тщательно протестировать корректность его работы на neuron2neuron input/output тестах и производительность на сложных задачах оптимизации в DL.

Еженедельные встречи с руководителем проекта для обсуждения проделанной работы, обсуждения трудностей и корректировки плана.

Репозиторий с программным кодом проекта

Личные ноутбуки участников проекта

Oтсутствует