2174 Инструмент контроля безопасности ML моделей и датасетов

Башун Владимир Владимирович

руководитель проекта

Старт

31.03.2025

Представление

27.01.2025 – 07.02.2025

Постерная сессия

14.04.2025 – 25.04.2025

Защита

05.11.2025 – 19.11.2025

Паспорт проекта

Аннотация

В рамках проекта должен быть разработан инструмент для оценки безопасности моделей машинного обучения и связанных с ними датасетов. С использованием нескольких открытых программных решений (OSS) будет реализован процесс дедупликации результатов, что позволит эффективно выявлять уязвимости и потенциальные угрозы.

Отрасль

Информационная безопасность

Цель

Создать интегрированный ресурс, который обеспечит разработчиков необходимыми инструментами для анализа и повышения безопасности их ML-систем

Ожидаемые результаты

Общие требования
- Обеспечение отказоустойчивости и производительности
- Сбор и отображение метрик производительности (время анализа, нагрузка)
- Логирование всех операций для последующего анализа
- Реализация интерфейса типа CLI для ввод моделей и датасетов и получения отчётов в удобном формате
- Инструмент должен быть модульным и легко расширяемым для интеграции с новыми OSS
Функционал анализа моделей
- Проверка на устойчивость к атака типа model stealing, membership inference attacks, adversarial attacks и др.