2179 Исследование методов атак и защиты предиктивных моделей ИИ

Виктор Минченков

руководитель проекта

Башун Владимир Владимирович

руководитель направления

Продлен

18.02.2026

Одобрен

19.02.2026

Паспорт проекта

Аннотация

Данное исследование посвящено анализу уязвимостей предиктивных моделей искусственного интеллекта к различным типам атак, включая состязательные воздействия и отравление данных. В работе рассматриваются и систематизируются современные методы атак, направленные на нарушение целостности и доступности моделей машинного обучения. Основной целью является разработка и оценка эффективности защитных механизмов, направленных на повышение робастности и безопасности ИИ-систем при принятии решений. Цель...

Отрасль

Информационная безопасность

Цель

Подготовить реестр решений и инструментов подходящих для защиты систем использующих ML - компоненты. Помочь разработчикам и исследователям лучше понимать риски безопасности в машинном обучении и выбирать подходящие инструменты для защиты.

Ожидаемые результаты

Будет сформулирован список причин, по которым атака класса патч на модели детекции может оказаться успешной или безуспешной
Будет подготовлена статья с результатами исследования причин успешности патч атак и методами улучшения средств защиты
Будет написан алгоритм атаки/защиты от атак класса патч с использованием результата исследования
Будет проведен комплексный анализ эффективности атак на предективные модели ИИ

Форма и способы промежуточного контроля

Планирование по SCRUM методологии. Онлайн встречи с руководителем каждую неделю. Очные и онлайн втсречи с куратором из VK минимум раз в месяц. Подготовка промежуточных отчетов за месяц.

Форма представления результатов

Подготовка итогового отчета о проведенных исследованиях.

Ресурсное обеспечение

ПК с установленным интерпретатором Python 3.8 и выше

Имеющийся задел

В рамках проекта в 2025 году был проведен обзор и тестирование большого количества готовых утилит для реализации атак на модели ИИ. При этом нет четкого обоснования, какие параметры наиболее эффективны для комплексного тестирования устойчивости модели, а во многих случаях предлагаемые параметры тестов совсем не давали четкого ответа о своей воспроизводимости. И текущем году предлагается более комплексно исследовать механизмы атак и защитных механизмов для усиления защиты моделей ИИ