В рамках проекта должен быть создан программный инструмент, обеспечивающий автоматизированное проведение атак на модели глубокого обучения и формирование отчетности о результатах атак для оценки устойчивости и последующего повышения безопасности продуктовой линейки Infowatch, а так же наборы данных для дообучения/тестирования целевых моделей. Целевые модели – входящие в дистрибутив инструмента DAS модели computer vision (YOLO) и speech-to-text (WhisperSmall, WhisperLarge). Функциональные...

Отрасль

Информационная безопасность

Цель

Создать программный инструмент для автоматизированного проведения атак на модели глубокого обучения и формирования отчетности о результатах с целью оценки устойчивости и повышения безопасности продуктовой линейки Infowatch.

Ожидаемые результаты

Инструмент для автоматизированного проведения атак на модели глубокого обучения и формирования отчетности о результатах
- Инструмент должен поддерживать следующие атаки: Square Attack, HopSkipJump Attack, Pixel Attack, Decision‑based/Boundary Attack, ZOO
- Примечание: Перечень атак является открытым и может быть изменен в ходе проекта.
Наборы данных для обучения/тестирования моделей.

Форма и способы промежуточного контроля

Планирование по SCRUM методологии. Онлайн встречи с руководителем каждую неделю.

Форма представления результатов

Консольная утилита (python скрипт) для выполнения оценки безопасности моделей ИИ.

Ресурсное обеспечение

ПК с установленным интерпретатором Python 3.8 и выше

Имеющийся задел

Дистрибутив продукта DAS, включающий три модели: WhisperSmall, WhisperLarge — задачи Speech‑to‑Text; YOLO — детекция объектов и порнографического контента на скриншотах. Фреймворк (checkai), разрабатываемый в рамках проекта 2174, будет взят за основу и доработан под требования индустриального партнера.