Проект направлен на разработку и тестирование прототипа инструмента для автоматизированного моделирования prompt injection, искажённых запросов и многошаговых adversarial-сценариев с использованием нецензурируемых open-source LLM. Система преобразует базовый набор промптов в более сложные цепочки атак, имитирующие действия злоумышленника, и позволяет проверять устойчивость внутренних LLM компании к контекстным и ролевым искажениям, эскалации атак и обходу ограничений. В рамках проекта...

Отрасль

Информационная безопасность

Цель

Разработать и протестировать прототип инструмента масштабирования adversarial запросов, превращая базовый набор промптов в сложные, многошаговые атаки на LLM

Ожидаемые результаты

Собран стартовый датасет промптов
Выбраны наилучшие Open Source LLM для синтеза новых запросов на основе стартовых
Подготовлены промпты для синтеза новых запросов и оценки результатов ответов LLM
Подготовлена система автоматизации, где пользователю требуется только ввести данные о предметной области интеграции модели