Готов к работе
2026 / 2027

2804 Исследование уязвимостей LLM к промпт-инъекциям и разработка защитных механизмов
Заявка создана
27.10.2026
Контроль ПО
27.10.2026
Отправлен на комиссию
27.10.2026
Одобрен с рекомендациями
27.10.2026
Исправлено
01.11.2026
Паспорт проекта
Аннотация
Большие языковые модели все шире внедряются в корпоративную среду, но остаются уязвимыми к специально сконструированным промптам, джейлбрейк-техникам и скрытым командам. Через них злоумышленник может обойти встроенные ограничения, получить несанкционированный доступ к функциям модели или вызвать утечку конфиденциальных данных. Стандартизированных методов оценки устойчивости LLM к таким атакам и открытых бенчмарков для сравнения защитных механизмов не хватает, особенно для сценариев, где модель...
Отрасль
Информационная безопасность
Теги
Кибербезопасность
Машинное обучение
NLP
Цель
Исследовать уязвимости больших языковых моделей к промпт-инъекциям и джейлбрейк-атакам, разработать и экспериментально оценить методы защиты (контент-фильтрация, санитизация промптов, поведенческий мониторинг) на открытых моделях и тестовых наборах данных.
Ожидаемые результаты
- Классификация атак на LLM
- Промпт-инъекции, джейлбрейки, скрытые команды
- Сценарии с доступом модели к приватным данным и внешним инструментам
- Тестовый набор
- Не менее 500 промптов, атакующих и безопасных
- Разметка по категориям угроз
- Модули защиты на Python
- Санитизация запросов и детекция вредоносных паттернов
- Контент-фильтрация на основе классификатора
- Прототип поведенческого мониторинга ответов
- Открытый исходный код и документация
- Экспериментальная оценка
- Тестирование на открытых LLM
Форма и способы промежуточного контроля
Еженедельные встречи, ежемесячные совещания с руководителем проекта
Форма представления результатов
Защитные модули и тестовый набор промптов в репозитории, аналитический отчет, статья.
Обзорная презентация.
Ресурсное обеспечение
Библиотека ВШЭ, открытые LLM, GPU МИЭМ
Имеющийся задел
Подобраны литература и открытые инструменты для оценки защищенности LLM: OWASP Top 10 for LLM Applications, бенчмарк JailbreakBench, фреймворк PyRIT для red teaming генеративных систем, база тактик MITRE ATLAS, NIST AI RMF. Определены метрики оценки защиты: ASR, FPR, задержка обработки запросов. Руководители готовы руководить ВКР по теме проекта.
Заказчик
Организация / Банк России