Логотип МИЭМ НИУ ВШЭ
Готов к работе
Логотип типа проекта Научно-исследовательская работа
Научно-исследовательская работа
2026 / 2027
Логотип проекта Исследование уязвимостей LLM к промпт-инъекциям и разработка защитных механизмов
    Комиссия 6
    От компании

2804 Исследование уязвимостей LLM к промпт-инъекциям и разработка защитных механизмов

Заявка создана
27.10.2026
Контроль ПО
27.10.2026
Отправлен на комиссию
27.10.2026
Одобрен с рекомендациями
27.10.2026
Исправлено
01.11.2026

Паспорт проекта

Аннотация

Большие языковые модели все шире внедряются в корпоративную среду, но остаются уязвимыми к специально сконструированным промптам, джейлбрейк-техникам и скрытым командам. Через них злоумышленник может обойти встроенные ограничения, получить несанкционированный доступ к функциям модели или вызвать утечку конфиденциальных данных. Стандартизированных методов оценки устойчивости LLM к таким атакам и открытых бенчмарков для сравнения защитных механизмов не хватает, особенно для сценариев, где модель...

Отрасль

Информационная безопасность

Теги

Кибербезопасность
Машинное обучение
NLP

Цель

Исследовать уязвимости больших языковых моделей к промпт-инъекциям и джейлбрейк-атакам, разработать и экспериментально оценить методы защиты (контент-фильтрация, санитизация промптов, поведенческий мониторинг) на открытых моделях и тестовых наборах данных.

Ожидаемые результаты

  • Классификация атак на LLM
    • Промпт-инъекции, джейлбрейки, скрытые команды
    • Сценарии с доступом модели к приватным данным и внешним инструментам
  • Тестовый набор
    • Не менее 500 промптов, атакующих и безопасных
    • Разметка по категориям угроз
  • Модули защиты на Python
    • Санитизация запросов и детекция вредоносных паттернов
    • Контент-фильтрация на основе классификатора
    • Прототип поведенческого мониторинга ответов
    • Открытый исходный код и документация
  • Экспериментальная оценка
    • Тестирование на открытых LLM

Форма и способы промежуточного контроля

Еженедельные встречи, ежемесячные совещания с руководителем проекта

Форма представления результатов

Защитные модули и тестовый набор промптов в репозитории, аналитический отчет, статья. Обзорная презентация.

Ресурсное обеспечение

Библиотека ВШЭ, открытые LLM, GPU МИЭМ

Имеющийся задел

Подобраны литература и открытые инструменты для оценки защищенности LLM: OWASP Top 10 for LLM Applications, бенчмарк JailbreakBench, фреймворк PyRIT для red teaming генеративных систем, база тактик MITRE ATLAS, NIST AI RMF. Определены метрики оценки защиты: ASR, FPR, задержка обработки запросов. Руководители готовы руководить ВКР по теме проекта.

Заказчик

Организация / Банк России