Логотип МИЭМ НИУ ВШЭ
Готов к работе
Логотип типа проекта Программный
Программный
2024 / 2025
Логотип проекта Фреймворк тестирования LLM-приложений

    2165 Фреймворк тестирования LLM-приложений

    Продлен
    26.05.2025
    Контроль ПО
    02.06.2025
    Отправлен на комиссию
    02.06.2025
    Одобрен с рекомендациями
    25.06.2025
    Исправлено
    02.09.2025

    Паспорт проекта

    Аннотация

    Проект на исследование утечек приватных данных в цепочках LLM-агентов, использующих инструменты и MCP. Мы разрабатываем фреймворк, который автоматически генерирует многошаговые prompt-инъекции в реалистичных сценариях (агенты с доступом к приватным файлам/репозиториям) и измеряет, как часто чувствительная информация «просачивается» через цепочку вызовов.

    Отрасль

    Информационная безопасность

    Теги

    LLM security
    Python
    Исследование

    Цель

    Систематически оценить уязвимость MCP- и tool-based цепочек агентов к атакам типа prompt-инъекция, приводящим к компрометации приватности пользователя, и проверить, насколько простые защитные механизмы (правила, фильтры ответов) способны снизить вероятность утечек.

    Ожидаемые результаты

    • Формализованная модель угроз и краткая таксономия основных сценариев атак на приватность в цепочках LLM-агентов
      • Рабочий прототип фреймворка, позволяющий запускать серии атак и автоматически детектировать утечки синтетических секретов/PII
        • Набор экспериментальных результатов с количественной оценкой частоты утечек до и после включения базовых защит, оформленный в виде краткого отчёта

          Форма и способы промежуточного контроля

          Онлайн-встрече и отчетность в мессенджерах

          Форма представления результатов

          Отчет и репозиторий

          Ресурсное обеспечение

          Личные компьютеры

          Имеющийся задел

          -

          Заказчик

          МИЭМ / ДЭИ