Готов к работе
2024 / 2025

2165 Фреймворк тестирования LLM-приложений
Продлен
26.05.2025
Контроль ПО
02.06.2025
Отправлен на комиссию
02.06.2025
Одобрен с рекомендациями
25.06.2025
Исправлено
02.09.2025
Паспорт проекта
Аннотация
Проект на исследование утечек приватных данных в цепочках LLM-агентов, использующих инструменты и MCP. Мы разрабатываем фреймворк, который автоматически генерирует многошаговые prompt-инъекции в реалистичных сценариях (агенты с доступом к приватным файлам/репозиториям) и измеряет, как часто чувствительная информация «просачивается» через цепочку вызовов.
Отрасль
Информационная безопасность
Теги
LLM security
Python
Исследование
Цель
Систематически оценить уязвимость MCP- и tool-based цепочек агентов к атакам типа prompt-инъекция, приводящим к компрометации приватности пользователя, и проверить, насколько простые защитные механизмы (правила, фильтры ответов) способны снизить вероятность утечек.
Ожидаемые результаты
- Формализованная модель угроз и краткая таксономия основных сценариев атак на приватность в цепочках LLM-агентов
- Рабочий прототип фреймворка, позволяющий запускать серии атак и автоматически детектировать утечки синтетических секретов/PII
- Набор экспериментальных результатов с количественной оценкой частоты утечек до и после включения базовых защит, оформленный в виде краткого отчёта
Форма и способы промежуточного контроля
Онлайн-встрече и отчетность в мессенджерах
Форма представления результатов
Отчет и репозиторий
Ресурсное обеспечение
Личные компьютеры
Имеющийся задел
-
Заказчик
МИЭМ / ДЭИ