Проект направлен на исследование методов оценки устойчивости агентских систем и больших языковых моделей к некорректным, противоречивым и состязательным входным воздействиям. В рамках работы предполагается формализация типов некорректных запросов, разработка критериев поведенческой устойчивости и проведение сравнительного экспериментального анализа поведения моделей и агентных архитектур в условиях варьируемого входного контекста. Будет проведен комплексный анализ факторов, влияющих на...

Отрасль

Информационная безопасность

Цель

Исследование и экспериментальное обоснование методов количественной оценки устойчивости агентских систем и больших языковых моделей к некорректным входным воздействиям.

Ожидаемые результаты

Формализована классификация некорректных входных воздействий с критериями отнесения запросов к определённым типам и описанием их характеристик
Выполнение сравнительного анализа существующих метрик оценки устойчивости моделей LLM и агентских систем.
Проведен комплексный анализ открытых платформ для тестирования LLM-моделей и агентских систем и методов их защиты