Современные подходы к тестированию больших языковых моделей (LLM) в основном фокусируются на генерации токсичного или вредоносного контента самой моделью и недостаточно учитывают риски, возникающие при их интеграции в веб-приложения. Особенно слабо изучены уязвимости, связанные с механизмом Tool Calling: ошибки в проектировании или реализации могут привести к подмене параметров вызова, несанкционированным действиям и выходу за пределы песочницы. В рамках проекта разрабатывается...Подробнее

Разработать единую платформу для выявления уязвимостей веб-приложений, интегрированных с большими языковыми моделями, к атакам типа prompt injection, направленным на компрометацию механизмов Tool Calling, включая несанкционированный вызов инструментов, манипуляцию их параметрами и выход за пределы песочницы выполнения.

Планирование по SCRUM методологии. Онлайн встречи с руководителем каждую неделю. Подготовка промежуточных отчетов

Демонстрация готового стенда, реализующего тестирование устойчивости к промпт-инъекциям веб-приложений, имеющих интеграцию с LLM

ПК с установленным интерпретатором Python 3.8 и выше GPU для локального развертывания ИИ

Обзор научной литературы на темы атак на LLM и LLM-системы, программные реализации части рассматриваемых методов атак