Современные LLM-системы уязвимы к атакам с использованием промпт-инъектирущих запросов, позволяющих злоумышленникам манипулировать моделью для выполнения непредусмотренных действий (генерация токсичного или опасного контента). Такое поведение может быть задектировано нейросетевым анализом ответа модели. Текущие методы защиты ИТ-инфраструктуры не приспособлены для предотвращения атак на LLM-системы из-за их уникальной архитектуры.

Разработать платформу для мониторинга безопасности большой языковой модели и обнаружение промпт-инъектирующих атак (через запрос от пользователя). Формирование датасета будет осуществляться по средствам доступных датасетов, информации о проведенных атаках, автоматической генерации и ручной разметки. Реализация алгоритма проверки входного промпта на наличие подозрительного текста нейросетью. Разработка системы логирования входных и выходных данных.

Еженедельные встречи

Репозиторий с исходным кодом (frontend, backend, ML-модели) и инструкциями по развертыванию; Документация: подробное техническое описание архитектуры решения, схемы взаимодействия компонентов, примеры использования API

Личные компьютеры

Базовая система логирования, демо блокировки подозрительных промптов на Gigachat