Большие языковые модели (LLM) уязвимы к атакам prompt injection — специально сконструированным запросам, обходящим ограничения безопасности и вызывающим нежелательное поведение. Нецензурируемые (uncensored) открытые LLM способны автоматически генерировать и обострять такие атаки, превращая базовый набор промптов в многошаговые цепочки состязательных атак. NeMo Guardrails предоставляет программируемые механизмы ограничения поведения LLM с возможностью выбора LLM-модели: универсального открытого...Подробнее

Определить, как выбор LLM-модели внутри NeMo Guardrails (универсальная открытая LLM vs специальной) влияет на способность guardrails обнаруживать и блокировать различные классы атак prompt injection. Проанализировать точность и чувствительность моделей и сравнить при автоматизированной генерации атак нецензурированными LLM. Определить, как архитектура развёртывания guardrails (MCP-сервер, перехватывающий вызовы на уровне протокола, vs прокси-сервер, фильтрующий на уровне промптов) влияет на...Подробнее

Еженедельный отчет

Работающий GPT-сервис с guardrails-защитой (демо-стенд) Презентация результатов проектной деятельности Текст научной статьи Репозиторий с исходным кодом в GitLab Постер

Локальный ПК с GPU (не менее 16 ГБ VRAM) для развёртывания LLM и(или) доступ к суперкомпьютеру cHARSMa (предпочтительно для одновременного запуска нескольких моделей) Python 3.10+, фреймворки: vLLM / Ollama для инференса LLM, NVIDIA NeMo Guardrails обслуживающая модель open-source LLM и для генерации adversarial-промптов нецензурируемая open-source LLM, модель безопасности

Нет