Проект был запущен в рамках совместной мастерской "ML в информационной безопасности" МИЭМ ВШЭ и компании Ozon Tech. Поведение всех текущих LLM в Open Source зависит от позиции, убеждений и предпочтений компании-разработчика, местом дислокации этой компании. Использование таких моделей в узкоспециализированных задачах ведет к тому, что LLM не в полной мере отражает позицию Ozon и может транслировать на внешнюю аудиторию то, что не соответствует политикам компании или законодательству страны...

Отрасль

Информационная безопасность

Цель

Разработать и протестировать прототип инструмента генерации обучающих и тестовых данных на основе политики контента компании, запрещенных тем и форм поведения LLM для решения следующих задач: - генеративный поиск товаров, - генерация автоответов на отзывы покупателей, - генеративный чат-бот поддержки клиентов.

Ожидаемые результаты

Собран стартовый датасет промптов
Выбраны наилучшие Open Source LLM для синтеза новых запросов на основе стартовых
Подготовлены промпты для синтеза новых запросов и оценки результатов ответов LLM
Подготовлена система автоматизации, где пользователю требуется только ввести данные о предметной области интеграции модели, возможностях ввода негатив

Форма и способы промежуточного контроля

Работа над проектом сопровождается еженедельными онлайн-встречами с кураторами из Ozon Tech и руководителем от МИЭМ ВШЭ. На встречах обсуждаются достигнутые результаты, проверяются рабочие гипотезы и формируются задачи на следующую неделю.

Форма представления результатов

Итоговые результаты проекта будут оформлены в виде презентационных материалов с описанием целей, хода работы, реализованных решений и достигнутых результатов. Представление результатов проекта планируется в формате итоговой защиты в офисе компании. От команды требуется предоставить следующие результаты: - Исследовательский отчёт и презентация. - Набор стартовых промптов с документацией (формат HuggingFace Dataset). - Система автоматизации (формат Docker-контейнера)

Ресурсное обеспечение

Участники проекта обеспечены необходимыми техническими, информационными и организационными ресурсами, включая доступ к инструментам разработки и тестирования, материалам проекта и регулярной методической поддержке со стороны кураторов компании.

Имеющийся задел

Имеющийся задел сформирован на основе исследовательской и практической работы компании Ozon в области применения языковых моделей. Предварительно определены основные задачи проекта, требования к результату и подходы к дальнейшей разработке.