Рабочий
2025 / 2026

2223 AI Detector Lab: Лаборатория по верификации детекторов ИИ и анализу подлинности текстов
Старт
24.05.2025
Представление
06.06.2025 – 17.06.2025
Постерная сессия
05.11.2025 – 19.11.2025
Защита
26.01.2026 – 06.02.2026
Паспорт проекта
Аннотация
В рамках исследования предполагается разработка научно обоснованной методологии анализа и валидации ИИ-детекторов, их сравнительная оценка на реальных научных текстах, а также выработка рекомендаций по их использованию в академической среде.
Отрасль
Информатика
Теги
ML
Моделирование
Информатика
Цель
Цель: оценить эффективность, определить границы возможностей существующих инструментов (детекторов) и понять, насколько они применимы в академической среде. Выявить ограничения и предложить рекомендации для существующего проекта Spot the Bot. Подготовить аналитический отчет по результатам исследования , с интерпретацией результатов, научные публикации.
Ожидаемые результаты
- 1. Разработана методология анализа и оценки эффективности ИИ-детекторов на корпусе научных публикаций на русском и англ. яз. и открытых источников, БД
- Генерация синтетических текстов (AI) с использованием GPT-3.5 и GPT-4.
- Создание специальных кейсов: перефразирование, машинный перевод, смешанное авторство.
- Подготовка размеченного корпуса с известным ground truth (исходно Human или AI), обеспечивающего объективность оценки.
Форма и способы промежуточного контроля
Регулярные встречи, промежуточные защиты в привязке к целям согласно плану-графику проекта
Форма представления результатов
Аналитический отчет, выступление на конференциях, публикации в научных изданиях
Ресурсное обеспечение
Доступ к библиотеке НИУ ВШЭ, возможно сторонним базам для формирования корпуса данных (сбора реальных академических текстов), ИИ для генерации ИИ-версий (включая парафразинг и переводы)
Имеющийся задел
Проект на ФКН "Поймай бота" https://cs.hse.ru/ai/clst/issa/spotthebot целью которого является разработка семантической модели, которая способна с высокой точностью отличать текст, написанный человеком, от текста, сгенерированного с помощью технологий искусственного интеллекта. Также выполнен предварительный анализ академических источников и литературы по работе существующих детекторов, составлен черновой перечень актуальных детекторов и их хакартеристик для последующего анализа.
Заказчик
НИУ ВШЭ / Департамент программной инженерии,