Логотип МИЭМ НИУ ВШЭ
Рабочий
Логотип типа проекта Научно-исследовательская работа
Научно-исследовательская работа
2025 / 2026
Логотип проекта AI Detector Lab:  Лаборатория по верификации детекторов ИИ и анализу подлинности текстов

    2223 AI Detector Lab: Лаборатория по верификации детекторов ИИ и анализу подлинности текстов

    Старт
    24.05.2025
    Представление
    06.06.2025 – 17.06.2025
    Постерная сессия
    05.11.2025 – 19.11.2025
    Защита
    26.01.2026 – 06.02.2026

    Паспорт проекта

    Аннотация

    В рамках исследования предполагается разработка научно обоснованной методологии анализа и валидации ИИ-детекторов, их сравнительная оценка на реальных научных текстах, а также выработка рекомендаций по их использованию в академической среде.

    Отрасль

    Информатика

    Теги

    ML
    Моделирование
    Информатика

    Цель

    Цель: оценить эффективность, определить границы возможностей существующих инструментов (детекторов) и понять, насколько они применимы в академической среде. Выявить ограничения и предложить рекомендации для существующего проекта Spot the Bot. Подготовить аналитический отчет по результатам исследования , с интерпретацией результатов, научные публикации.

    Ожидаемые результаты

    • 1. Разработана методология анализа и оценки эффективности ИИ-детекторов на корпусе научных публикаций на русском и англ. яз. и открытых источников, БД
      • Генерация синтетических текстов (AI) с использованием GPT-3.5 и GPT-4.
      • Создание специальных кейсов: перефразирование, машинный перевод, смешанное авторство.
      • Подготовка размеченного корпуса с известным ground truth (исходно Human или AI), обеспечивающего объективность оценки.

    Форма и способы промежуточного контроля

    Регулярные встречи, промежуточные защиты в привязке к целям согласно плану-графику проекта

    Форма представления результатов

    Аналитический отчет, выступление на конференциях, публикации в научных изданиях

    Ресурсное обеспечение

    Доступ к библиотеке НИУ ВШЭ, возможно сторонним базам для формирования корпуса данных (сбора реальных академических текстов), ИИ для генерации ИИ-версий (включая парафразинг и переводы)

    Имеющийся задел

    Проект на ФКН "Поймай бота" https://cs.hse.ru/ai/clst/issa/spotthebot целью которого является разработка семантической модели, которая способна с высокой точностью отличать текст, написанный человеком, от текста, сгенерированного с помощью технологий искусственного интеллекта. Также выполнен предварительный анализ академических источников и литературы по работе существующих детекторов, составлен черновой перечень актуальных детекторов и их хакартеристик для последующего анализа.

    Заказчик

    НИУ ВШЭ / Департамент программной инженерии,