Логотип МИЭМ НИУ ВШЭ
Рабочий
Логотип типа проекта Научно-исследовательская работа
Научно-исследовательская работа
2026 / 2027
Логотип проекта Выявление смешанных человеко-машинных текстов через синтаксический анализ с использованием локальных LLM

    2595 Выявление смешанных человеко-машинных текстов через синтаксический анализ с использованием локальных LLM

    Старт
    05.10.2026
    Представление
    05.11.2026 – 19.11.2026
    Постерная сессия
    26.01.2027 – 06.02.2027
    Защита
    06.04.2027 – 17.04.2027

    Паспорт проекта

    Аннотация

    Быстрый рост генеративных LLM создаёт угрозы текстовых deepfake-фальсификаций. Современные детекторы эффективны на целых текстах, но не справляются с гибридными документами. Предлагается метод поиска границ «человек—ИИ» на основе 15 синтаксических признаков (AICoreDetector). Для воспроизводимости экспериментов используются локальные LLM (Ollama + Qwen/Llama). Ожидаемый результат — алгоритм сегментации, бенчмарк из 5000 образцов, сравнение трёх моделей, статья и открытый код.

    Отрасль

    Информационная безопасность

    Теги

    Локальные LLM
    Детекция AI-текста
    Гибридные тексты
    Сегментация текста

    Цель

    Разработка и экспериментальная оценка метода автоматической сегментации гибридных текстов (человек + AI-вставки) на основе скользящего синтаксического профилирования с использованием локальных LLM для генерации тестовых данных и сравнительного анализа архитектур моделей

    Ожидаемые результаты

    • Анализ предметной области и обзор существующих решений
      • Систематический обзор методов детекции AI-текста с фокусом на сегментацию гибридных документов.
      • Анализ применимости локальных LLM (Ollama, llama.cpp) для задач генерации синтетических вставок.
      • Выбор 3 локальных моделей для сравнительного эксперимента (например, Qwen-2.5-7B, Llama-3.1-8B, DeepSeek-R1-Distill).
      • Изучение методов квантизации (GGUF, GPTQ) для эффективного запуска на ограниченных вычислительных ресурсах.

    Форма и способы промежуточного контроля

    Контроль реализован как многоуровневая система регулярных проверок. Еженедельная синхронизация (5–10 мин, онлайн/очно) — устный отчёт с демонстрацией кода, успех при выполнении ≥80 % плана. Двухнедельный отчёт (1–2 стр.) фиксирует задачи, результаты, проблемы и план, оценивается по наличию измеримых артефактов. Демонстрация прототипа — в конце месяцев, живой показ работающего решения с подтверждением ключевых вех. Code Review — ежемесячно, проверка кода командой, исправление замечаний,...

    Форма представления результатов

    1. GitHub/GitLab-репозиторий с: o Исходным кодом всех модулей (извлечение признаков, сегментатор, генератор данных). o Инструкцией по установке и воспроизведению экспериментов (README.md). o Сценариями запуска (shell-скрипты, Jupyter Notebooks). o Датами и результатами экспериментов в структурированном виде (CSV, JSON). 2. Научная статья (черновик и финальная версия): o Объём: 8–10 страниц, формат в соответствии с конференцией (например, AIST, AINL, IEEE). o Разделы: введение, обзор,...

    Ресурсное обеспечение

    ПО: Python 3.10+, spaCy (ru_core_news_lg), scikit-learn, Pandas, NumPy, Matplotlib, SHAP, Joblib — всё открытое. LLM-инфраструктура: Ollama для Qwen/Llama/DeepSeek, llama.cpp + GGUF для квантизации — локально, приватно, без лимитов. Вычисления: Colab (T4), Kaggle (P100), локальные ноутбуки с RTX 3060/4060 (≥8 ГБ VRAM). Минимум: 4 ядра CPU, 16 ГБ RAM, 6 ГБ VRAM для 7B-моделей в 4-bit. Оптимизация: Q4_K_M, окно 2048, batch-обработка, кэширование признаков — работа на студенческих...

    Имеющийся задел

    AICoreDetector — 15 синтаксических признаков + Random Forest (F1 = 0.901, AUC-ROC = 0.961). Датасет — 10 000 русскоязычных текстов (5K human + 5K AI) по моделям Llama, Qwen, DeepSeek. Опыт с LLM — Hugging Face API и локальный Ollama в предыдущих экспериментах. Компетенции команды — Python (продвинутый), PyTorch (базовый), spaCy/NLTK, scikit-learn/XGBoost, Git. Обзор — 38 источников по детекции AI-текста, выявлены ключевые паттерны и ограничения. Признание — лучшая студенческая работа (Тен...

    Заказчик

    МИЭМ / ДКИ