В рамках проекта планируется разработать русскоязычная визуально-языковая модель (VLM) для анализа компьютерной томографии, объединяющая 3D-визуальный энкодер и языковую модель масштаба ~8 млрд параметров. Система предназначена для интерпретации клинического контекста на русском языке, включая ответы на вопросы по исследованию, извлечение диагностически значимых находок, автоматизированное краткое резюмирование и формирование черновых вариантов заключений. Актуальность проекта обусловлена...

Отрасль

Медицина и здравоохранение

Цель

Разработать вычислительно эффективную русскоязычную визуально-языковую модель для анализа трёхмерных данных компьютерной томографии, обеспечивающей автоматизированное извлечение клинической информации, формирование ответов на диагностические запросы и генерацию структурированных черновых заключений.

Ожидаемые результаты

Предобучение визуального энкодера
- Реализован скрипт для llm парсинга заключений на наличие мультилейбл классификационных признаков
- Подготовлен датасет пар КТ- текст заключения с дополнительными классификационными мультилейбл признаками
- 3D-энкодер ViT/Swin-типа предобучен на задачу контрастивного перевода КТ и текст заключения в единое векторное пространство с дополнительным лоссом
Файнтюн VLM с 8B LLM

Форма и способы промежуточного контроля

Канал коммуникации: Яндекс-телемост График созвонов и встреч: - Еженедельно проводятся встречи с командой. На них проходит подведение итогов предыдущей недели, распределение задач на новый срок; - Ежемесячно сдается отчетность по проекту

Форма представления результатов

Месяц 1-2: сбор/очистка датасета, автоматическая аннотация классификационных меток, реализация архитектуры, метрик, классов проекторов. Месяц 2-4: предобучение визуального энкодера, реализация пайплайна обучения VLM Месяц 4-6: проведение экспериментов обучения VLM с различными гиперпараметрами Месяц 6-8: анализ зависимостей целевых метрик от гиперпараметров и тестирование на клинических задачах, реализация апи сервиса.

Ресурсное обеспечение

Участникам команды необходимо иметь: - ОС: Любая Минимальные системные требования: * *- ЦПУ: Процессоры x64 с поддержкой SSE4.2, от четырехъядерных процессоров Intel или AMD с частотой 2,5+ ГГц * *- ОЗУ: от 16 Гб * *- Хранилище: Не менее 2 ТБ свободного места. Проект планирует использовать вычислительные ресурсы суперкомпьютера Charisma НИУ ВШЭ

Имеющийся задел

Обезличенные КТ-объёмы (thorax/abdomen/pelvis), связанные с русскоязычными отчётами/метаданными; дополнительно - контролируемый перевод англоязычных отчётов в RU. 2. Описан иерархический классификатор находок на КТ .