Проект является продолжением проектов 394 «Цифровой след: сбор данных» и 300 "Интеграционная шина сервисов МИЭМ" с упором на задачи, связанные с разработкой инфраструктуры серверной части системы цифрового следа. В рамках реализации запланирован переход на полностью новую архитектуру системы и стек технологий, включающий в себя Apache Kafka, Clickhouse, Apache Airflow, перенос системы на новый сервер для обеспечения бесперебойной работы всех сервисов.

Внедрение и бесперебойная поддержка сервисов для сбора, обработки и хранения данных использования студентами и преподавателями цифровых сервисов НИУ ВШЭ.

• Еженедельное собрание с обсуждением задач • Code Review

• Внедрение инструментов в сервисы Цифрового МИЭМа • Публичная защита проекта перед комиссией

Сервер с ОС Linux (не менее 32 GB RAM, 20 CPU, 150 GB ROM)

Проект наследует адаптеры (сборщики данных) от текущей системы цифрового следа, будет использовать очередь сообщений на основе Apache Kafka, разработанную в рамках проекта по интеграционной шине, при этом общая архитектура системы с точки зрения способов хранения данных и взаимодействия с проектами по аналитике и визуализации цифрового следа перестраивается полностью.