347 Система удаленной экспертной поддержки с использованием дополненной реальности

Ролич Алексей Юрьевич

руководитель проекта

Старт

08.10.2021

Представление

09.10.2021

Постерная сессия

15.02.2022

Защита

20.04.2022

Паспорт проекта

Аннотация

Проектирование, разработка и испытания программно-аппаратного комплекса (ПАК) на базе Microsoft Hololens, с целью обеспечения объективного контроля качества технического обслуживания и ремонта (ТОиР), обеспечения полевого технического персонала ТОиР удаленной экспертной поддержкой путем передачи эксперту вида от первого лица, двусторонней голосовой связи и передаче экспертом полевому сотруднику графических и текстовых информационных блоков. В состав контура входят рабочие места полевого...

Отрасль

Информатика

Цель

Разработка инструмента удаленной экспертной поддержки с использованием шлема дополненной реальности Microsoft Hololens

Ожидаемые результаты

В 2021-2022 году в рамках проекта планируется разработать:
* программный модуль рисования для эксперта и отображения рисунков в дополненной реальности.
* подсистему фиксации и сохранения результатов общения удаленного эксперта и полевого сотрудника (логгирование звонков, сохранение видео, чата и т.д.)
* программные модули пользовательского интерфейса с интеграцией с базой знаний предприятия

Форма и способы промежуточного контроля

* Согласование ТЗ; * Согласование ПМИ; * Проведение регулярных демонстраций 1 раз в 2 недели; * Сдача-приемка по ПМИ.

Форма представления результатов

Форма представления промежуточных результатов: проектные дни – отчеты и собрания по задачам проекта, точки контроля – представление проектов, постерная сессия. Форма представления итоговых результатов: Репозиторий с программным кодом, отчет по проекту, документация пользователя и разработчика, презентация и защита проекта.

Ресурсное обеспечение

* Доступ к учебной лаборатории 3D-визуализации и компьютерной графики; * Очки дополненной реальности Microsoft Hololens * Ноутбук i5/ОЗУ 8 Гб и выше/HDD 256 Гб и выше/камера, микрофон; * Wi-Fi. * Арендованный облачный сервер

Имеющийся задел

В рамках проекта 2020-2021 года был создан прототип программного обеспечения, позволяющий производить звонки между стационарным компьютером эксперта и шлемом дополненной реальности MS Hololens полевого сотрудника-инженера. Организована видео и аудио-связь, возможность общения в текстовом формате в чате, реализована возможность "указки" в дополненной реальности, которой удаленно управляет эксперт, а также возможность скачивать и работать с документами в .pdf формате на базе MS Hololens...