1183 Виртуальная тренировочная среда для восстановления мелкой моторики пальцев для людей с инвалидностью

Ролич Алексей Юрьевич

руководитель проекта

Старт

22.10.2022

Представление

03.11.2022

Постерная сессия

02.02.2023

Защита

01.11.2023

Паспорт проекта

Аннотация

Люди, перенесшие ампутацию верхней конечности, сталкиваются с тем, что выполнение привычных движений рукой требует больших усилий или вовсе невозможно. Большинство роботизированных протезов имеет ограниченный набор жестов, управление не является органичным, а ощущения от манипуляций протезом далеки от настоящей руки с связи с отсутствием обратной связи. Управляя протезом с помощью электрических сигналов мышц, человек получает возможность выполнять обыденные действия и вернуться к полноценной...

Отрасль

Информатика

Цель

Разработка VR среды для реабилитации людей, перенесших ампутацию руки, с помощью которой по электрическим сигналам с мышц можно будет восстановить точные движения пальцев (brain-computer interface).

Ожидаемые результаты

Комплекс программных решений, выполняющих следующие функции:
* Взаимодействие с API Oculus, позволяющее извлекать координаты руки по камерам (hand tracking)
* Рендеринг руки в VR по известным положениям суставов в пространстве
* Рендеринг виртуального окружения, проработка взаимодействий, интеграция экспериментальных инструкций в среду
* Синхронизация и сохранение потоков данных: электрических сигналов с мышц и координат полученных с помощью hand tracking

Форма и способы промежуточного контроля

Регулярные созвоны на протяжении всего проекта. (спринты 1 раз в неделю) Демонстрация промежуточных результатов на VR устройстве.

Форма представления результатов

Итоговые результаты. - Приложение под Oculus Quest 2 с интерактивной средой и API для выгрузки данных в режиме реального времени. - Демонстрация работающей системы на человеке, перенесшего ампутацию верхней конечности.