608 Разработка системы распознавания (ML) и интеллектуального контроля ручных операций в промышленном производстве

Минченков Виктор Олегович

руководитель проекта

Сергеев Антон Валерьевич

руководитель направления

Старт

14.09.2022

Представление

22.10.2022

Постерная сессия

23.01.2023

Защита

07.06.2023

Паспорт проекта

Аннотация

**Аналогичная работа для АО Камаз**: [http://www.o-code.ru/sites/default/files/video/2018_recognize_kamaz.mp4](http://www.o-code.ru/sites/default/files/video/2018_recognize_kamaz.mp4) **Партнёры проекта:** Дирекция по научным проектам НИУ ВШЭ и предприятия ОПК РФ Подтверждение эффективности применения интеллектуальной технологии контроля выполнения ручных операций на примере операций сборки источников питания, а именно для подтверждения следующих положительных технико-экономических эффектов:...

Отрасль

Информатика

Цель

**Разработка и опытное внедрение системы автоматического распознавания (ML) и интеллектуального контроля ручных операций в промышленном производстве.** Контроль действий оператора-сборщика с помощью систем интеллектуального видео наблюдения. Распознавание некорретных (не соответствующих белому списку) операций, информирование оператора и руководителя производства. Используемые технологии * камеры realsense * kinect * ml/nn * computer vision * python

Ожидаемые результаты

1. Добавление функции калибровки проектора на столе.
2. Добавление условий работы на основе трекинга положения рук.
3. Внедрение системы автоматического построения отчетов на основе событий детектирование.
4. Совершенствование многопоточной версии программы для обработки данных в реальном времени
5. Подготовка мобильного прототипа системы для участия в выставках и показах
6. Подготовка технической документации для этапа патентования.

Форма и способы промежуточного контроля

* еженедельные встречи по проекту, 2 раза в неделю * квартальный отчёт * научный проектный семинар * неформальные встречи по проекту при успешной сдаче этатпов заказчику, 2 раза в год.

Форма представления результатов

* отчет о проделанной работе * презентация * референсынй код (gitlab) * комплект технической документации

Ресурсное обеспечение

* Штатив, 3 шт. * Камера, 3 шт. * Рабочая зона оператора, стол (тестовая) * Камера Realsense 2 шт. * Kinect *

Имеющийся задел

* За 20-22 сделан первый рабочий прототип системы. * Добавлены 2 базовых сценария работы на стенде. * Обучены первые рабочие модели нейронных сетей. * Добавлен проектор для взаимодействия с пользователем.