608 Разработка системы распознавания (ML) и интеллектуального контроля ручных операций в промышленном производстве

Минченков Виктор Олегович

руководитель проекта

Сергеев Антон Валерьевич

руководитель направления

Старт

01.09.2021

Представление

09.10.2021

Постерная сессия

15.02.2022

Защита

18.04.2022

Паспорт проекта

Аннотация

**Аналогичная работа для АО Камаз**: [http://www.o-code.ru/sites/default/files/video/2018_recognize_kamaz.mp4](http://www.o-code.ru/sites/default/files/video/2018_recognize_kamaz.mp4) **Партнёры проекта:** Дирекция по научным проектам НИУ ВШЭ и предприятия ОПК РФ Подтверждение эффективности применения интеллектуальной технологии контроля выполнения ручных операций на примере операций сборки источников питания, а именно для подтверждения следующих положительных технико-экономических эффектов:...

Отрасль

Информатика

Цель

**Разработка и опытное внедрение системы автоматического распознавания (ML) и интеллектуального контроля ручных операций в промышленном производстве.** Контроль действий оператора-сборщика с помощью систем интеллектуального видео наблюдения. Распознавание некорретных (не соответствующих белому списку) операций, информирование оператора и руководителя производства. Используемые технологии * камеры realsense * kinect * ml/nn * computer vision * python

Ожидаемые результаты

1. Совершенствование прототипа в программной части.
2. Внедрение новых нейросетевых алгоритмов детектирования образов. Уменьшение вероятности ложных распознаваний объектов.
3. Реализация новых задач контроля в рабочей области.
4. Реализация трекинга положения рук в кадре.
5. Построение многопоточной обработки данных в приложении.
6. Расширение функционала за счет работы проектора.
7. Автоматическое построение отчета на производственной линии.

Форма и способы промежуточного контроля

* еженедельные встречи по проекту, 2 раза в неделю * квартальный отчёт * научный проектный семинар * неформальные встречи по проекту при успешной сдаче этатпов заказчику, 2 раза в год.

Форма представления результатов

* отчет о проделанной работе * презентация * референсынй код (gitlab) * комплект технической документации

Ресурсное обеспечение

* Штатив, 3 шт. * Камера, 3 шт. * Рабочая зона оператора, стол (тестовая) * Камера Realsense 2 шт. * Kinect *

Имеющийся задел

В ходе проекта в 20/21 году было проведено сравнение двух нейросетей Yolov4 и Yolov5, созданы два набора для обучения и тестирования алгоритмов контроля ручных операций. Использование этих данных позволило отдать предпочтение модели с разрешением 3840 пикселей. Также были выполнены проектирование, моделирование и сборка аппаратной части комплекса, после чего команда успешно выполнила проверку, исследование и настройку рабочего оборудование для комплекса. Результатом деятельности команды стало...