608 Разработка системы распознавания (ML) и интеллектуального контроля ручных операций в промышленном производстве

Виктор Минченков

руководитель проекта

Сергеев Антон Валерьевич

руководитель направления

Старт

13.10.2023

Представление

08.11.2023

Постерная сессия

27.01.2024 – 07.02.2024

Защита

05.06.2024

Паспорт проекта

Аннотация

**Аналогичная работа для АО Камаз**: [http://www.o-code.ru/sites/default/files/video/2018_recognize_kamaz.mp4](http://www.o-code.ru/sites/default/files/video/2018_recognize_kamaz.mp4) **Партнёры проекта:** Дирекция по научным проектам НИУ ВШЭ и предприятия ОПК РФ Подтверждение эффективности применения интеллектуальной технологии контроля выполнения ручных операций на примере операций сборки источников питания, а именно для подтверждения следующих положительных технико-экономических эффектов:...

Отрасль

Информатика

Цель

**Разработка и опытное внедрение системы автоматического распознавания (ML) и интеллектуального контроля ручных операций в промышленном производстве.** Контроль действий оператора-сборщика с помощью систем интеллектуального видео наблюдения. Распознавание некорретных (не соответствующих белому списку) операций, информирование оператора и руководителя производства. Используемые технологии * камеры realsense * kinect * ml/nn * computer vision * python

Ожидаемые результаты

1. Реализация новой демонстрации из мелких деталей (до 3мм) с использованием дополнительных инструментов
2. Доработка зоны контроля для детектирования винтовой сборки устройств
3. Автоматический экспорт данных в ERP системы
4. Проведение экспериментов с детектированием движений конечностей
5. Доработка детектирования посторонних предметов на столе.

Форма и способы промежуточного контроля

* еженедельные встречи по проекту, 2 раза в неделю * квартальный отчёт * научный проектный семинар * неформальные встречи по проекту при успешной сдаче этатпов заказчику, 2 раза в год.

Форма представления результатов

* отчет о проделанной работе * презентация * референсынй код (gitlab) * комплект технической документации

Ресурсное обеспечение

* Штатив, 3 шт. * Камера, 3 шт. * Рабочая зона оператора, стол (тестовая) * Камера Realsense 2 шт. * Kinect *

Имеющийся задел

В 2022-2023 в проекте был реализован следующий список функций: 1. Добавлены функции калибровки проектора на столе. 2. Добавлены условия работы на основе трекинга положения рук. 3. Усовершенствована многопоточная версии программы для обработки данных в реальном времени 4. Подготовлена мобильная версия прототипа системы для участия в выставках и показах 5. Подготовлена технической документации для этапа патентования. 6. Создана демонстрация со сборкой конструкции из 10 узлов с автоматическим...