608 Разработка системы распознавания (ML) и интеллектуального контроля ручных операций в промышленном производстве

Минченков Виктор Олегович

руководитель проекта

Сергеев Антон Валерьевич

руководитель направления

Старт

22.11.2024

Представление

27.01.2025 – 07.02.2025

Постерная сессия

14.04.2025 – 25.04.2025

Защита

05.11.2025 – 19.11.2025

Паспорт проекта

Аннотация

Проект активно развивается в течении 3 лет. Прототип системы активно участвует в выставках и демонстрациях. И нет предела совершенству. На базе текущей версии аппаратно-программного комплекса было реализовано 2 технологических процесса. Но анализ рынка показывает, что необходимо расширение технологических возможностей по контролю за процессами.

Отрасль

Информатика

Цель

**Разработка и опытное внедрение системы автоматического распознавания (ML) и интеллектуального контроля ручных операций в промышленном производстве.** Контроль действий оператора-сборщика с помощью систем интеллектуального видео наблюдения. Распознавание некорретных (не соответствующих белому списку) операций, информирование оператора и руководителя производства. Используемые технологии * камеры realsense * kinect * ml/nn * computer vision * python

Ожидаемые результаты

Подготовка новой демонстрации сборки рамы FPV-дрона (при использовании мелких деталей).
Проведение дополнительных экспериментов с трекингом движений рук
Доработка детектирования посторонних предметов на столе.
Перенос функционала системы на нодовую архитектуру для упрощения реализации новых сценариев сборочных процессов.
Проведение экспериментов с новыми моделями детекции объектов (например, YOLOv10).
- Использование инструментов CV для проведения экспериментов по контролю процесса пайки.

Форма и способы промежуточного контроля

* еженедельные встречи по проекту, 2 раза в неделю * квартальный отчёт * научный проектный семинар * неформальные встречи по проекту при успешной сдаче этатпов заказчику, 2 раза в год.

Форма представления результатов

* отчет о проделанной работе * презентация * референсынй код (gitlab) * комплект технической документации

Ресурсное обеспечение

* Штатив, 3 шт. * Камера, 3 шт. * Рабочая зона оператора, стол (тестовая) * Камера Realsense 2 шт. * Kinect *

Имеющийся задел

В 2022-2024 в проекте был реализован следующий список функций: 1. Добавлены функции калибровки проектора на столе. 2. Добавлены функции детектирования и трекинг рук в рабочей области. 3. Подготовлена мобильная версия прототипа системы для участия в выставках и показах 4. Получен патент на изобретение системы. 5. Разработана методология для оценки эффективности работы стенда. 6. Создана демонстрация со сборкой мотора FPV-дрона с автоматическим контролем правильности промежуточных операций 7...