1848 Нейросетевая модель для распознавания кулинарных ингредиентов по фотографии

Мотякин Артем Андреевич

руководитель проекта

Станислав Бобер

руководитель направления

Старт

11.12.2023

Представление

27.01.2024 – 07.02.2024

Постерная сессия

23.04.2024

Защита

05.11.2024 – 15.11.2024

Паспорт проекта

Аннотация

Проект занимается разработкой ML модулей для серверной части мобильного приложения проекта 1788 "Разработка прототипа приложения Smart Рецепт"(https://cabinet.miem.hse.ru/#/project/1788/). Модель детектирует ингредиенты на изображениях, полученных с камеры смартфона. Так как снимки могут нарушить конфиденциальность пользователя, то будет разработан модуль ML, встраиваемый в мобильное приложение, для удаления лиц с изображений. Кроме того, будет разработана рекомендательная система для подбора...

Отрасль

Информатика

Цель

Создание ML модели для распознавания ингредиентов для серверной части мобильного приложения для проекта 1788 "Разработка прототипа приложения Smart Рецепт"

Ожидаемые результаты

Разработка проекта рассчитана на два года:
В период с 2023/2024 года планируется реализовать:
- Сбор данных для обучения модели
- Разметка данных для обучения модели
- Исследование существующих архитектур моделей
- Создание собственной архитектуры модели
- Реализация ML модели для детекции ингредиентов
- Реализация ML модели для удаления лиц с изображений
- Поиск и интеграция ML модели для генерации изображений рецептов по описанию

Форма и способы промежуточного контроля

**Инструменты контроля:** - Confluence - Jira - Github **Встречи онлайн для контроля и обсуждения прогресса:** - еженедельно для задач на уровне проекта, - раз в неделю для команды фронтэнда, команды бэкенда. **Каналы коммуникации:** - GoogleMeet — члены проекта ведут коммуникацию используя платформу видеоконференций; - Telegram — для текстовых переписок предусмотрены проектный и общие чаты отделов разработки в Telegram.

Форма представления результатов

1. Готовые ML модели 2. Репозиторий, содержащий историю разработки 3. Документация в формате pdf 4. Презентация проекта

Ресурсное обеспечение

*Планируется подать заявку на использование суперкомпьютера ВШЭ для обучения моделей.* **Участникам команды необходимо иметь:** ОС: Windows 10, 64-разрядная / Mac OS, HighSierra и позднее *Минимальные системные требования:* ЦПУ: Процессоры x64 с поддержкой SSE4.2, от четырехъядерных процессоров Intel или AMD с частотой 2,5+ ГГц ОЗУ: от 8 Гб Хранилище: Не менее 5 ГБ свободного места. Видеокарта: NVIDIA GeForce GTX 1050TI и лучше *Рекомендуемые системные требования:* ЦПУ: Процессоры Intel...

Имеющийся задел

*Завершена предварительная работа по проекту:* - найдены базы данных с изображениями - начата разметка данных - начат анализ существующих моделей *** **Бобер Станислав Алексеевич** - Руководитель направления/Инициатор проекта **Имеющаяся команда проекта:** - Мотякин Артем Андреевич, СКБ211, 3 курс - Руководитель проекта - Сендик Михаил Романович, МИСИС БИСТ-21-1, 3 курс - ML/СV разработчик - Комиссаренко Алексей Владимирович, МИСИС БИСТ-21-1, 3 курс - ML/СV разработчик