Описание решения #

Главной задачей cервиса инференса нейросетевых моделей системы MarQus является детекция, сегментация, классификация и трекинг ТБО на ленте конвейера (в дальнейшем распознавание) и передача полученной информации исполнительным механизмам для последующей сортировки ТБО. При наличии камер, работающих в NIR диапазоне, освещении, отвечающем требованиям, точность распознавания составляет до 85%. Требования к камерам перечислены в разделе “Описание системных требований”.

Функциональные характеристики #

Сервис представляет собой виртуальный контейнер для Docker и содержит в себе три микросервиса, выполняющих функции:

микросервис, выполняющий приём видеопотока по протоколу TCP с использованием очереди ZMQ;
микросервис, выполняющий детекцию, сегментацию, классификацию и трекинг;
микросервис, выполняющий передачу полученной информации по протоколу TCP с использованием очереди ZMQ;
опциональный микросервис, который в случае необходимости транслирует результат распознования в виде image/jpeg фреймов.

Ключевые функции #

Сервис инференса нейросетевых моделей MarQus реализует следующие функции для конечного пользователя:

Приём видеопотока и первичную обработку;
Детекцию объекта ТБО;
Инстанс-сегментацию объекта ТБО в случае обнаружения детектором;
Классификацию объекта ТБО;
Трекинг объекта ТБО;
Сервисные REST методы, отдающие информацию о состоянии сервиса.

Область применения #

Классификация по форме объекта для сортировка ТБО на мусороперерабатывающих заводах. Определяет основную группу ТБО по форме объекта. Лучше подходит для сортировки мусора, не подверженного деформации;
Первичная классификация по спектру и цвету. Определяет, к какой из основных групп ТБО он относится - пластик, металл, бумага, стекло, органические отходы и т.д. Для определения классов ТБО достаточно использовать камеру, работающую в видимом диапазоне;
Вторичная классификация для сортировки ТБО. Определяет виды пластика по спектру. Необходимы камеры, работающие в NIR диапазоне.

Ключевые преимущества #

Среди ключевых преимуществ сервиса инференса нейросетевых моделей системы MarQus можно выделить следующие:

Возможность эксплуатации с разными классами подключаемых камер. Технологичность разработанного продукта позволяет осуществлять распознавание в самых сложных условиях, при этом позволяет повышать качество распознавания несложными модификациями конвейерных линий мусороперерабатывающих заводов;
Высокая точность распознавания Высокоэффективный модуль распознавания, построенный с использованием нейронных сетей и глубокого обучения на уникальных датасетах различного типа;
Настраиваемые модели Возможность существенно повысить качество распознавания за счет адаптации моделей под предметную область, особенности переработки ТБО на конкретном предприятии;
В облаке или локально При наличии определенных требований к безопасности поддерживается гибкое развертывание системы на сторонних серверах;
Простая интеграция Сервис инференса нейросетевых моделей MarQus работает на основе HTTP-запросов и популярного протокола ZMQ, что позволяет быстро встраивать функции распознавания в готовые роботизированные сортировочные линии.

\newpage

Описание системных требований #

Требования к предустановленному ПО:

Операционная система: Любой дистрибутив Linux с ядром 5.4 или выше
CPU: Intel(R) Core(TM) i7-7700K CPU @ 4.20GHz and newer
RAM: минимум 8 GB
HDD/SSD: минимум 64 GB
GPU: Nvidia 1080Ti или новей
GPU: память не ниже 11264 МБ
Compiler: GCC 7.3.1 или новей
CUDA: 11.0 или новей
Docker: 20.10 или новей

Предпочтительно в качестве аппаратного обеспечения использовать:

Jetson Orin NX
CUDA ядер: 1024
Тензорных ядер: 32

Камеры:

NIR (ближний инфракрасный спектр)

нижняя граница спектра: не выше 300 нм.
верхняя граница спектра: не ниже 1100 нм.
кадровая частота: не ниже 50 FPS
разрешение: не хуже 1280x1024

Обычные (видимый спектр)

кадровая частота: не ниже 60 FPS
разрешение: не хуже 1920x1080