Что такое пайплайн инференса

Пайплайн инференса - это последовательность обработки видеопотока от камеры до события. Он состоит из нескольких этапов:

1. Чтение потока. RTSP или ONVIF с IP-камеры. Декодирование H.264/H.265/AV1 - аппаратное через NVDEC или программное.

2. Предобработка. Масштабирование, нормализация, аугментация - всё на GPU через NvImageCodec или PyNvVideoCodec.

3. Инференс. Запуск нейросети через TensorRT (максимальная производительность) или Triton Inference Server (гибкость фреймворков).

4. Постобработка. NMS, фильтрация по порогу, сопоставление с категориями, расчёт координат.

5. Генерация события. Фото, время, координата, категория, уверенность - отправка в PLC, MES, SCADA или архив.

DeepStream vs кастомный пайплайн

NVIDIA DeepStream - готовый фреймворк на базе GStreamer для мультикамерных пайплайнов. Включает 40+ GPU-ускоренных плагинов, трекинг (NvTracker, MV3DT), интеграцию с Triton. Идеален для систем с 4+ камерами.

Кастомный пайплайн на Python или C++ даёт больше контроля: можно реализовать нестандартную логику предобработки, кастомные алгоритмы постобработки, специфическую интеграцию с АСУ ТП.

Оба варианта работают on-premise и развёртываются на NVIDIA GPU или Jetson.

Интеграция с АСУ ТП

Пайплайн без интеграции - это красивая картинка без пользы. Мы настраиваем передачу событий в PLC, MES, SCADA через OPC UA, Modbus TCP, MQTT или дискретные сигналы. Событие содержит фото, координату, категорию, уверенность и статус оператора.

Для систем контроля качества событие может включать команду на отбраковку. Для систем безопасности - сигнал на СКУД или оповещение диспетчеру. Для сортировки - координату для управления исполнительным механизмом.

Edge vs серверный инференс

Edge-узел (Jetson Orin или Thor) размещается у линии и обрабатывает 1-4 камеры с задержкой 15-50 мс на кадр. Серверный инференс (RTX PRO 6000) обрабатывает 8-32 камеры с высокой пропускной способностью.

Оба варианта разворачиваются on-premise. Видеопоток не покидает периметр предприятия.

Мониторинг и observability

Мы настраиваем Prometheus + Grafana для мониторинга пайплайна: задержка инференса, FPS, нагрузка GPU/CPU, количество событий, FP rate, uptime. Алерты через Telegram, email или интеграцию с системой эксплуатации.

Мониторинг позволяет отслеживать деградацию модели во времени, планировать дообучение и предотвращать простои производства.