Edge-инференс в машинном зрении: когда Jetson, а когда сервер

Один и тот же вопрос мы слышим почти на каждом проекте: «Можно просто поставить камеру с обработкой внутри, или нужен отдельный сервер?»

За этим вопросом стоит реальная инженерная дилемма, в которой нет единственного правильного ответа. Всё зависит от задачи, среды, количества камер, требуемой задержки и допустимой цены ложной тревоги.

Мы в Smart Video проектируем системы машинного зрения под конкретное производство, а не продаём коробку. И за несколько лет практики у нас сложился набор критериев, по которым мы выбираем архитектуру инференса. В этом исследовании я разберу их без маркетинга и с цифрами.

По данным Gartner, к 2025 году 75% корпоративных данных начали обрабатывать на edge - против 10% в 2018-м. Это не тренд, а инженерная необходимость: когда решение должно управлять исполнительным механизмом в рамках одного цикла конвейера, сетевой хоп - это лишние 10-50 миллисекунд, которые могут стоить линии.

Контроль качества на высокоскоростой линии

Линия розлива выдаёт 10 бутылок в секунду. Камера смотрит на горлышко, нужно за 50 мс принять решение «дефект / не дефект» и выдать сигнал на отбраковку. Любой сетевой хоп - лишний. Решение: камера с global shutter, подключённая напрямую к Jetson на линии. Инференс на TensorRT, вывод - сухой контакт на контроллер отбраковки.

Контроль СИЗ на десяти проходных

Десять камер в разных точках завода. Каждая смотрит на вход в цех. Латентность не критична: оператору безопасности достаточно получить алерт в течение одной-двух секунд. Центральный сервер экономичнее, чем десять отдельных edge-устройств. Плюс все алерты собираются в единый журнал с фото, а модель проще дообучать централизованно.

Интеллектуальная сортировка на нескольких линиях

Три конвейера, на каждом по две камеры с разных ракурсов. Нужна классификация продукции по визуальным признакам с выдачей сигнала на исполнительный механизм. Латентность - не более 100 мс. Оправдана гибридная схема: по Jetson на каждую линию для инференса, плюс центральный сервер для накопления датасета, дообучения и мониторинга.

Распознавание лиц на проходной

Одна камера на турникете, локальная база до тысячи лиц. Требуется узнать сотрудника и открыть проход за 300-500 мс. Встроенная камера справится, если база помещается в память. Если база больше, если требуется сверка по нескольким камерам или интеграция с СКУД через нестандартный протокол - Jetson с нашим ПО обеспечивает и инференс, и логику интеграции.

На практике большинство заводов выбирают гибридную схему: детерминированный инференс на edge для hot path, централизованный сервер для аналитики, дообучения и управления флотом.

Edge-рантайм: контейнеризованный сервис инференса, hardware watchdog, локальные метрики и адаптеры PLC/робота. Сервер: реестр моделей, подписанные артефакты, staged rollouts, over-the-air обновления и дашборды флота.

Мы проектируем edge как часть общего MLOps-пайплайна: кадры с низкой уверенностью модели автоматически отправляются на сервер для разметки и пополнения датасета. Модель деградирует со временем - меняется освещение, появляются новые виды дефектов, изнашивается конвейерная лента. Без централизованного контура дообучения через полгода вы получите рост ложных тревог и падение recall.

При этом edge обеспечивает отказоустойчивость: один сервер - одна точка отказа. Десять Jetson на десяти линиях - выход одного из строя останавливает одну линию, а не всё производство.