Вышел tamserve: открытый движок трекинга SAM 2 для живых камер

Вышел tamserve: открытый движок трекинга SAM 2 для живых камер

На GitHub опубликован открытый проект tamserve (его представили в рубрике Show HN). Это движок для обслуживания (serving) моделей отслеживания объектов в видео от Meta: SAM 2, его компактных родственников EdgeTAM и SAM 2.1. Эти модели умеют по одному указанию на одном кадре рисовать точный контур объекта на всех следующих кадрах. Но код, который идёт с ними, по словам авторов проекта, рассчитан на правку одного записанного видео. Обычный способ запустить такое на нескольких камерах, отдельная копия модели на каждую камеру, и память растёт с каждой копией и с каждой минутой видео.

tamserve делает для видео то же, что LLM-серверы вроде vLLM делают для чата: все камеры делят одну копию модели, а всё, что в данный момент требует GPU, проходит через неё вместе. По утверждению README, это не только легче, но и быстрее, а результаты совпадают с оригиналом, потому что сама модель не меняется. Заявленная демонстрация, шесть живых камер на одной видеокарте, каждая по 30 кадров в секунду.

Как это устроено в использовании. Установка, pip install tamserve, нужны Python 3.10 или новее и видеокарта NVIDIA; на CPU работает, но для живого видео слишком медленно. При первой загрузке модель скачивается в ~/.cache/tamserve (EdgeTAM, 54 МБ). tamserve не открывает камеры и не запускает собственный цикл: программа сама читает кадры и раз за раунд вызывает engine.step() с самым свежим кадром каждой камеры. В ответ приходят маски всех отслеживаемых объектов на каждой камере. Начать слежение можно, указав имя объекта и рамку (Box) на текущем кадре; остановить, engine.drop; исправить сбившийся трек, снова указать объект под тем же именем с новой рамкой; добавить объект, замеченный на уже обработанном кадре, engine.add. Кадры загружаются и масштабируются на GPU: около полумиллисекунды на кадр против 16 мс при масштабировании на CPU. Камера хранит только самый новый кадр, поэтому отстающий цикл пропускает кадры, а не копит задержку.

Заявленная скорость: на RTX 4090 со скомпилированным движком, при восьми камерах 720p и одном объекте на камеру цикл обрабатывает 273 кадра в секунду от видео до масок (34 на камеру); при камерах 1080p, 238. Сравнение для EdgeTAM сделано с её собственным кодом в самом быстром режиме (компиляция, копия на камеру, общая GPU). С более крупными моделями SAM 2.1 tamserve работает с той же скоростью, что текущий код SAM 2 от Meta, но занимает около трети памяти GPU.

Отдельно есть слежение по названию. Надстройка Tracker принимает слово или фразу («dog», «the red mug»), находит все совпадения на каждой камере, следит за ними, подхватывает новые и отпускает ушедшие. Она сочетает две модели: SAM 3 от Meta точно находит объект по названию, но медленно (около 65 мс на один кадр на RTX 4090), а модель внутри движка сама ничего не находит, зато дёшево ведёт найденное, несколько мс на кадр у EdgeTAM и несколько десятков у SAM 2.1 large. Поэтому SAM 3 смотрит на каждую камеру раз в три кадра, а между этим объекты ведёт движок. По сравнению с собственным трекером SAM 3 (117 видео из бенчмарка Meta для SAM 3, 224 пары видео и фраз) Tracker, по словам авторов, уступает несколько пунктов точности по метрике HOTA, но стоит две пятых от его вычислительной цены (четверть, с EdgeTAM). Плюс он умеет работать со многими камерами сразу, запрашивать несколько объектов на одной камере с небольшими доплатами и не наращивает память с длиной видео.

PeopleTracker, вариант для людей с настройками под них: SAM 3 смотрит в пять раз реже (раз в 15 кадров), а EdgeTAM ведёт людей примерно по 4 мс на кадр. По утверждению README, он и точнее, и заметно дешевле собственного трекера SAM 3; человек, на время скрывшийся за дверью или другим человеком, получает прежний номер. Tracker и PeopleTracker требуют SAM 3: его ставят отдельно (pip install "tamserve[sam3]"), веса (3,5 ГБ) закрыты и скачиваются после принятия лицензии Meta на Hugging Face; у SAM 3 своя лицензия, не Apache-2.0, и её нужно прочитать до использования в продукте. Целевые области по тексту проекта: спортивная и телевизионная графика, аналитика складов и рознички, робототехника, наблюдение за дикой природой и лабораториями, инструменты разметки.

Ключевые факты

  • tamserve, открытый движок на Python: одна копия SAM 2 / EdgeTAM / SAM 2.1 обслуживает объекты на всех живых камерах, по аналогии с тем, как vLLM обслуживает чат.
  • По данным авторов, на RTX 4090 со скомпилированным движком: восемь камер 720p по одному объекту, 273 кадра/с суммарно (34 на камеру), при 1080p, 238.
  • С крупными моделями SAM 2.1 скорость такая же, как у текущего кода SAM 2 от Meta, а памяти GPU уходит около трети.
  • Надстройки Tracker и PeopleTracker ищут объекты по названию через SAM 3: SAM 3 смотрит на камеру раз в три кадра (PeopleTracker, раз в 15), остальное ведёт дешёвая модель.
  • Для надстроек нужен SAM 3 с закрытыми весами (3,5 ГБ) и собственной лицензией Meta, не Apache-2.0; нужны Python 3.10+ и видеокарта NVIDIA.

Почему это важно

Модели семейства SAM 2 хорошо отслеживают объекты, но, по описанию проекта, их код рассчитан на один записанный ролик. Для нескольких камер приходится держать по копии модели на каждую, и память быстро кончается. tamserve предлагает подход из мира LLM-серверов: одна общая копия модели и общая очередь на GPU. Если заявленные цифры подтвердятся, одна потребительская видеокарта потянет заметное число потоков в реальном времени: 273 кадра/с суммарно на восемь камер 720p по данным авторов.

Кому это важно

Разработчикам систем видеоаналитики, где нужно знать, где именно находится объект на каждой из нескольких камер: спортивная и эфирная графика, аналитика складов и розницы, робототехника, наблюдение за дикой природой и лабораториями, инструменты разметки видео. Тем, кто сейчас держит отдельную копию модели на камеру и упирается в память GPU.

Как это применить

Установка: pip install tamserve (Python 3.10 или новее, видеокарта NVIDIA; на CPU работает, но для живого видео слишком медленно). Своей читалки камер у движка нет: ваша программа читает кадры (в примере, OpenCV, по потоку на камеру) и вызывает engine.step() раз за раунд; рамка нужна один раз, потом движок ведёт объект сам. Для слежения по названию нужна надстройка: pip install "tamserve[sam3]", вход в Hugging Face (hf auth login), принятие лицензии Meta на странице facebook/sam3 и загрузка весов 3,5 ГБ при первом запуске Tracker. Лицензия самого tamserve в рассмотренном тексте не указана; у SAM 3 она своя, не Apache-2.0, её нужно прочитать до использования в продукте.

Можно ли доверять

Все цифры скорости, памяти и точности приведены самим проектом, независимых проверок или сторонних замеров в тексте нет. Полные таблицы результатов и раздел об ограничениях в рассмотренном тексте не приведены, поэтому величины выигрыша для EdgeTAM и значения HOTA для Tracker и PeopleTracker оценить нельзя: известно лишь, что Tracker уступает «несколько пунктов точности». Замеры сделаны на одной RTX 4090 при одном объекте на камеру; сравнение для EdgeTAM, с её собственным кодом в самом быстром режиме. Утверждение, что результаты совпадают с оригиналом, потому что модель не меняется, слова README. Для демо на шесть камер по 30 кадров/с модель, разрешение и число объектов не указаны. Автор или сопровождающий и дата релиза в тексте не названы.

Риски и подводные камни

Tracker и PeopleTracker зависят от SAM 3 с закрытыми весами и отдельной лицензией Meta, не Apache-2.0: для коммерческого использования условия нужно проверить заранее. Первый запуск требует интернета и скачивания 3,5 ГБ. Скорость заявлена для одного объекта на камеру и конкретной видеокарты; на другом железе, с большим числом объектов или иным разрешением цифры будут другими. Движок пропускает кадры, если цикл не успевает (камера хранит только самый новый кадр), поэтому в задачах, где важен каждый кадр, это нужно учитывать. Слежение по названию построено на периодических «взглядах» SAM 3 (раз в три кадра у Tracker, раз в 15 у PeopleTracker), а между ними объекты ведёт лёгкая модель; у сбившегося трека исправление, повторное указание объекта вручную или детектором.

Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.