«Почему я не могу открыть свой ящик?»: как отучить модели распознавания действий от подсказок по объекту

Работа посвящена задаче Zero-Shot Compositional Action Recognition (ZS-CAR, распознавание действий по новым сочетаниям «глагол+объект»), когда модель должна узнать, например, «открыть ящик», даже если во время обучения видела «открыть» только применительно к другим предметам, а «ящик», только в других действиях. Авторы выявили ключевую причину провалов: модели предсказывают глагол не по фактическим временным признакам движения в видео, а по «подсказке от объекта», то есть по тому, какой предмет размечен в кадре. Это происходит потому, что размеченных сочетаний глагол-объект в обучающих данных мало (разреженная композиционная разметка), а обучение глаголу и обучение объекту идут неравномерно, объект «переучивается» быстрее и перетягивает на себя внимание модели. С помощью собственных диагностических метрик авторы показали, что существующие методы подстраиваются под частые сочетания из обучающей выборки и слабо используют временные признаки самого действия, из-за чего плохо обобщаются на новые, не встречавшиеся комбинации. Для решения проблемы предложен метод RCORE (Robust COmpositional REpresentations) из двух компонентов. Первый, CPR (Co-occurrence Prior Regularization), добавляет явное обучающее давление на редкие/не встречавшиеся сочетания, трактуя частые сочетания как «трудные негативные примеры» и тем самым отучая модель от них. Второй, TORC (Temporal Order Regularization for Composition), заставляет модель быть чувствительной к порядку кадров во времени, чтобы представления глаголов опирались на реальную динамику движения, а не на статичный контекст. На двух бенчмарках для композиционного распознавания действий, Sth-com (на основе Something-Something) и EK100-com (на основе EPIC-KITCHENS-100), RCORE снижает показатели «объектных подсказок» по диагностическим метрикам и заметно улучшает обобщение модели на новые сочетания действий.

Ключевые факты

Проблема: модели ZS-CAR (распознавание новых сочетаний «глагол+объект» в видео) часто угадывают глагол по размеченному объекту в кадре, а не по фактическому движению
Причина, разреженная разметка редких сочетаний и то, что обучение объекту идёт быстрее и «перетягивает» модель от временных признаков глагола
Авторы предложили диагностические метрики, которые показывают: существующие методы переобучаются под частые сочетания из тренировочных данных
Метод RCORE состоит из двух частей: CPR штрафует модель за опору на частые сочетания (трактуя их как трудные негативные примеры), TORC заставляет модель учитывать порядок кадров во времени
На бенчмарках Sth-com и EK100-com RCORE снижает признаки «объектных подсказок» и улучшает распознавание новых, ранее не встречавшихся сочетаний действий

Почему это важно

Работа вскрывает системную ошибку, из-за которой модели распознавания действий выглядят умнее, чем есть: они не «понимают» движение, а угадывают глагол по предмету в кадре. Это значит, что заявленная генерализация многих существующих систем на новые ситуации во многом иллюзорна, стоит поменять объект в сцене, и модель ошибается, хотя само действие ей формально знакомо.

Кому это важно

Прежде всего, исследователям компьютерного зрения и распознавания действий по видео, а также разработчикам систем, которым важно надёжно понимать, ЧТО именно делает человек или робот (а не просто с каким предметом он взаимодействует): робототехника, ассистенты для видеонаблюдения, анализ бытовых сцен, интерфейсы для людей с ограниченными возможностями.

Как это применить

Практическая ценность работы, сам метод RCORE и предложенные диагностические метрики. Диагностику можно применять к любой существующей модели ZS-CAR, чтобы проверить, не полагается ли она на объектные подсказки. Сам RCORE (компоненты CPR и TORC) добавляется поверх обучения как регуляризация, не требует новой архитектуры, лишь дополнительных штрафов за частые сочетания и за нечувствительность к порядку кадров; протестирован на открытых бенчмарках Sth-com и EK100-com.

Можно ли доверять

Это исследовательская статья с проверяемой методологией: собственные диагностические метрики, эксперименты на двух признанных в области бенчмарках (на основе Something-Something и EPIC-KITCHENS-100) и явные количественные улучшения. На момент публикации у материала на HuggingFace Papers всего 16 отметок и 1 комментарий, независимой широкой проверки сообществом пока не было, статья похожа на препринт, а не на общепризнанный, многократно процитированный результат.

Риски и подводные камни

Результаты получены на двух конкретных бенчмарках и могут не обобщаться на другие домены видео (например, спорт, промышленные сцены). Метод, регуляризация поверх обучения, а не принципиально новая архитектура, поэтому выигрыш, вероятно, ограничен и не решает проблему полностью. Кроме того, диагностика и выводы основаны на метриках, предложенных самими авторами, что оставляет пространство для завышенной самооценки эффекта до независимой верификации.