V-JEPA-LM: видеомодели научили читать динамику сцены, а не только подписи

V-JEPA-LM: видеомодели научили читать динамику сцены, а не только подписи

Энкодеры мировых моделей вроде V-JEPA учатся по одному лишь видео понимать, как меняются сцены: направление, скорость, порядок событий, состояние объектов. Чтобы отвечать на вопросы, их соединяют с языковой моделью, обученной на подписях и парах «вопрос, ответ». Проблема, по мнению авторов препринта: каждая подпись или вопрос называет лишь несколько признаков клипа, поэтому языковая модель учится извлекать именно эти признаки, а не читать клип целиком. Динамика, которую несёт энкодер, остаётся неиспользованной. Пример из работы: на тех же примерах линейный пробник (простой классификатор поверх замороженных признаков) считывает скорость из признаков V-JEPA с точностью 87%, а видеоязыковая модель отвечает на уровне случайного угадывания.

Авторы показывают, где в замороженном энкодере хранится динамика. У предсказательных энкодеров вроде V-JEPA она лежит в подпространстве, общем для разных видео. У покадровых энкодеров, согласованных с текстом, таких как SigLIP, динамика не выделена в общий компонент.

Чтобы заставить языковую модель эту динамику читать, авторы строят контрфактическое обучение. Публичные видео преобразуют на уровне пикселей и получают варианты с сбалансированными ответами: правильный ответ задаётся самим преобразованием, а варианты различаются только изменением.

Модели V-JEPA-LM (от 1B до 8B параметров, на основе Qwen3 и Llama) обучены за один этап на 4,53 млн публичных примеров с 32 визуальными токенами на кадр. Для сравнения, открытые видео-LLM, как описывают их авторы, используют несколько этапов, от 9 до 172 млн примеров и в среднем от 64 до 256 токенов на кадр. По заявлению авторов, V-JEPA-LM лидируют в каждом классе размера по среднему баллу на одиннадцати видеобенчмарках. Модель на 4B получает 72,1 против 61,1 у лучшей открытой модели на 4B и 64,8 у лучшей открытой модели на 8B.

Контролируемое исследование «энкодер × обучающий сигнал» даёт вывод авторов: энкодер определяет, что вообще можно прочитать, а обучающий сигнал, что реально читается. При одинаковом бюджете контрфактическое обучение добавляет в среднем 4,5 пункта, а на вопросах о скорости в естественных бенчмарках прирост составляет 38 (единица в аннотации прямо не указана). Код и модели опубликованы на GitHub (kkt94/Llama-V-JEPA-LM).

Ключевые факты

  • Линейный пробник читает скорость из замороженных признаков V-JEPA с точностью 87%, тогда как видеоязыковая модель на тех же примерах отвечает на уровне случайного угадывания.
  • Контрфактическое обучение строится из пиксельных преобразований публичных видео: варианты различаются только изменением, а правильный ответ задаётся самим преобразованием.
  • V-JEPA-LM (1B, 8B, на основе Qwen3 и Llama) обучены за один этап на 4,53 млн публичных примеров, по 32 визуальных токена на кадр.
  • По заявлению авторов, модели лидируют в каждом классе размера по среднему баллу на одиннадцати бенчмарках: модель 4B набирает 72,1 против 61,1 у лучшей открытой 4B и 64,8 у лучшей открытой 8B.
  • При равном бюджете контрфактическое обучение даёт в среднем +4,5 пункта; на вопросах о скорости в естественных бенчмарках прирост равен 38. Код и модели опубликованы.

Почему это важно

Работа указывает на конкретный сбой в видеоязыковых моделях. Энкодер уже кодирует динамику сцены (скорость, направление, порядок), но связка с языковой моделью её не использует, потому что подписи и вопросы упоминают лишь часть признаков клипа. Пример с 87% против случайного уровня показывает разрыв между тем, что энкодер «знает», и тем, что модель способна ответить. Если выводы авторов подтвердятся, улучшать видеопонимание можно не только наращиванием данных, но и изменением обучающего сигнала. Заявленный результат достигнут при одном этапе обучения и 4,53 млн примеров, тогда как открытые видео-LLM, по описанию авторов, используют от 9 до 172 млн.

Кому это важно

Исследователям видеоязыковых моделей и мировых моделей, которые соединяют предсказательные энкодеры вроде V-JEPA с языковыми моделями. Также командам, которые обучают видео-LLM с ограниченным бюджетом: в работе заявлены один этап, 4,53 млн публичных примеров и 32 токена на кадр. Тем, кому важно понимание движения, скорости и порядка событий в видео, интересна часть про вопросы о скорости.

Как это применить

Код и модели опубликованы на GitHub: github.com/kkt94/Llama-V-JEPA-LM. Доступны модели размером от 1B до 8B на основе Qwen3 и Llama. Идею контрфактического обучения можно проверить на своих данных: взять публичные видео, применить пиксельное преобразование с известным эффектом (например, изменение скорости) и получить пары вариантов, отличающиеся только этим изменением, с ответом, заданным преобразованием. Об условиях лицензии, затратах на вычисления и времени обучения в аннотации ничего не сказано.

Можно ли доверять

Это препринт на странице Hugging Face; в имеющемся тексте приведена только аннотация. Результаты сообщены самими авторами. Независимое воспроизведение и рецензирование в тексте не упомянуты. Названия одиннадцати бенчмарков и лучших открытых конкурентов не указаны, поэтому сравнение 72,1 с 61,1 и 64,8 проверить по одной аннотации нельзя. Цифра 64,8 относится к лучшей открытой модели на 8B и сравнивается с результатом модели V-JEPA-LM на 4B; результат V-JEPA-LM на 8B в аннотации не приведён. Единица прироста 38 тоже прямо не названа. Публикация кода и моделей даёт возможность проверки.

Риски и подводные камни

Лидерство заявлено «по среднему баллу», и среднее по одиннадцати бенчмаркам может скрывать слабые места на отдельных задачах. Самый большой прирост, 38, получен на вопросах о скорости, а средний прирост от контрфактического обучения при равном бюджете скромнее: 4,5 пункта. Метод опирается на преобразования, у которых ответ определяется самим преобразованием, поэтому он естественно подходит для динамики (скорость, направление, порядок), а на другие виды видеопонимания его перенос в аннотации не обсуждается. Выводы про расположение динамики в подпространстве показаны для V-JEPA и SigLIP; обобщение на другие энкодеры в тексте не заявлено.

«Энкодер определяет, что можно прочитать, а обучающий сигнал, что именно читается.»

— авторы препринта V-JEPA-LM, аннотация на Hugging Face