Китайская модель мира Orca повторяет результаты узкоспециализированных робототехнических систем, ни разу не увидев ни одной метки действия

Пекинская академия искусственного интеллекта (BAAI) представила Orca, «базовую модель мира» (world foundation model), которая устроена иначе, чем большинство современных ИИ-систем. Вместо предсказания следующего токена текста, следующего кадра видео или следующего действия робота Orca предсказывает следующее состояние мира в абстрактном внутреннем представлении. Авторы технического отчёта утверждают: интеллект не должен определяться узкоспециализированными моделями вроде языковых моделей, генераторов видео или контроллеров роботов, нужны модели, которые формируют общее понимание того, как меняется мир, и используют это понимание как базу для множества разных задач.

Orca обучается двумя дополняющими друг друга способами. «Бессознательное обучение» использует сырое видео без каких-либо подписей: модель видит кадр и предсказывает следующий, не на уровне пикселей, а в абстрактном пространстве, улавливая паттерны движения, окклюзии (перекрытия объектов) и типичную динамику сцены. «Осознанное обучение» добавляет текстовые инструкции: видео разбивается на сегменты, каждый снабжён описанием изменения состояния, и модель учится тому, как состояние меняется при конкретном действии; дополнительно модель обучается на классических задачах вопрос-ответ по видео, чтобы отвечать на запросы на естественном языке.

Основой служит предобученная языково-визуальная модель Qwen3.5; после обучения её ядро «замораживается» (перестаёт меняться), а к нему подключаются отдельные компактные модули для каждого типа результата. Текст идёт через штатную языковую «голову» Qwen3.5. Для изображений без изменений используется Stable Diffusion 3.5, обучаются только небольшие адаптеры, передающие внутреннее состояние Orca в генератор изображений. Действия робота формирует отдельный модуль под названием Action Expert, обученный с нуля. Команда подчёркивает: цель не в том, чтобы обойти всех по отдельным тестам, а в том, чтобы показать, что хорошо обученное внутреннее представление состояния мира может быть общей базой для очень разных задач.

Для обучения собрали 125 000 часов видео, 160 миллионов текстовых описаний событий и 11,5 миллиона пар «вопрос-ответ». Видео охватывает четыре ракурса: съёмку от первого лица (повседневные взаимодействия), съёмку от третьего лица (манипуляции с объектами), записи с роботов без разметки действий и естественные сцены. В текущей версии использована лишь десятая часть собранных видеоданных. Модель обучили в двух размерах, 0,8 и 4 миллиарда параметров; потери при обучении стабильно снижаются с ростом объёма данных и размера модели, и чем лучше становится внутреннее представление состояния мира на этапе предобучения, тем выше результаты сразу по всем трём видам выходных данных.

На текстовых тестах Orca-4B показывает лучший средний результат, 51,8% по бенчмаркам MVBench, TemporalBench, 3DSRBench и SWITCH, среди сравниваемых компактных визуально-языковых моделей и более крупных моделей мира, обходя в среднем Qwen3.5-4B, Gemma 4-4B и DeepSeek-VL2-3B (хотя не выигрывает каждый отдельный тест: например, на MVBench лидирует сам Qwen3.5-4B). Orca-4B также превосходит по среднему баллу значительно более крупные модели мира Emu3 (8 миллиардов параметров) и Emu3.5 (34 миллиарда параметров).

Для предсказания изображений исследователи создали собственный бенчмарк PRICE-V0.1: на реальных сценах с роботами и видео от первого лица модель должна сгенерировать изображение результата команды вроде «закрой микроволновку». Orca-4B набирает в среднем 59,8%, обходя специализированные генераторы изображений FLUX.2 small (56,1%), FLUX.1-context (40,9%) и OmniGen2 (39,6%). При этом Orca лучше, чем чисто визуальные модели, сохраняет форму робота, точки его контакта с объектами и связь с инструкцией, тогда как визуальные генераторы часто добавляют лишние объекты или «галлюцинируют» руки.

В пяти задачах манипуляции, расстановка книг по полкам, укладка мисок стопкой, зачерпывание сахара, с двуруким гуманоидным роботом на колёсах Orca сравнялась по результатам с π0.5, системой, изначально построенной на данных с роботов. При этом базовая модель Orca на этапе предобучения ни разу не видела, какое движение соответствует какому изображению: для непосредственного управления роботом отдельный модуль дообучили позже, на 200 реальных записях по каждой задаче, где кадры с камеры сопоставлены с выполненными движениями. Модели V-JEPA 2.1 и Qwen3.5 с тем же самым контрольным модулем заметно отстают. Кроме того, Orca лучше справляется с восстановлением после ошибок: по примерам из статьи, после неудачного захвата она делает повторную попытку, тогда как π0.5 застревает в повторяющихся неудачах. Авторы видят в этом способ смягчить хронический дефицит размеченных данных о действиях роботов.

Для обучения команда использует собственную библиотеку FlagScale с рядом оптимизаций по памяти и коммуникации между GPU, достигая 2,91 обучающего примера в секунду на видеокарту H100, это примерно в 4,4 раза быстрее, чем у StarVLA, широко используемого в робототехнике кодовой базы.

У Orca есть и ограничения. Модель пока учится только на изображениях и тексте, звук, сила и осязание отсутствуют полностью. Визуальное предсказание работает в пространстве уже предобученного кодировщика изображений, а не в собственном, «выученном с нуля» пространстве мира. При 0,8 и 4 миллиардах параметров модели пока слишком малы для полноценного моделирования мира. Текстовые описания событий охватывают лишь короткие временные окна в несколько минут. По словам BAAI, конечная цель, «нативная» модель мира, обученная с нуля сразу на многих типах сигналов.

Сама трактовка того, что считать «моделью мира», остаётся предметом споров в исследовательском сообществе. Команда Пекинского университета предложила единое определение в рамках проекта OpenWorldLib, которое исключает из категории «моделей мира» чисто текстово-видео модели вроде Sora. Бенчмарк Университета Цинхуа показал, что даже Sora 2 и Veo 3.1 испытывают трудности с физически правдоподобным развитием сцены. В робототехнике так называемые World Action Models сочетают предсказание смены состояния с генерацией действий, что позволяет учиться на обычных бытовых видео вообще без разметки действий.

Ключевые факты

• BAAI выпустила Orca, модель мира, которая предсказывает не токен, кадр или действие, а следующее состояние мира в абстрактном представлении
• Обучение сочетает «бессознательное обучение» на видео без подписей и «осознанное обучение» с текстовыми описаниями смены состояний
• Ядро на базе Qwen3.5 после обучения заморожено; отдельные модули формируют текст, изображения (через Stable Diffusion 3.5) и действия робота (модуль Action Expert)
• В пяти задачах манипуляции роботом Orca сравнялась со специализированной системой π0.5, ни разу не увидев разметку действий на этапе предобучения
• На собственном бенчмарке для предсказания изображений PRICE-V0.1 Orca-4B (59,8%) обошла специализированные генераторы FLUX.2 small, FLUX.1-context и OmniGen2

Почему это важно

Orca предлагает альтернативу доминирующему подходу «предсказывай следующий токен/кадр/действие»: она учится общему внутреннему представлению того, как меняется состояние мира, и это представление одинаково хорошо разворачивается в текст, изображения и управление роботом. Главный результат, модель матчит специализированную робототехническую систему π0.5 в пяти задачах манипуляции, при этом ни разу не видев на предобучении, какое движение соответствует какому изображению. Это прямой удар по одной из главных проблем робототехники, хроническому дефициту размеченных данных о действиях: если общая модель мира, обученная на обычном видео без разметки, способна заменить дорогостоящий сбор данных с роботов, это может заметно ускорить и удешевить разработку робототехнических систем.

Кому это важно

В первую очередь, исследователям и инженерам, которые разрабатывают базовые модели для робототехники и мультимодального ИИ: BAAI показывает архитектурный путь, альтернативный чисто языковым или чисто видео-моделям. Важно это и командам, которые занимаются генерацией изображений и видео (сравнение с FLUX.2, FLUX.1-context, OmniGen2), и разработчикам робототехнических платформ, которые упираются в нехватку размеченных демонстраций действий. Отдельно тема касается научного сообщества, спорящего об определении «модели мира» (Пекинский университет, Университет Цинхуа), Orca даёт ещё один конкретный пример системы этого класса с измеримыми результатами.

Как это применить

BAAI опубликовала технический отчёт с архитектурой, методикой обучения и результатами по трём направлениям, тексту, изображениям и управлению роботом, что даёт другим командам ориентир для повторения подхода: замороженное ядро на базе готовой языково-визуальной модели плюс небольшие дообучаемые «головы» под конкретную задачу. Отдельный практический результат, собственная библиотека обучения FlagScale, которая, по заявлению авторов, обучает модель примерно в 4,4 раза быстрее, чем широко используемая в робототехнике кодовая база StarVLA, что может быть интересно инженерным командам напрямую, а не только исследователям.

Можно ли доверять

Сравнения на признанных текстовых бенчмарках (MVBench, TemporalBench, 3DSRBench, SWITCH) и сопоставление с открытыми моделями (Qwen3.5, Gemma 4, DeepSeek-VL2, Emu3/Emu3.5) дают проверяемую базу для оценки. Но часть ключевых результатов, в частности, сравнение по предсказанию изображений, опирается на бенчмарк PRICE-V0.1, который создала сама команда BAAI специально под эту работу, а не на независимый общепринятый стандарт; это типичная ситуация для свежих исследовательских отчётов, но она снижает независимость проверки. Результаты по роботу-манипулятору также описаны по примерам из статьи самих авторов, без данных о независимом воспроизведении.

Риски и подводные камни

Сама Orca пока учится только на изображениях и тексте, звук, сила и тактильные ощущения отсутствуют полностью, что ограничивает применимость в задачах, где важна не только визуальная, но и физическая обратная связь. Визуальное предсказание работает не в собственном «выученном с нуля» пространстве мира, а в пространстве уже готового предобученного кодировщика изображений, а модели размером 0,8 и 4 миллиарда параметров, по признанию самих авторов, пока слишком малы для полноценного моделирования мира. Текстовые описания событий охватывают лишь короткие интервалы в несколько минут, так что о моделировании длинных сценариев говорить рано. Плюс к этому, типовой риск заявлений от разработчика: собственный бенчмарк для изображений и отбор задач для сравнения с π0.5 могли быть подобраны так, чтобы выигрышно показать именно сильные стороны Orca.