Microsoft: вынос ИИ-вычислений роботов в облако повышает их точность и заряд батареи

Microsoft Research опубликовала результаты того, что называет первым системным исследованием инференс-нагрузок физического ИИ в робототехнике. Исследователи оспаривают распространённый подход в отрасли: сегодня для роботов обычно ставят GPU прямо на борт, и вся обработка задач привязана к этому чипу, даже если более высокоуровневое планирование выполняется в облаке. Авторы утверждают, что по мере роста и усложнения моделей физического ИИ ограничения бортовых вычислений становятся всё заметнее: GPU потребляют много энергии, снижают время работы от батареи, добавляют вес и стоимость и ограничивают возможность использовать новейшие поколения моделей.

В исследовании оценивалась типовая задача мобильной манипуляции, например, «проверить кухню на мусор и выбросить его в мусорное ведро», которая включает планирование маршрута, восприятие окружения, навигацию, захват предмета и возврат к мусорному ведру. Модели тестировались по трём направлениям: семантическое картографирование и планирование, навигация и манипуляция, на разных конфигурациях бортовых, edge- и облачных вычислений.

Результаты показали, что на GPU с достаточным объёмом памяти, но менее мощных, чем NVIDIA A100, картографирование и планирование замедлялись до 383% по сравнению с A100, что ограничивало возможности робота в динамичной обстановке. Навигация показала падение на 30% в своевременном обнаружении препятствий при использовании более слабых GPU. Модели VLA (vision-language-action, «зрение-язык-действие») не так сильно замедлялись на слабых GPU, но даже этого замедления хватало, чтобы снизить их точность на 50%. При замене мощных бортовых GPU, таких как Jetson Thor, на лёгкую плату Raspberry Pi-5 с полной передачей данных на вынесенный GPU расход батареи у крупных роботов снижался, по сравнению с этим мощные бортовые GPU увеличивали расход батареи до 160% (то есть «съедали» несколько часов автономности).

Microsoft отмечает, что вынос инференса за пределы робота связан со сложным компромиссом: производительность нужно взвешивать против сетевой задержки, пропускной способности и доступности GPU-ресурсов. Одновременно компания представила новую возможность в своём Physical AI Toolchain, открытом, готовом к продакшену фреймворке, который объединяет облачные сервисы Microsoft Azure со стеком физического ИИ NVIDIA. Новая функция позволяет разработчикам контейнеризировать, разворачивать и оркестрировать рабочие нагрузки робототехнического ИИ между самим роботом, edge-инфраструктурой и облаком с помощью инструментов на базе Kubernetes; инструментарий также интегрируется с робо-симуляторами, LeRobot и ROS2. Релиз включает примеры проектов для выноса инференса роботов SO-101 и UR10e, а в демонстрационных видео показан вынос инференса модели Rho от Microsoft (для роботов с двумя манипуляторами) на GPU Jetson Thor, управляющий роботом Mobile Aloha.

Ключевые факты

Microsoft Research провела первое системное исследование инференс-нагрузок физического ИИ в мобильной робототехнике
На GPU слабее A100 (но с достаточной памятью) картографирование и планирование замедлялись до 383%, навигация теряла до 30% своевременности обнаружения препятствий, а точность VLA-моделей падала до 50%
Замена мощных бортовых GPU (например, Jetson Thor) на лёгкую плату с выносом инференса снижала расход батареи, мощные бортовые GPU увеличивали разряд батареи до 160%, то есть отнимали несколько часов автономности у крупных роботов
Microsoft добавила в открытый Physical AI Toolchain новую функцию выноса инференса на базе Kubernetes, с примерами для роботов SO-101 и UR10e
Инструментарий объединяет облако Microsoft Azure со стеком физического ИИ NVIDIA и интегрируется с LeRobot и ROS2

Почему это важно

Исследование оспаривает базовое допущение отрасли робототехники, что инференс физического ИИ должен выполняться на самом роботе. Microsoft показывает, что бортовые GPU ограничивают производительность, срок работы от батареи и масштабируемость роботов, тогда как перенос вычислений на edge- или облачный GPU улучшает и точность, и время автономной работы, особенно по мере роста моделей физического ИИ.

Кому это важно

Разработчикам робототехнических систем и физического ИИ, инженерам инфраструктуры, компаниям, проектирующим флоты роботов для производства, складов и дома, а также экосистеме вокруг Microsoft Azure и NVIDIA, чьи продукты интегрированы в описанный инструментарий.

Как это применить

Новая функция выноса инференса доступна в открытом Physical AI Toolchain Microsoft и построена на Kubernetes: она позволяет контейнеризировать и распределять рабочие нагрузки ИИ между роботом, edge-GPU и облаком по декларативным спецификациям. В комплекте, готовые примеры для роботов SO-101 и UR10e, а также интеграция с робо-симуляторами, LeRobot и ROS2, что упрощает встраивание в существующие проекты.

Можно ли доверять

Это собственное исследование и объявление Microsoft Research без указания имён авторов и точной даты проведения испытаний; технические детали тестового оборудования вынесены в отдельный технический отчёт, на который ссылается пост, а независимой проверки результатов пока нет.

Риски и подводные камни

Вынос инференса за пределы робота, это компромисс: результаты зависят от сетевой задержки, пропускной способности и доступности GPU-ресурсов, а конкретных цифр по стоимости или требованиям к сети в материале не приведено. В условиях нестабильной или ограниченной связи выгоды офлоада могут не реализоваться, а некоторые более слабые GPU вовсе не смогли вместить весь стек мобильной манипуляции.