InteractiveBench: тест показал, что ИИ-помощники для носимых устройств ненадёжны
Исследователи предложили InteractiveWorld, по их словам, первую проверяемую среду для замкнутого взаимодействия человека и ИИ-помощника. Идея в том, чтобы проверять ИИ-помощников на носимых устройствах (например, очках): такой помощник видит то, что видит пользователь, и при необходимости подсказывает ему, как выполнить физическую работу, от приготовления нового блюда до поиска потерянных ключей. Проблема в том, что проверять такую помощь трудно и обычно для этого нужны живые люди, а реальные данные о таком взаимодействии дороги и редки. Поэтому вопрос «могут ли сегодняшние мультимодальные большие языковые модели (MLLM) действительно помогать людям в физическом мире?» оставался без ответа.
В отличие от существующих симуляторов, ориентированных на роботов, в InteractiveWorld помощник направляет «человека-агента», который сам наблюдает сцену, понимает инструкции и действует самостоятельно. Цикл выглядит так: помощник даёт указание, человек действует, среда выполняет действия и обновляет то, что человек видит дальше.
На этой основе авторы построили InteractiveBench, по их утверждению, первый динамический бенчмарк для эгоцентричных (смотрящих глазами пользователя) ИИ-помощников. В нём 120 многоходовых задач шести категорий. В каждой задаче помощник в реальном времени ведёт человека, каждая инструкция влияет на исход, а результат оценивается проверяемыми наградами, основанными на состоянии среды.
Эксперименты с 12 передовыми MLLM показали, что до надёжных помощников им ещё далеко. Даже сильнейшая модель, названная в источнике Claude Fable 5.1, набирает не более 20% на долгих задачах категории «Наставление» (Guidance) и не более 25% на долгих задачах «Планирование» (Planning). Авторы заключают, что их работа даёт проверяемую платформу и строгий набор для оценки, основу для исследований интерактивных помощников, которые по-настоящему помогают людям в физическом мире.
Ключевые факты
- InteractiveWorld, среда, где ИИ-помощник направляет «человека-агента», который сам наблюдает сцену, понимает инструкции и действует; авторы называют её первой проверяемой средой для такого замкнутого взаимодействия.
- InteractiveBench, бенчмарк из 120 многоходовых задач шести категорий; исход каждой задачи оценивается проверяемыми наградами по состоянию среды.
- Протестированы 12 передовых мультимодальных моделей; по выводу авторов, до надёжных помощников им ещё далеко.
- Даже сильнейшая модель, Claude Fable 5.1 (название как в источнике), набирает не более 20% на долгих задачах Guidance и не более 25% на долгих задачах Planning.
Почему это важно
ИИ-помощники на носимых устройствах, которые видят то же, что и пользователь, и подсказывают ему в реальном времени, заметное направление для мультимодальных моделей. Но проверять их трудно: нужны живые люди, а реальные данные дороги и редки. Авторы предлагают проверяемую среду и бенчмарк, которые позволяют оценивать такую помощь без участия реальных людей в каждом тесте. Результат на текущий момент отрезвляет: у сильнейшей из 12 моделей на долгих задачах не более 20% (Guidance) и 25% (Planning).
Кому это важно
Исследователям мультимодальных моделей и интерактивных ассистентов, которым нужен воспроизводимый способ оценки помощи в физическом мире. Также тем, кто делает или планирует продукты для носимых устройств с ИИ-подсказками: цифры показывают, насколько далеко текущие модели от надёжной работы на долгих задачах.
Как это применить
Из аннотации не видно, как получить среду и бенчмарк. Практическая польза пока в ориентирах: бенчмарк построен на 120 многоходовых задачах шести категорий с проверяемой оценкой по состоянию среды, и именно такой подход авторы предлагают использовать для сравнения моделей-помощников.
Можно ли доверять
Это препринт, и пересказ опирается только на его аннотацию. Утверждения о том, что среда и бенчмарк «первые», принадлежат самим авторам. В аннотации не указаны авторы и организации, не приведены результаты остальных 11 моделей и не сказано, как реализован «человек-агент». Название сильнейшей модели, Claude Fable 5.1, приведено так, как оно стоит в источнике. Формулировка «не более 20% и 25%» дана без пояснения, точные ли это оценки или верхние границы по запускам.
Риски и подводные камни
Результаты зависят от того, как устроен «человек-агент» в симуляции, а это в аннотации не раскрыто, поэтому переносить цифры на работу с настоящими людьми нужно осторожно. Шесть категорий задач названы лишь частично (упомянуты Guidance и Planning), а оценки приведены только для долгих задач одной модели. Сведений о публикации кода, данных или рейтинга в источнике нет, так что проверить результаты независимо пока непросто.