Предложен CWAM: мировые модели действий учат выделять причины действий робота
Мировые модели действий (world action models, WAM) учат скрытые переменные по наблюдениям и используют их сразу для двух задач: предсказывать, как будет меняться сцена, и генерировать действия. Проблема, на которую указывает статья: предсказание должно охватывать всю сцену, а действия вызывает лишь её часть.
Если обучать такую модель на демонстрациях, нет общей гарантии, что действия будут порождаться исключительно скрытыми причинами демонстрируемых действий (авторы называют их «скрытыми переменными, значимыми для действия»). Модель вполне может научиться подражать демонстрациям, перемешав эти переменные с посторонними. Поэтому авторы предлагают разделить то, что вызывает действие, и то, от чего зависит предсказание.
Теоретический результат: при ограничении разреженности скрытые переменные, из которых генерируются действия, оказываются обратимой функцией только от значимых для действия переменных, а истинная структура восстанавливается с точностью до перестановки скрытых переменных. По утверждению авторов, для этого не нужна достаточная временная зависимость и не нужны допущения о том, как эволюционируют ненаблюдаемые режимы; результат сохраняется, даже когда значимые для действия переменные статистически зависят от остальных.
На практике авторы предлагают метод CWAM (Causal WAM). Он встраивает это ограничение в уже предобученную WAM: в блок генерации действий добавляется разреженный путь маршрутизации, а цель обучения мировой модели остаётся прежней. Эксперименты на синтетических данных и на реальных роботах, как сказано в аннотации, подтверждают теорию и показывают повышение эффективности по успешности в замкнутом контуре. Количественных результатов в аннотации нет.
Ключевые факты
- Мировые модели действий (WAM) используют одни и те же скрытые переменные и для предсказания всей сцены, и для генерации действий, хотя действия вызывает лишь часть сцены.
- Обучение на демонстрациях не гарантирует, что действия порождаются только их скрытыми причинами: модель может смешать их с посторонними переменными.
- Авторы доказывают: при ограничении разреженности переменные для генерации действий однозначно определяются значимыми для действия переменными, с точностью до перестановки.
- CWAM добавляет разреженный путь маршрутизации в блок генерации действий предобученной WAM; цель обучения мировой модели не меняется.
- Эксперименты на синтетических данных и реальных роботах, по словам авторов, подтверждают теорию и показывают рост эффективности по успешности в замкнутом контуре.
Почему это важно
Работа затрагивает слабое место мировых моделей действий: одни и те же скрытые переменные отвечают и за предсказание сцены, и за выбор действий. Если действия опираются на посторонние факторы сцены, модель может подражать демонстрациям, не понимая, что на самом деле вызывает действие. Статья предлагает теоретически обоснованный способ разделить эти факторы без изменения цели обучения мировой модели.
Кому это важно
Исследователям, которые работают с мировыми моделями действий и обучением роботов по демонстрациям, а также тем, кого интересует причинное представление данных и идентифицируемость скрытых переменных.
Как это применить
По описанию авторов, CWAM встраивается в уже предобученную WAM: нужно добавить разреженный путь маршрутизации в блок генерации действий, оставив мировое моделирование как есть. Сведений о выпуске кода, модели или данных в тексте источника нет, поэтому практическое воспроизведение пока зависит от полной версии статьи.
Можно ли доверять
Это препринт, а пересказ опирается только на его аннотацию. Теоретические утверждения и вывод об эффективности принадлежат самим авторам. В аннотации нет цифр: ни показателей успешности, ни базовых методов, ни размеров выборки, а «повышение эффективности по успешности в замкнутом контуре» не определено и не измерено количественно. Не названы ни исходная предобученная WAM, ни использованные роботы и задачи.
Риски и подводные камни
Доказательство держится на ограничении разреженности, поэтому результат применим, лишь пока оно выполняется. Без количественных результатов нельзя оценить, насколько велик выигрыш на реальных роботах и насколько он устойчив. Какие именно модели и задачи проверялись, из аннотации неясно.
«Мы разделяем то, что вызывает действие, и то, от чего зависит предсказание.»
— из аннотации статьи о CWAM