Encord и Zander тестируют нейросигналы для обучения роботов

Компания Encord, которая создаёт инструменты для работы с данными при обучении ИИ, проводит в своём складе в Сан-Леандро, Калифорния, эксперимент с Zander Labs, немецким стартапом в области нейронауки. Робот-тренер Encord выполняет физические задания, например разбирает башню из деревянных блоков, в гарнитуре с камерой от первого лица и датчиками мозговой активности. Zander рассчитывает извлекать из таких сигналов признаки ошибок, намерения и удивления человека.

Encord хочет собрать первоначальный набор данных с пометками о мозговых сигналах, прогнать его через робототехнические модели клиентов и проверить, улучшает ли он их результаты. Только после этой оценки компания решит, расширять ли проект. По словам нейробиолога Zander Лукаса Герке, объём мозговой активности при выполнении задачи может подсказать разработчикам, когда следует задействовать наиболее требовательные к вычислениям модели.

Эксперимент связан с более широкой проблемой: для гуманоидных и складских роботов не хватает данных о реальных физических действиях. Encord прежде помогала размечать данные и оценивать модели для компьютерного зрения, но с распространением сквозного обучения манипуляциям решила сама производить обучающие данные. Компания собирает видео от первого лица на нескольких фабриках, получает записи от роботов, управляемых дистанционно, и в Сан-Леандро испытывает новые виды сигналов.

На площадке операторы создают записи таких задач, как наливание кофе, укладка фишек и подключение кабелей Ethernet. Для этого используют парные роботизированные руки: одну напрямую ведёт человек, а вторая повторяет движения. Encord также разрабатывает датчики на предплечье, которые улавливают электрические сигналы мышц и должны помогать восстанавливать трёхмерное положение руки, когда его не видно полностью на видео.

Каждый ролик Encord снабжает плотными физическими описаниями действий, например «правая рука затягивает болт». Руководитель направления обучения роботов Винит Велмуруган оценивает такие подробные аннотации как в 100 раз более ценные для обучения конкретным задачам, чем низкокачественные данные от первого лица, при стоимости производства в 20 раз выше. Однако физические данные приходится специально создавать, а не почти бесплатно собирать из интернета, поэтому экономику обучения роботов нельзя напрямую сравнивать с обучением языковых моделей.

Ключевые факты

• Encord и Zander Labs тестируют наборы данных, где видео действий человека дополнено сигналами мозговой активности.
• Цель пилота, проверить на робототехнических моделях клиентов, улучшают ли такие данные результаты; решение о масштабировании ещё не принято.
• Encord собирает данные от первого лица, записи дистанционного управления роботами и экспериментальные сигналы с мозга и мышц.
• По оценке Винита Велмуругана, плотная разметка физических действий может быть в 100 раз ценнее низкокачественных данных от первого лица, но обходится в 20 раз дороже.
• Главное ограничение для физического ИИ, нехватка масштабных данных о действиях в реальном мире и высокая стоимость их производства.

Почему это важно

Для роботов, работающих с предметами, нужны записи реальных действий с большей точностью, чем обычное видео. Encord проверяет, дадут ли мозговые сигналы дополнительную информацию о намерении человека, ошибках и неожиданных событиях, но практическая польза пока не подтверждена.

Кому это важно

Подход важен компаниям, обучающим гуманоидных, складских и бытовых роботов, а также операторам дата-центров, которым интересна автоматизация точных операций с кабелями. Encord утверждает, что работает со многими ведущими робототехническими фирмами, но не называет их.

Как это применить

Encord планирует сначала сформировать небольшой набор записей с мозговыми сигналами и проверить его на моделях клиентов. Для более привычных задач компания уже создаёт данные с камер от первого лица и с парных роботизированных рук, а действия размечает подробными физическими описаниями.

Можно ли доверять

Это описанный TechCrunch пилот, а не доказанный результат. Encord прямо говорит, что сначала оценит влияние набора данных на производительность моделей и лишь затем будет решать, масштабировать ли работу с Zander Labs.

Риски и подводные камни

Создание физических обучающих данных дорого: их нельзя просто собрать из открытого интернета. Более подробная разметка может быть полезнее, но, по оценке Encord, её производство также существенно дороже; нейросигналы добавляют ещё один экспериментальный и пока непроверенный источник данных.

«Данных попросту не существует.»

— Винит Велмуруган, руководитель направления обучения роботов Encord