Предложены FWL-ToPM и FWLAug: трансформеры для лидара с полной формой сигнала стали быстрее более чем в 8 раз

Предложены FWL-ToPM и FWLAug: трансформеры для лидара с полной формой сигнала стали быстрее более чем в 8 раз

Лидар, ключевой датчик для автономного вождения и робототехники, но он уязвим к туману, дождю, прозрачным объектам и поверхностям с низкой отражающей способностью. Лидар с полной формой сигнала (full-waveform LiDAR, FWL) снижает эти ограничения: он записывает весь возвращённый сигнал в виде гистограммы и сохраняет детали отражения, включая многолучевые эхо и слабые сигналы.

По словам авторов, у недавних подходов на основе трансформеров для данных FWL остаются два узких места. Первое, высокая вычислительная стоимость из-за избыточных токенов в фоновых областях с низкой интенсивностью. Второе, ограниченная обобщающая способность из-за нехватки размеченных обучающих данных. Оба затруднения авторы решают, опираясь на физическую структуру данных FWL.

Первый метод, FWL-ToPM, механизм отсечения и слияния токенов (token pruning and merging). Он использует распределения интенсивности, чтобы выборочно сокращать число токенов и сохранять при этом важное содержимое сигнала. Второй метод, FWLAug, фреймворк аугментации данных, задуманный как способ регуляризации. Он сохраняет структуру сигнала: время пролёта (Time-of-Flight) для каждого луча и геометрию усечённой пирамиды обзора (frustum). Цель, улучшить обобщение на незнакомые сцены.

На бенчмарке Ghost-FWL авторы сообщают, что FWL-ToPM даёт ускорение более чем в 8 раз при пропускной способности, достаточной для работы в реальном времени, и одновременно прирост F1 почти на 9 пунктов относительно прежнего лучшего результата. По их словам, это первый трансформер для FWL, который работает в реальном времени и при этом повышает точность. FWLAug дополнительно улучшает результаты как на стандартном бенчмарке, так и на тестовом наборе вне распределения обучающих данных (OOD) с незнакомыми сценами. Авторы заключают, что вместе методы приближают восприятие на основе FWL к практическому применению. Код и OOD-набор данных выложены в открытом доступе на странице проекта: keio-csg.github.io/FWL-ToPM.

Ключевые факты

  • FWL-ToPM отсекает и объединяет токены, ориентируясь на распределение интенсивности, чтобы убрать избыточные токены фона с низкой интенсивностью.
  • FWLAug, аугментация данных, которая сохраняет время пролёта каждого луча и геометрию усечённой пирамиды обзора, чтобы модель лучше обобщалась на незнакомые сцены.
  • На бенчмарке Ghost-FWL заявлено ускорение более чем в 8 раз при пропускной способности реального времени и прирост F1 почти на 9 пунктов относительно прежнего лучшего результата.
  • FWLAug дополнительно улучшает результаты на стандартном бенчмарке и на тестовом OOD-наборе с незнакомыми сценами.
  • Код и OOD-набор данных опубликованы на странице проекта.

Почему это важно

Обычный лидар плохо работает в тумане и дожде, а также на прозрачных и слабо отражающих поверхностях. Лидар с полной формой сигнала сохраняет больше информации, но трансформеры на таких данных дороги по вычислениям и страдают от нехватки размеченных данных. Авторы заявляют, что предложили первый трансформер для FWL, который работает в реальном времени и одновременно повышает точность. Это шаг к практическому применению таких датчиков, но пока в рамках бенчмарка.

Кому это важно

Исследователям восприятия для автономного вождения и робототехники, работающим с лидарами и трансформерами. Также тем, кого интересует сокращение токенов (token pruning) и аугментация, учитывающая физику данных, идеи могут пригодиться и за пределами FWL.

Как это применить

Код и OOD-набор данных, по заявлению авторов, доступны на странице проекта keio-csg.github.io/FWL-ToPM. Их можно использовать, чтобы воспроизвести результаты на Ghost-FWL и проверить обобщение на незнакомых сценах. Условия лицензии в источнике не приведены.

Можно ли доверять

Это препринт: все цифры, заявления самих авторов, независимой проверки в источнике нет. Ускорение «более чем в 8 раз» дано без указания базовой модели, оборудования и частоты кадров, а «реальное время» не определено. Абсолютные значения F1 и название прежнего лучшего метода не приведены, поэтому прирост почти на 9 пунктов трудно оценить в контексте.

Риски и подводные камни

Оценка проведена на бенчмарке Ghost-FWL и тестовом OOD-наборе; испытаний на реальном автомобиле или в эксплуатации в источнике нет. Прирост от FWLAug заявлен без цифр. Сколько токенов отсекается и объединяется, тоже не сказано. Перенос результатов на другие датчики и условия нужно проверять отдельно.