Предложены FWL-ToPM и FWLAug: трансформеры для лидара с полной формой сигнала стали быстрее более чем в 8 раз

Лидар, ключевой датчик для автономного вождения и робототехники, но он уязвим к туману, дождю, прозрачным объектам и поверхностям с низкой отражающей способностью. Лидар с полной формой сигнала (full-waveform LiDAR, FWL) снижает эти ограничения: он записывает весь возвращённый сигнал в виде гистограммы и сохраняет детали отражения, включая многолучевые эхо и слабые сигналы.
По словам авторов, у недавних подходов на основе трансформеров для данных FWL остаются два узких места. Первое, высокая вычислительная стоимость из-за избыточных токенов в фоновых областях с низкой интенсивностью. Второе, ограниченная обобщающая способность из-за нехватки размеченных обучающих данных. Оба затруднения авторы решают, опираясь на физическую структуру данных FWL.
Первый метод, FWL-ToPM, механизм отсечения и слияния токенов (token pruning and merging). Он использует распределения интенсивности, чтобы выборочно сокращать число токенов и сохранять при этом важное содержимое сигнала. Второй метод, FWLAug, фреймворк аугментации данных, задуманный как способ регуляризации. Он сохраняет структуру сигнала: время пролёта (Time-of-Flight) для каждого луча и геометрию усечённой пирамиды обзора (frustum). Цель, улучшить обобщение на незнакомые сцены.
На бенчмарке Ghost-FWL авторы сообщают, что FWL-ToPM даёт ускорение более чем в 8 раз при пропускной способности, достаточной для работы в реальном времени, и одновременно прирост F1 почти на 9 пунктов относительно прежнего лучшего результата. По их словам, это первый трансформер для FWL, который работает в реальном времени и при этом повышает точность. FWLAug дополнительно улучшает результаты как на стандартном бенчмарке, так и на тестовом наборе вне распределения обучающих данных (OOD) с незнакомыми сценами. Авторы заключают, что вместе методы приближают восприятие на основе FWL к практическому применению. Код и OOD-набор данных выложены в открытом доступе на странице проекта: keio-csg.github.io/FWL-ToPM.
Ключевые факты
- FWL-ToPM отсекает и объединяет токены, ориентируясь на распределение интенсивности, чтобы убрать избыточные токены фона с низкой интенсивностью.
- FWLAug, аугментация данных, которая сохраняет время пролёта каждого луча и геометрию усечённой пирамиды обзора, чтобы модель лучше обобщалась на незнакомые сцены.
- На бенчмарке Ghost-FWL заявлено ускорение более чем в 8 раз при пропускной способности реального времени и прирост F1 почти на 9 пунктов относительно прежнего лучшего результата.
- FWLAug дополнительно улучшает результаты на стандартном бенчмарке и на тестовом OOD-наборе с незнакомыми сценами.
- Код и OOD-набор данных опубликованы на странице проекта.
Почему это важно
Обычный лидар плохо работает в тумане и дожде, а также на прозрачных и слабо отражающих поверхностях. Лидар с полной формой сигнала сохраняет больше информации, но трансформеры на таких данных дороги по вычислениям и страдают от нехватки размеченных данных. Авторы заявляют, что предложили первый трансформер для FWL, который работает в реальном времени и одновременно повышает точность. Это шаг к практическому применению таких датчиков, но пока в рамках бенчмарка.
Кому это важно
Исследователям восприятия для автономного вождения и робототехники, работающим с лидарами и трансформерами. Также тем, кого интересует сокращение токенов (token pruning) и аугментация, учитывающая физику данных, идеи могут пригодиться и за пределами FWL.
Как это применить
Код и OOD-набор данных, по заявлению авторов, доступны на странице проекта keio-csg.github.io/FWL-ToPM. Их можно использовать, чтобы воспроизвести результаты на Ghost-FWL и проверить обобщение на незнакомых сценах. Условия лицензии в источнике не приведены.
Можно ли доверять
Это препринт: все цифры, заявления самих авторов, независимой проверки в источнике нет. Ускорение «более чем в 8 раз» дано без указания базовой модели, оборудования и частоты кадров, а «реальное время» не определено. Абсолютные значения F1 и название прежнего лучшего метода не приведены, поэтому прирост почти на 9 пунктов трудно оценить в контексте.
Риски и подводные камни
Оценка проведена на бенчмарке Ghost-FWL и тестовом OOD-наборе; испытаний на реальном автомобиле или в эксплуатации в источнике нет. Прирост от FWLAug заявлен без цифр. Сколько токенов отсекается и объединяется, тоже не сказано. Перенос результатов на другие датчики и условия нужно проверять отдельно.