RLSplat: 3D-реконструкцию по фото ускорили до 4,1 раза при меньшем бюджете гауссианов

Feed-forward 3D Gaussian Splatting (FF3DGS), подход, который восстанавливает трёхмерную сцену по изображениям за один прямой проход нейросети. Он хорошо подходит для приложений с жёсткими ограничениями по ресурсам. Недавние методы с управляемым бюджетом позволяют менять число гауссианов (элементов, из которых собрана сцена) прямо при выводе, чтобы результат укладывался в лимит хранилища или задержки рендеринга.

Проблема, на которую указывают авторы: такие методы не учитывают стоимость самого вывода. Чтобы получить нужное число гауссианов, они сначала предсказывают плотный набор, а затем отсекают или отбирают лишние. В итоге задержка и пиковая память остаются почти постоянными независимо от бюджета.

Решение, RLSplat, фреймворк FF3DGS с «ресурсно-линейным» управлением бюджетом: размер представления, задержка вывода и пиковая память убывают линейно при уменьшении бюджета гауссианов. Вместо отсечения или отбора RLSplat обучает политику распределения гауссианов, которая раскладывает бюджет по локальным областям сцены, так что генерируется ровно запрошенное число гауссианов. Затем они уточняются через ресурсно-линейное декодирование: каждый гауссиан обращается (attention) только к ближайшим соседям, найденным эффективным иерархическим поиском, поэтому стоимость декодирования линейно снижается при уменьшении числа гауссианов.

В zero-shot-оценке (без дообучения под тестовые данные) RLSplat, по заявлению авторов, превосходит прежние методы с управляемым бюджетом при любом бюджете. Он обходит сильнейший базовый метод, даже используя в 4 раза меньше гауссианов, а на малых бюджетах работает до 4,1 раза быстрее и расходует в 9,6 раза меньше пиковой памяти.

Ключевые факты

Прежние методы FF3DGS с управляемым бюджетом сначала предсказывают плотный набор гауссианов, а потом отсекают лишнее, поэтому задержка и память почти не зависят от бюджета.
RLSplat обучает политику распределения гауссианов по областям сцены и сразу генерирует ровно запрошенное число; размер, задержка и пиковая память падают линейно с бюджетом.
При декодировании каждый гауссиан смотрит только на ближайших соседей, найденных иерархическим поиском, стоимость декодирования линейна по числу гауссианов.
В zero-shot-оценке метод превосходит прежние подходы при любом бюджете и обходит сильнейший базовый метод, используя в 4 раза меньше гауссианов.
На малых бюджетах, до 4,1 раза быстрее и в 9,6 раза меньше пиковой памяти (лучшие случаи, не типичные значения).

Почему это важно

Метод закрывает пробел в управляемых по бюджету системах 3D-реконструкции: они экономили хранилище и рендеринг, но сам вывод оставался таким же тяжёлым. RLSplat делает так, что уменьшение бюджета реально снижает и задержку, и пиковую память.

Кому это важно

Исследователям и разработчикам, которые занимаются реконструкцией 3D-сцен по изображениям и работают в условиях ограниченных вычислительных ресурсов, а также тем, кто следит за темой гауссовых сплатов.

Как это применить

Из текста аннотации видно лишь идею: задавать число гауссианов под лимит хранилища или задержки, получая пропорциональную экономию на выводе. Сведений о коде, лицензии или готовых инструментах в источнике нет.

Можно ли доверять

Это препринт, представленный на странице Hugging Face; все утверждения принадлежат самим авторам. Названия наборов данных, метрики качества, имена базовых методов, оборудование и абсолютные значения задержки и памяти в тексте не приведены, поэтому проверить заявленное превосходство по аннотации нельзя.

Риски и подводные камни

Цифры 4,1 раза и 9,6 раза, это «до» и относятся к малым бюджетам, а не к типичным случаям; какие бюджеты считаются малыми, не указано. Эталон сравнения для ускорения тоже не уточнён. Результаты заявлены для zero-shot-оценки, и как метод поведёт себя в других условиях, из текста не ясно.