Ben Houston показал, чего Three.js не хватает для AAA-освещения

Ben Houston показал, чего Three.js не хватает для AAA-освещения

Ben Houston продолжает серию статей о том, как довести освещение в Three.js до уровня AAA-игр. В предыдущей части он выбрал конвейер для интерьерных сцен: лайтмапы (запечённое освещение) для статичных мешей, сетка световых проб для движущихся объектов и отражающие пробы для каждой комнаты, а поверх них каждый кадр добавляются SSR (отражения в экранном пространстве), SSGI (глобальное освещение в экранном пространстве) и ambient occlusion (затенение). В этой статье он по одному этапу сравнивает Three.js с таким конвейером: что требуют игры, что уже есть и чего не хватает, с указанием пулреквестов в ревью, черновиков и ещё ненаписанных частей.

G-buffer. Для SSR, GTAO и шумоподавления нужны глубина, нормали, шероховатость, металличность и векторы движения для каждого пикселя. Three.js рендерит в прямом (forward) режиме, поэтому, по словам автора, G-buffer укладывается в 16 байт на пиксель. WebGPURenderer уже делает проход G-buffer с несколькими целями рендера, и примеры SSR им пользуются. Не хватает точности нормалей: SSR чувствителен к их ошибкам, а при RGB8-нормалях гладкие поверхности «схлопываются» в ограниченный набор направлений, и в отражениях появляются полосы и скопления. В AAA-играх нормали кодируют октаэдрически; это самая точная по размеру схема среди рассмотренных в обзоре Cigolle и соавторов. PR #35480 добавляет функции packNormalToOctahedral() и unpackOctahedralToNormal(); целевой формат, RG16 snorm, запасной, RG16F.

Глобальное освещение. Играм нужно запечённое освещение для неподвижного и объём проб для динамических объектов, желательно без протекания света сквозь стены. В Three.js каждый стандартный материал принимает lightMap, а для динамических объектов есть LightProbeGrid: сетка проб, каждая хранит входящий свет в виде сферических гармоник второго порядка (L2). Раньше узким местом был захват: профилирование показало, что запекание упирается в процессор из-за отправки проходов рендера. Пакетный захват теперь рисует по восемь проб за проход одной камерой-массивом, и сетка с разрешением 12 стала запекаться за 1,2 с вместо 5,6 с. Отсечение каждого вызова отрисовки по собственной подкамере ускорило запекание ещё вдвое. В целом сетка запекается примерно в восемь раз быстрее, чем в начале сентября, достаточно быстро, чтобы пересчитывать несколько проб за кадр, и поддерживает многократные отражения света. Точное интегрирование сферических гармоник снизило их ошибку с 2,4% до 0,08%. Главная проблема, протекание: проба по одну сторону стены может освещать объект по другую, и тёмная комната светится светом соседней. Подход DDGI хранит в каждой пробе расстояние до ближайшей поверхности во всех направлениях и игнорирует пробы, которые не видят освещаемую точку. Взвешивание видимости в стиле DDGI у автора работает в черновом PR. Проверка видимости по всем восьми окружающим пробам обходилась дорого, поэтому черновик может использовать тетраэдральную интерполяцию, смешивающую четыре пробы.

Затенение окружающего света и зеркальное затенение. Лайтмапы слишком грубы для контактных теней и не знают о динамических объектах, поэтому игры добавляют экранное затенение, стандарт, GTAO от Activision. Оно также даёт «изогнутую нормаль» (bent normal), среднее открытое направление, из которого получают зеркальное затенение GTSO. В Three.js GTAO уже передаёт результат в освещение через контекст builtinAOContext. Автор подробно описывает, к какому свету применяется затенение: лайтмап, сетка проб и окружение применяют его к непрямому диффузному свету, отражающие пробы и окружение применяют GTSO к непрямому зеркальному, а SSR и SSGI не применяют ни того ни другого, потому что найденное лучом попадание уже корректно затенено. Затенение затемняет цвет источника, но не меняет его покрытие, иначе свет следующего источника протекал бы в углы. Не хватает трёх вещей: зеркального затенения (изогнутые нормали и GTSO лежат в черновом PR, цена, цель AO вместо одного байта на пиксель занимает четыре), edge-aware повышения разрешения через jointBilateralUpsample() (написан, но ещё не отправлен; нужен и для SSR и SSGI вдвое меньшего разрешения) и изогнутых нормалей из SSGINode.

Отражения в экранном пространстве (SSR). Автор отсылает к своей отдельной серии о SSR и даёт краткое резюме. Готовые игровые движки сходятся на рецепте: трассировать предыдущий освещённый кадр, трассировать точно на любое расстояние с помощью пирамиды глубин Hi-Z, трассировать в половинном разрешении с повторным использованием лучей (так трассировка укладывается в менее миллисекунды), выдавать излучение вместе с покрытием, чтобы пробы заполняли пропуски, и шумоподавлять результат, оставив BRDF материалу. В Three.js SSRNode семплирует по важности весь лепесток GGX с корректным Френелем, может проверять и уточнять попадания, а результат репроецируется и накапливается во времени. Но трассировка, это шаг фиксированной длины с короткими лучами: три примера SSR находят 98%, 82% и 46% попаданий в пределах собственной длины луча за 2-3 мс, а шумоподавитель заполняет пробелы соседними пикселями. Из пяти требований все отсутствуют, но каждое прототипировано или в ревью, кроме повторного использования лучей. Точная трассировка: пирамида Hi-Z, цепочка мипов, где каждый тексель хранит ближайшую глубину из четырёх нижних; HiZNode строит её в вычислительном проходе. Трассировка в половинном разрешении с билатеральным повышением написана, повторное использование лучей, как в Frostbite, ещё предстоит сделать. Покрытие: сегодня промах берёт эквиректангулярную карту окружения внутри SSR, а сложение SSR с изображением дважды учитывает отражение окружения; в каскаде SSR должен выдавать одно, излучение, умноженное на покрытие (1 для попадания, 0 для промаха, затухание к краю экрана). Трассировка предыдущего кадра, как в DOOM: глубина текущего кадра, цвета из прошлого, и такая трассировка в ревью. У петли два правила: читаемое изображение, линейное HDR-излучение после TRAA, но до тонмаппинга и блума, а возвращаемое излучение нужно ограничивать, иначе одна «светлячковая» вспышка накапливается от кадра к кадру. Шумоподавление: пара TemporalReprojectNode и RecurrentDenoiseNode из примера SSR воспринимает чёрные пиксели как отсутствие данных и заполняет их соседями, пряча промахи трассировки и не оставляя работы пробам. DenoiseNode на основе SVGF от zalo заменил эту пару в примере SSR, но через пять дней был убран. Автор связал мерцание с отсутствием покрытия: на краю отражения попадание и промах усреднялись как два отсчёта одного сигнала, и история сбрасывалась. Его ветка ssr-coverage проводит покрытие через все стадии DenoiseNode и берёт статистику только по покрытым отсчётам; осталось сделать историю с двумя выборками, ограничение истории по шероховатости и пропуск зеркал и матовых пикселей. Дальше доступный текст обрывается на разделе о шумоподавлении SSR.

В начале статьи автор подводит итог: самые большие пробелы, в строках SSR, SSGI и BRDF: Hi-Z-трассировка и покрытие для SSR, то же покрытие для SSGI и, главное, подключаемое непрямое освещение, которое связывает оба каскада с BRDF. Он благодарит мейнтейнеров Three.js: Michael Herzog (@Mugen87) отревьюил большинство PR и не раз переделывал один из них в лучший дизайн, подстраивая внутренности рендерера, а mrdoob высказал сильную поддержку многим из них. До сих пор PR предлагались и рассматривались по одному, и серия нужна, чтобы собрать их в одну картину и оценивать каждый PR по месту в целом.

Ключевые факты

  • Ben Houston по этапам сверяет Three.js с AAA-конвейером освещения (лайтмапы, пробы, SSR, SSGI, затенение): что нужно играм, что есть, чего нет, какие PR в ревью, черновиках или ещё не написаны.
  • LightProbeGrid ускорили примерно в восемь раз с начала сентября: сетка разрешения 12 запекается за 1,2 с вместо 5,6 с (восемь проб за проход одной камерой-массивом); ошибка сферических гармоник снижена с 2,4% до 0,08%.
  • Проблема протекания света сквозь стены решается черновым PR с взвешиванием видимости в стиле DDGI; для экономии он может смешивать четыре пробы вместо восьми.
  • Текущая трассировка SSR в Three.js, шаг фиксированной длины с короткими лучами: три примера находят 98%, 82% и 46% попаданий в пределах собственной длины луча за 2-3 мс. В ревью, трассировка предыдущего кадра, прототипированы Hi-Z и покрытие, не начато повторное использование лучей.
  • Самые большие пробелы автор видит в SSR, SSGI и BRDF, особенно в подключаемом непрямом освещении; PR до сих пор предлагались по одному, а серия собирает их в одну картину.

Почему это важно

Three.js, один из самых распространённых движков для 3D в браузере, а освещение уровня AAA-игр (запечённый свет, пробы, отражения, затенение) требует целого конвейера, а не отдельных функций. Статья собирает разрозненные пулреквесты в единую карту: видно, что уже работает (LightProbeGrid, SSRNode, GTAO), что на подходе, а где пробелы. Автор сам называет главные: SSR, SSGI и подключаемое непрямое освещение, связывающее каскады с BRDF.

Кому это важно

Разработчикам на Three.js и WebGPURenderer, которые делают интерьерные сцены, конфигураторы и игры и упираются в качество освещения и отражений. Также мейнтейнерам и участникам проекта: статья показывает, как отдельные PR вписываются в общий дизайн. Остальным, как пример сравнения движка с практикой игровых студий (Frostbite, DOOM, Activision GTAO).

Как это применить

Часть описанного уже можно пробовать: lightMap у стандартных материалов, LightProbeGrid для динамических объектов, GTAO через builtinAOContext, SSRNode с примерами SSR. PR #35480 добавляет октаэдрическое кодирование нормалей. Остальное, драфты и ветки (взвешивание видимости DDGI, изогнутые нормали и GTSO, ветка ssr-coverage), а jointBilateralUpsample() ещё не отправлен. Сроков слияния в доступном тексте нет, поэтому планировать на них проект рано.

Можно ли доверять

Автор пишет от первого лица как автор описываемых PR и черновиков, то есть оценивает собственную работу, причём такие утверждения, как «в ревью» или «работает в черновике», остаются его словами. Цифры (5,6 с и 1,2 с, 2,4% и 0,08%, 98%, 82% и 46%) приведены без таблиц с методикой замеров в доступном тексте. Таблица конвейера и бенчмарк Hi-Z в текст не попали, а сам текст обрывается на разделе о шумоподавлении SSR.

Риски и подводные камни

Многое ещё не слито: взвешивание DDGI, изогнутые нормали, повышение разрешения и ssr-coverage существуют как черновики или ветки, а повторное использование лучей даже не начато. Трассировка предыдущего кадра требует осторожности: нужны линейное HDR-излучение после TRAA, но до тонмаппинга и блума, и ограничение возвращаемого излучения, иначе вспышки накапливаются. Случай с DenoiseNode от zalo, убранным через пять дней, показывает, что шумоподавление легко ломается на краях отражений. Изогнутые нормали увеличивают цель AO с одного байта до четырёх на пиксель.

«Пока что эти части предлагались и рассматривались по одной. Никого не просили согласиться с целым.»

— Ben Houston, автор статьи