IDQD-RDO: метод экономит до 36,7% битрейта видео в VVC за счёт метрик восприятия
Видеокодеки, работающие блоками (например, VVC), выбирают параметры кодирования, оптимизируя баланс между битрейтом и искажением. Обычно искажение измеряют суммой квадратов ошибок (SSE), эта метрика удобна тем, что раскладывается по блокам, поэтому кодек может оптимизировать каждый блок независимо. Проблема в том, что метрики, лучше отражающие восприятие человеком (full-reference image quality assessment, FR-IQA), такие как MS-SSIM или LPIPS, не подходят для использования прямо в цикле кодирования: они не раскладываются по блокам и обычно требуют на входе уже полностью декодированное изображение целиком.
Авторы работы предлагают метод IDQD-RDO, который решает эту проблему. Идея, приблизить широкий класс FR-IQA-метрик так называемым input-dependent quadratic distortion (IDQD, квадратичным искажением, зависящим от входных данных): матрица этой квадратичной формы строится на основе гессиана метрики (матрицы вторых производных), вычисленного для исходного видео. Чтобы такое искажение можно было считать по отдельным блокам, предложены два способа упростить гессиан: оставить только его блочно-диагональную часть или оставить только диагональ целиком. Для обоих вариантов авторы предлагают оценщики, которым нужны лишь произведения матрицы (гессиана) на вектор, их можно получить автоматическим дифференцированием, без явного вычисления всей матрицы.
Метод протестировали на пяти FR-IQA-метриках, на стандартных наборах изображений Kodak и CLIC, с кодеком VVC. Результат: IDQD-RDO даёт экономию битрейта (BD-rate) от 14,2% до 36,7% относительно целевой метрики качества, при этом декодер не меняется вовсе, все изменения происходят на стороне кодировщика. Плата за это, рост сложности кодирования на 10-30%.
Ключевые факты
- Метрики MS-SSIM и LPIPS лучше отражают восприятие человеком, чем классическая SSE, но раньше их нельзя было использовать внутри цикла кодирования видео
- Метод IDQD-RDO приближает такие метрики квадратичной функцией искажения, построенной на гессиане метрики для исходного видео
- Предложены два упрощения гессиана, блочно-диагональное и чисто диагональное, чтобы считать искажение по отдельным блокам
- На тестах Kodak и CLIC с кодеком VVC по пяти метрикам достигнута экономия битрейта 14,2-36,7% без изменения декодера
- Рост сложности кодирования при этом составляет 10-30%
Почему это важно
Классическая оптимизация видеокодеков по SSE удобна вычислительно, но плохо соответствует тому, как человек воспринимает качество картинки. Метрики вроде MS-SSIM и LPIPS точнее отражают восприятие, однако их нельзя было напрямую встроить в процесс кодирования, потому что они требуют целиком декодированного изображения и не раскладываются по блокам. IDQD-RDO снимает это ограничение, позволяя кодеку оптимизироваться сразу под перцептивную метрику.
Кому это важно
Разработчикам видеокодеков и потоковых сервисов, где экономия битрейта при сохранении воспринимаемого качества напрямую снижает затраты на трафик и хранение видео, а также исследователям в области сжатия и оценки качества изображений, работающим над улучшением алгоритмов RDO (rate-distortion optimization).
Как это применить
Метод не требует изменений в декодере, вся работа выполняется на этапе кодирования, что упрощает внедрение в существующие кодеки на базе стандарта VVC. Для оценки используются только произведения гессиана метрики на вектор, получаемые автоматическим дифференцированием, что делает подход вычислительно реализуемым без явного построения полной матрицы вторых производных.
Можно ли доверять
Результаты получены на признанных стандартных наборах данных для оценки сжатия изображений, Kodak и CLIC, с использованием актуального кодека VVC, а показатели экономии битрейта приведены как диапазон по пяти протестированным метрикам. При этом в тексте источника не названы ни авторы и институции, ни конкретный список всех пяти метрик за пределами упомянутых MS-SSIM и LPIPS, ни базовый метод сравнения, кроме обычной SSE-оптимизации, что ограничивает возможность независимой проверки деталей.
Риски и подводные камни
Экономия битрейта достигается ценой роста сложности кодирования на 10-30%, что может быть существенным для сценариев с ограничениями по времени или ресурсам кодирования. Метод протестирован в конкретных условиях, определённые метрики, датасеты и кодек VVC, и то, насколько результаты обобщаются на другие кодеки, метрики или типы контента, из описания не следует.