4-битное квантование состояния рекуррентных сетей увеличивает ошибку до 300 раз

Квантование, стандартный способ снизить затраты вычислений и памяти нейросетей при инференсе: числа хранят не в полной точности, а в урезанном формате вроде 4 бит. У рекуррентных сетей (RNN, включая GRU и LSTM) это работает иначе, чем у обычных: квантованное внутреннее состояние сохраняется и возвращается на следующем шаге по времени, поэтому само правило записи этого состояния может менять все последующие вычисления. Исследователи во главе с Исмаилом Эрбасом называют это правило «перезаписью рекуррентного состояния» (recurrent-state write-back) и изучают его эффект отдельно от общего вопроса точности квантования.

Эксперимент поставлен на компактном энкодере-декодере GRU, который решает задачу из времяразрешённой флуоресцентной визуализации (fluorescence lifetime imaging), метода количественной биологической визуализации. Модель оценивает два параметра времени жизни флуоресценции по зашумлённому сигналу: короткоживущую компоненту τ1 и долгоживущую компоненту τ2. При неизменной обученной модели замена непрерывного переноса состояния на детерминированное хранение в 4 бита увеличила ошибку оценки τ1 примерно в 70 раз, а ошибку оценки τ2, примерно в 300 раз.

Причина сбоя, в самом механизме записи: если очередное небольшое обновление состояния оказывается ниже порога записи, оно округляется и теряется. Сеть продолжает «предлагать» изменение, но хранимое состояние на эти мелкие обновления почти не реагирует и остаётся практически неподвижным, а ошибка со временем накапливается.

Авторы показывают, что точность можно вернуть без переобучения модели: обратная связь по ошибке (error feedback), остаточная память (residual memory) и память направления (direction memory) переносят информацию о подавленных мелких обновлениях через время и компенсируют потерю. Отдельно они отмечают контринтуитивный эффект: при уже зафиксированном рекуррентном решении простое повышение точности хранения состояния может ухудшить результат, а не улучшить его, тогда как обучение модели с учётом квантованного интерфейса состояния позволяет ей адаптироваться к нему заранее.

Чтобы проверить, что эффект не специфичен для GRU, ту же процедуру повторили на независимо обученной LSTM-сети: грубая перезапись состояния снова ломает точность, обратная связь по ошибке снова её восстанавливает, а точечные вмешательства в разные части состояния LSTM показывают, что клеточное состояние (cell state) чувствительнее к огрублению, чем скрытое состояние (hidden state). На основании этого авторы делают вывод, что правило перезаписи рекуррентного состояния, ключевой фактор поведения рекуррентных сетей при низкой точности вычислений, а сам интерфейс хранения состояния должен быть отдельным пунктом при проектировании квантованного рекуррентного инференса.

Ключевые факты

4-битное детерминированное хранение состояния увеличило ошибку GRU-модели в 70 раз для τ1 и в 300 раз для τ2 при неизменной обученной сети
Причина: мелкие обновления состояния ниже порога записи округляются и теряются, состояние «застывает», хотя сеть продолжает предлагать изменения
Точность восстанавливается без переобучения, с помощью обратной связи по ошибке, остаточной памяти и памяти направления
Простое повышение точности хранения состояния может ухудшить уже готовое рекуррентное решение, контринтуитивный эффект, обнаруженный в точностных срезах
Эффект и способ починки подтверждены на независимо обученной LSTM; клеточное состояние оказалось чувствительнее к огрублению, чем скрытое

Почему это важно

Квантование обычно считают операцией с предсказуемым, плавно нарастающим эффектом на точность. Работа показывает, что у рекуррентных сетей есть отдельный и куда более резкий отказ: если огрублять именно правило записи состояния, ошибка растёт не в разы, а на два порядка, притом что сама обученная модель никак не меняется. Это скрытый источник деградации, который легко пропустить, если тестировать квантование только «на глаз», по общей метрике точности.

Кому это важно

Инженерам, которые разворачивают GRU- или LSTM-модели на маломощном или встраиваемом железе с урезанной точностью вычислений, в реальном времени обрабатывающих сигналы задачах вроде биомедицинской визуализации, где как раз и стоял тестовый пример; исследователям, разрабатывающим схемы квантования для последовательностных моделей; разработчикам аппаратных ускорителей, выбирающим формат хранения состояния.

Как это применить

Если рекуррентная модель уже развёрнута в низкой точности и точность просела, обратную связь по ошибке, остаточную память или память направления можно добавить поверх готовой модели, без её переобучения. Если модель только проектируется под квантованный инференс, надёжнее заранее обучать её с учётом интерфейса хранения состояния (matched training), а не полагаться на то, что более точный формат хранения сам по себе исправит дело: авторы показывают, что это не всегда так.

Можно ли доверять

Источник, полный текст препринта, доступный на Hugging Face Papers; авторы приводят конкретные числа (70x, 300x) с описанием постановки эксперимента и повторяют результат на второй, независимо обученной архитектуре (LSTM), что снижает риск случайного артефакта одной модели. На момент публикации у поста на Hugging Face минимальный охват обсуждения (одна отметка, один комментарий), независимой проверки результата сообществом пока не было, а сам эксперимент ограничен одной прикладной задачей (оценка времени жизни флуоресценции), поэтому масштаб эффекта на другие типы рекуррентных моделей и задач остаётся предположением, а не доказанным фактом.

Риски и подводные камни

В критичных системах, той же биомедицинской аппаратуре, грубое квантование состояния рекуррентной модели может незаметно уронить точность на два порядка без каких-либо внешних признаков сбоя, если инженер не проверял именно этот сценарий. Конкретное значение порога записи, за которым обновления теряются, в статье не приводится, что мешает заранее оценить риск для конкретной модели и формата. Кроме того, компенсирующие механизмы (обратная связь по ошибке, остаточная и направленная память) сами требуют дополнительной памяти и вычислений, что может частично или полностью съедать экономию, ради которой квантование затевалось.