Формат TWIG хранит веса нейросети как деревья общих решений

В препринте представлен TWIG (Tree-structured Weights with Inherited Gates, «древовидные веса с наследуемыми вентилями»). Идея: каждый вес нейросети, это конец пути из мелких дискретных решений. Решением может быть знак, сдвиг на степень двойки, нулевой вентиль (обнуление веса) или индекс в общей таблице. Связанные между собой веса делят верхние части своих путей, а каждое решение наследуется всеми весами ниже него, поэтому оно хранится один раз и применяется один раз.

Авторы выводят из этого три следствия. Первое: любую обученную сеть можно записать в виде TWIG, а когда решения, степени двойки, слои весов превращаются в схемы почти целиком из проводов и сумматоров; такие схемы подходят для чипов, у которых веса зафиксированы при изготовлении. Второе: прунинг (прореживание), квантование, низкоранговая факторизация, кодовые книги и разделение весов становятся правками одного объекта, поэтому один оптимизатор может выбирать среди всех этих приёмов для всей сети сразу. Третье: выбор решений, это задача об основном состоянии машины Больцмана высшего порядка, взаимодействия в которой идут по путям дерева; именно такой класс задач, по словам авторов, и решают отжиговые (annealer) и квантовые оптимизаторы.

Сегодня, как пишут авторы, эти вопросы решаются порознь: у каждого метода сжатия свой формат и свой решатель, схеме с фиксированными весами нужен отдельный умножитель на константу для каждого веса, а дискретные решатели добираются лишь до узких подзадач вроде округления. Форматы весов давно движутся к общим решениям, через групповые масштабы, общие экспоненты, микроэкспоненты и разреженные веса. TWIG, по утверждению авторов, доводит эту тенденцию до конца, а любой распространённый формат, это неглубокий TWIG без дополнительных затрат.

Единственный количественный результат: на пяти весовых матрицах большой языковой модели плоское дерево, у которого знаковые слагаемые-степени двойки выбираются для каждого веса исходя из стоимости схемы и без групповых масштабов, требует на 9-15% меньше сложений, чем GPTQ, при той же ошибке слоя на 3- и 4-битной точности на типичных матрицах. На матрицах с сильными выбросами выигрыш больше, на 20-55% меньше сложений.

Ключевые факты

TWIG представляет каждый вес как конец пути из дискретных решений: знак, сдвиг на степень двойки, нулевой вентиль, индекс в общей таблице; верхние части путей общие у связанных весов.
Любую обученную сеть можно записать как TWIG; при решениях-степенях двойки слои становятся схемами из проводов и сумматоров для чипов с весами, зафиксированными при изготовлении.
Прунинг, квантование, низкоранговая факторизация, кодовые книги и разделение весов сводятся к правкам одного объекта, а выбор решений, к задаче об основном состоянии машины Больцмана высшего порядка.
На пяти весовых матрицах большой языковой модели плоский TWIG даёт на 9-15% меньше сложений, чем GPTQ, при той же ошибке слоя (3 и 4 бита, типичные матрицы).
На матрицах с сильными выбросами выигрыш больше: на 20-55% меньше сложений.

Почему это важно

Сжатие нейросетей сегодня состоит из набора разрозненных приёмов, у каждого из которых свой формат и свой решатель. TWIG предлагает единое представление весов, в котором прунинг, квантование, низкоранговая факторизация, кодовые книги и разделение весов становятся правками одного объекта. Если идея сработает, один оптимизатор сможет подбирать сочетание этих приёмов для всей сети. Вторая заявка, удобство для чипов с зафиксированными при изготовлении весами: слои превращаются в схемы почти из одних проводов и сумматоров, без отдельного умножителя на константу для каждого веса.

Кому это важно

Исследователям сжатия и квантования нейросетей, тем, кто проектирует специализированные чипы с фиксированными весами, и тем, кто работает с дискретной оптимизацией (отжиговые и квантовые оптимизаторы). Для практиков, которые просто запускают модели, это пока теоретическая работа, а не готовый инструмент.

Как это применить

Готового применения в тексте не описано: ни кода, ни набора данных в нём не названо. Практический вывод пока один, идею можно иметь в виду как кандидата на единый формат весов для сжатия и для схем с фиксированными весами; проверять её придётся на собственных матрицах, сравнивая число сложений при равной ошибке слоя.

Можно ли доверять

Это препринт: авторы и организации в тексте не названы. Сравнение с GPTQ проведено на пяти весовых матрицах одной большой языковой модели (какой именно, не указано) и только по числу сложений при равной ошибке слоя. Итоговое качество модели (перплексия, точность) и скорость в тексте не приводятся. Результатов на реальном чипе или на отжиговом и квантовом оборудовании тоже нет: свойства схем и решателей представлены как свойства самого представления. Формулировки вроде «доводит тенденцию до конца», утверждения авторов о собственной работе.

Риски и подводные камни

Выигрыш в 9-15% сложений получен для конкретного варианта (плоское дерево, слагаемые-степени двойки, выбранные под стоимость схемы, без групповых масштабов) и на небольшой выборке матриц. Рост до 20-55% относится к матрицам с сильными выбросами, поэтому на типичных матрицах ожидать его нельзя. Меньше сложений при равной ошибке слоя ещё не означает выигрыша в задержке, энергии или площади чипа, а ошибка слоя не равна качеству всей модели. Независимой проверки в тексте нет.