Предложен формат AIQ: квантование нейросетей на алгебраических целых числах
В препринте на arXiv предложены форматы алгебраических целых чисел (AINF), основа для гибкого и точного сжатого вычисления. Ключевое свойство AINF, по заявлению авторов, простое сведение к чисто целочисленной арифметике, которое позволяет выполнять безошибочные операции умножения с накоплением.
На этом свойстве авторы построили движок матричного умножения. По их утверждению, на современных аппаратных ускорителях он показывает производительность в пределах предсказуемого множителя от самых эффективных числовых аналогов, то есть не на уровне лучших решений, а близко к ним.
Второе достоинство подхода, свобода подбирать алгебраические целые числа под числовые характеристики конкретной задачи. Это, как пишут авторы, открывает возможности оптимизации, принципиально недоступные в форматах с плавающей и фиксированной запятой.
На основе этих свойств предложено алгебраическое целочисленное квантование (AIQ), формат сжатия с потерями для вывода больших языковых моделей. Авторы приводят результаты, согласно которым AIQ достигает конкурентной точности по сравнению с отраслевым стандартом MX на разнообразном наборе моделей и тестов при равном числе бит на параметр. Превосходство над MX не заявляется, только сопоставимое качество.
В экспериментах использовались алгебраические целые числа степени два (квадратичные целые). Обобщения на числа более высокого порядка и, в частности, многомерные алгебраические целые, по мнению авторов, сулят ещё большие вычислительные преимущества; это оставлено на будущую работу.
Ключевые факты
- Предложены форматы алгебраических целых чисел (AINF), сводящиеся к чисто целочисленной арифметике и допускающие безошибочное умножение с накоплением.
- Разработан движок матричного умножения, чья производительность на современных ускорителях, по заявлению авторов, укладывается в предсказуемый множитель от самых эффективных числовых аналогов.
- На базе AINF введён формат AIQ, сжатие с потерями для вывода языковых моделей.
- Заявлена точность, конкурентная с отраслевым стандартом MX, на разных моделях и тестах при равном числе бит на параметр.
- Эксперименты проведены только на квадратичных целых (степень два); числа высшего порядка и многомерные оставлены на будущее.
Почему это важно
Квантование, один из главных способов удешевить запуск больших языковых моделей: чем меньше бит на параметр, тем меньше памяти и вычислений. Работа предлагает иной математический фундамент для такого сжатия, алгебраические целые числа вместо привычных форматов с плавающей и фиксированной запятой. Авторы утверждают, что такой подход открывает оптимизации, принципиально недоступные в этих форматах. Пока это заявка на направление: точность названа конкурентной, а не лучшей, чем у MX.
Кому это важно
Прежде всего исследователям сжатия и квантования моделей, а также разработчикам аппаратных ускорителей и библиотек матричных вычислений, которых интересуют целочисленные форматы и новые числовые представления. Рядовым пользователям нейросетей работа напрямую ничего не меняет.
Как это применить
На данный момент это теоретическая и экспериментальная работа: в аннотации упомянут движок матричного умножения, но о выпуске кода или внедрении в промышленные системы не говорится. Практический ориентир для специалистов, сопоставлять AIQ с MX при равном числе бит на параметр, когда появятся полные результаты и реализация.
Можно ли доверять
Это препринт на arXiv, судить о нём можно только по аннотации. Все утверждения принадлежат авторам. В тексте нет конкретных значений точности, разрядности, названий моделей и тестов, а также величины «предсказуемого множителя» производительности, поэтому проверить силу заявленного результата по этому материалу нельзя. Тезис о конкурентной точности относится к сравнению с MX при равном бюджете бит на параметр.
Риски и подводные камни
Заявленная производительность, «в пределах предсказуемого множителя» от лучших аналогов, то есть формат не обещает их превзойти; сам множитель в аннотации не назван. Эксперименты проведены только на квадратичных целых, а выводы о большей выгоде от чисел высшего порядка и многомерных чисел, это пока гипотеза авторов, оставленная на будущую работу. Сравнение с MX описано как «конкурентная точность», без утверждения превосходства.
«Ключевое свойство AINF, простое сведение к чисто целочисленной арифметике, позволяющее выполнять безошибочные операции умножения с накоплением.»
— из аннотации препринта на arXiv