Закон SIMPLE предсказывает энергозатраты нейросети при выводе с ошибкой 11,97%

Генеративный ИИ тарифицируется за токен, но токены стоят неодинаково: каждый токен попадает в KV-кэш (кэш ключей и значений внимания) и удорожает все последующие, поэтому энергия растёт нелинейно вдоль последовательности, хотя токены выглядят одинаково. По словам авторов препринта, аналитической модели, которая бы говорила, сколько стоит токен, нет, а самая точная из существующих (SOTA), это подгонка, а не закон: она прячет архитектуру в подобранных коэффициентах и требует отдельной подгонки под каждую модель.
Авторы выводят формулы в замкнутом виде для вычислительной сложности и числа обращений к памяти при выводе модели через архитектурные гиперпараметры, охватывая MHA и GQA (два варианта механизма внимания). Затем они сравнивают семейство аналитических моделей с растущей детализацией и получают SIMPLE (SIMPLE Inference Model to Predict LLMs Energy), закон с четырьмя параметрами. Он разделяет предзаполнение (prefill) и декодирование, а декодирование, на стоимость KV-кэша и вычисление следующего токена.
Проверка шла на трассах 13 «плотных» (не MoE) моделей из шести семейств на GPU NVIDIA H100. Без подгонки под каждую модель SIMPLE даёт R2 = 0,969 и среднюю абсолютную процентную ошибку (MAPE) 11,97%; это в 3,1-3,5 раза ниже, чем у SOTA.
Закон не только предсказывает, но и объясняет. Энергия предзаполнения растёт квадратично с размерностью скрытого слоя, поэтому крупные модели сильнее всего страдают от длинных входов. Более агрессивная группировка ключей и значений в GQA снижает энергию на токен до 3 раз по сравнению со стандартным MHA.
Увеличение бюджета токенов на рассуждение выталкивает длину вывода за аналитически найденный энергетический минимум и приводит к сверхлинейному росту энергии. Точность с бюджетом растёт, но энергия растёт быстрее, поэтому показатель «интеллект на джоуль» (Intelligence per Joule) достигает максимума при промежуточном бюджете и падает до 3,14 раза на диапазоне бюджета шириной в 4,0 раза.
Агентный режим обслуживания увеличивает энергию на запрос в 13,0 раза по сравнению с неагентными запросами: растут и предзаполнение, и слагаемое KV-кэша по мере увеличения входа. Кэширование префикса убирает большую часть стоимости предзаполнения (−93%), но слагаемое KV-кэша не затрагивает, поэтому даже запрос агента с кэшем обходится в 4,8 раза дороже.
Ключевые факты
- SIMPLE, закон с четырьмя параметрами, который разделяет предзаполнение и декодирование, а декодирование, на стоимость KV-кэша и вычисление следующего токена.
- На трассах 13 плотных моделей из шести семейств на H100 без подгонки под каждую модель: R2 = 0,969, MAPE 11,97%, что в 3,1-3,5 раза ниже, чем у SOTA.
- Группировка в GQA снижает энергию на токен до 3 раз относительно MHA; энергия предзаполнения растёт квадратично с размерностью скрытого слоя.
- Интеллект на джоуль достигает максимума при промежуточном бюджете рассуждений и падает до 3,14 раза на диапазоне бюджета шириной в 4,0 раза.
- Агентный режим повышает энергию на запрос в 13,0 раза; кэширование префикса снимает 93% стоимости предзаполнения, но запрос всё равно в 4,8 раза дороже неагентного.
Почему это важно
Нейросети тарифицируют за токен, как будто все токены равны, но по выводам авторов это не так: каждый токен удорожает следующие через KV-кэш, и энергия растёт нелинейно. Закон с явной физикой вместо подгонки позволяет понять, откуда берётся стоимость, а не только предсказать её, и показывает, где она растёт быстрее всего: на длинных входах, длинных рассуждениях и в агентных сценариях.
Кому это важно
Тем, кто считает стоимость и энергопотребление вывода: инженерам по инфраструктуре и обслуживанию моделей, командам, строящим агентные системы, исследователям эффективности и разработчикам архитектур, выбирающим между MHA и GQA.
Как это применить
По выводам препринта: при выборе бюджета на рассуждение искать промежуточное значение, где интеллект на джоуль максимален; для длинных входов учитывать, что крупные модели страдают сильнее; в агентных сценариях включать кэширование префикса, помня, что оно не убирает стоимость KV-кэша. Сами четыре параметра и формула закона в пересказываемом тексте не приведены, поэтому для практического расчёта нужно обращаться к полному тексту работы.
Можно ли доверять
Это препринт, листинг на Hugging Face Papers; авторы и организации в доступном тексте не названы, так что оценивать приходится по самим результатам. Цифры взяты из аннотации: 13 плотных моделей из шести семейств, только GPU NVIDIA H100, без подгонки под каждую модель. Сравнение с SOTA не раскрывает, какая именно модель взята за образец, а список проверенных моделей не приведён.
Риски и подводные камни
Проверка охватывает только плотные модели и только H100: на других ускорителях и на моделях типа MoE результаты не показаны. Показатели про агентный режим (13,0 раза и 4,8 раза) заданы относительно «неагентных запросов» без описания моделей, длин запросов и нагрузок, поэтому переносить их на свои задачи надо осторожно. Ошибка 11,97% MAPE, это всё же заметная погрешность для точных расчётов.
«Генеративный ИИ тарифицируется за токен, но токены стоят неодинаково.»
— Из аннотации препринта