Для GPT-4o mini измерили «ёмкость инструкций»: около 37-38 правил

Исследователи исходят из того, что качество выполнения инструкций языковыми моделями падает по мере роста нагрузки, но до сих пор нет величины, которая выражала бы предел модели в единицах нагрузки и с оценкой погрешности. Они предлагают инструмент для такого измерения.

Нагрузку в нём создают правила, которые заменяют отдельные однотокенные слова в тексте без смысла. По замыслу авторов, такая инструкция атомарна, правила независимы друг от друга по построению задачи, а результат каждого применения правила определяется вычислимым эталонным ответом. Каждое вхождение заменяемого слова становится испытанием Бернулли с известной позицией в ответе и известным номером правила.

Статистическая модель сначала измеряет форму зависимости вероятности верной замены от длины текста, позиции слова, плотности замен, числа правил и номера правила. Затем она описывает эту зависимость гладкими законами и восстанавливает эталонный уровень, не зависящий от выбора кодировки. На выходе получается «ёмкость инструкций» (instruction capacity), число правил, которое модель удерживает при заданной доле верных замен, вместе с погрешностью.

Измерение GPT-4o mini (2958 запросов, 642 430 испытаний) дало закономерные зависимости по каждому фактору нагрузки и по «схлопыванию» ответа. Ёмкость инструкций составила около 37-38 правил при доле верных замен 0,95 и около 18-19 правил при полной плотности замен. Код инструмента, данные измерения и «паспорт» открыты, а каждое число паспорта пересчитывается из опубликованных точек. Паспорт модели, по замыслу авторов, должен служить калибровкой будущего измерителя инструкционной нагрузки промптов.

Ключевые факты

Предложена величина «ёмкость инструкций»: число независимых правил замены слов, которое модель удерживает при заданной доле верных замен, с оценкой погрешности.
Нагрузка, правила замены однотокенных слов в тексте без смысла; каждое вхождение слова считается испытанием Бернулли с известной позицией и номером правила.
GPT-4o mini измерена на 2958 запросах и 642 430 испытаниях: около 37-38 правил при доле верных замен 0,95 и около 18-19 правил при полной плотности замен.
Статистическая модель связывает вероятность верной замены с длиной текста, позицией слова, плотностью замен, числом правил и номером правила.
Код, данные и «паспорт» модели открыты; каждое число паспорта пересчитывается из опубликованных точек.

Почему это важно

О том, что нейросеть хуже следует инструкциям, когда их много, известно давно, но предел модели обычно не выражали числом в единицах нагрузки с погрешностью. Работа предлагает именно такую величину, ёмкость инструкций, и показывает, как её получить: нагрузка собрана из атомарных независимых правил с проверяемым эталонным ответом, поэтому каждый результат можно оценить статистически.

Кому это важно

Исследователям, которые оценивают следование инструкциям и деградацию моделей при росте нагрузки, и тем, кто сравнивает модели по устойчивости к длинным промптам с большим числом требований. Инженерам, пишущим сложные промпты, работа пока напрямую не даёт готового инструмента: измеритель нагрузки промптов описан как будущий.

Как это применить

Код инструмента, данные измерения и паспорт открыты, так что методику можно изучить и воспроизвести. По замыслу авторов, паспорт модели станет калибровкой будущего измерителя инструкционной нагрузки промптов. Пока измерена только GPT-4o mini, поэтому прямого рецепта для других моделей в тексте нет.

Можно ли доверять

Это препринт; в доступном тексте, аннотация, а не полный разбор. Сильная сторона: код, данные и паспорт открыты, а каждое число паспорта пересчитывается из опубликованных точек, то есть результат можно проверить. Слабые стороны: измерена одна модель, значения погрешности для 37-38 и 18-19 правил за пределами указанных диапазонов не приведены, а что именно означает «полная плотность замен» в числах, из текста не ясно.

Риски и подводные камни

Задача синтетическая: замена слов в тексте без смысла. Утверждения о том, что полученные числа переносятся на реальные промпты или другие задачи, авторы не делают, и переносить их на практику не стоит. Результат зависит от условий: около 37-38 правил относится к доле верных замен 0,95, а при полной плотности замен ёмкость около 18-19 правил. Сравнивать с другими моделями пока нечем.