Формат промпта способен исказить рейтинги LLM-бенчмарков в разы

Учёные изучили, насколько результаты бенчмарков языковых моделей зависят от «обёртки промпта», оформления запроса (структуры, разметки, инструкций), при том что содержательная часть задачи не меняется. Оказалось, что одна и та же модель на одной и той же задаче может показывать существенно разную точность в зависимости от того, как именно оформлен запрос, и этот разброс бывает достаточно большим, чтобы поменять итоговое место модели в рейтинге.

Для измерения эффекта авторы ввели две метрики: индекс чувствительности к формату (Format Sensitivity Index, FSI), разброс точности, вызванный только сменой обёртки промпта при прочих равных, и индекс чувствительности разбираемости ответа (Parseability Sensitivity Index, PSI), аналогичный разброс в том, насколько корректно ответ модели удаётся распознать и извлечь из него результат (например, разобрать по ожидаемой схеме).

Эксперимент проводился по протоколу с контролем числа токенов (чтобы разница в длине подсказки сама по себе не искажала сравнение) на 140 000 генераций через сервис OpenRouter. Тестировали 7 задач формата «вопрос-ответ» (QA), 5 семейств обёрток промпта и 4 инструктивные модели размером от 7 до 72 миллиардов параметров.

Главный результат: среднее значение FSI отличается более чем в 30 раз между разными моделями, то есть одни модели гораздо чувствительнее к формату запроса, чем другие. При этом бо́льшая часть этого разброса объясняется не «качеством ответа» как таковым, а тем, что модель просто не соблюдает ожидаемый формат вывода (нарушения схемы ответа). Регрессия с фиксированными эффектами (учитывающая отдельно вклад задачи, модели и обёртки) показала, что степень разбираемости ответа остаётся сильным предиктором итоговой точности даже после того, как убраны эффекты конкретной задачи, модели и формата запроса.

Вывод авторов: публикация одной цифры точности бенчмарка без указания разброса по обёрткам промпта и без учёта доли ответов, которые вообще не удалось корректно разобрать, статистически ненадёжна, такая цифра может ввести в заблуждение относительно реальных возможностей модели. Работа даёт практические рекомендации как для тех, кто составляет и публикует бенчмарки, так и для тех, кто строит продакшн-системы со структурированным выводом (когда от модели требуется отвечать в строго заданном формате).

Ключевые факты

Введены две новые метрики: FSI (индекс чувствительности точности к формату промпта) и PSI (индекс чувствительности разбираемости ответа к формату промпта)
Эксперимент: 140 000 генераций через OpenRouter, 7 задач вопрос-ответ, 5 семейств обёрток промпта, 4 инструктивные модели от 7 до 72 млрд параметров, протокол с контролем числа токенов
Среднее значение FSI различается более чем в 30 раз между моделями, часть моделей крайне чувствительна к оформлению запроса, часть почти нет
Бо́льшую часть разброса объясняют не различия в качестве ответа, а нарушения формата вывода моделью (ответ просто не удаётся корректно разобрать)
Регрессия с фиксированными эффектами подтверждает: разбираемость ответа предсказывает точность даже с учётом задачи, модели и обёртки промпта

Почему это важно

Рейтинги языковых моделей строятся на бенчмарках, где точность обычно публикуют одной цифрой на модель. Работа показывает, что эта цифра сама по себе может быть артефактом выбранного оформления запроса, а не отражением реальных возможностей модели: смена одной только обёртки промпта способна изменить результат настолько, что порядок моделей в рейтинге поменяется.

Кому это важно

Тем, кто составляет и читает бенчмарки языковых моделей и принимает решения на основе рейтингов; командам, которые выбирают модель для продакшн-задач со структурированным выводом (когда ответ должен строго соответствовать схеме); исследователям, оценивающим воспроизводимость результатов LLM-бенчмарков.

Как это применить

Авторы советуют не ограничиваться одной обёрткой промпта при оценке модели, а тестировать несколько вариантов оформления запроса и отдельно измерять долю ответов, которые не удалось корректно разобрать. При публикации результатов бенчмарка стоит указывать разброс по обёрткам (FSI/PSI), а не единственную цифру точности; для продакшн-систем со строгим форматом вывода, заранее проверять, насколько выбранная модель устойчива к варьированию формата запроса.

Можно ли доверять

Это препринт на arXiv, то есть результаты пока не прошли формальное рецензирование в журнале или на конференции. При этом масштаб проверки значителен, 140 000 генераций, несколько задач, семейств обёрток и моделей разного размера, что снижает риск случайного результата.

Риски и подводные камни

Выводы получены на инструктивных моделях размером 7, 72 млрд параметров и ограниченном наборе из 7 задач и 5 семейств обёрток промпта, насколько эффект переносится на более крупные закрытые модели (например, топовые проприетарные системы) или на задачи другого типа, из абстракта не следует.