Учёные вычислили формулу грокинга: данные важнее размера модели

«Грокинг» (grokking), эффект, при котором нейросеть уже прошла точку чистого запоминания тренировочных примеров, но переход к полноценному обобщению на новых данных наступает с задержкой. До сих пор теория объясняла, почему это происходит, но не было количественного описания того, при каких настройках и когда именно момент перехода наступает, этот пробел новая работа закрывает эмпирически. Авторы обучили двухслойные многослойные перцептроны (MLP) на задачах модульной арифметики в 384 разных конфигурациях гиперпараметров и построили карту границы между конфигурациями, где грокинг наступает, и теми, где не наступает вовсе.

По результатам этой карты исследователи подобрали степенную зависимость для времени наступления обобщения (T_grok): T_grok пропорционален H^-0,27 · D^-2,04 · η^-0,50 · λ^-0,64, где H, размер (ёмкость, ширина) модели, D, сложность тренировочных данных, λ, коэффициент затухания весов (weight decay); что означает четвёртый параметр, η, в тексте работы не поясняется. Без учёта взаимодействий между параметрами формула объясняет 73,2% разброса времени грокинга (R² = 0,732), а с учётом взаимодействий, 82,1% (R² = 0,821).

Главный результат, иерархия показателей степени: у сложности данных (D^-2,04) модуль показателя намного больше, чем у размера модели (H^-0,27), то есть решающим фактором для скорости выхода на обобщение служит не размер сети, а сложность тренировочных данных. На практике удвоение объёма данных ускоряет наступление обобщения примерно в 4 раза, тогда как удвоение размера (ширины) модели даёт ускорение лишь примерно в 1,2 раза.

Отдельно авторы нашли резкую фазовую границу по коэффициенту затухания весов: при λ ≳ 1,0 конфигурации явно распадаются на «грокающие» и «не грокающие». Во время самого перехода к обобщению норма весов сети монотонно сжимается, это согласуется с идеей о том, что неявная регуляризация в процессе обучения отбирает решения с более низкой сложностью.

Работа не объясняет, почему грокинг происходит, это было темой более ранних теоретических работ, а даёт количественный, эмпирически подобранный инструмент для предсказания и контроля момента перехода в избыточно параметризованных (overparameterized) сетях. Все эксперименты ограничены двухслойными MLP на модульной арифметике; переносится ли формула на другие архитектуры и задачи, авторы не проверяли.

Ключевые факты

Учёные прогнали 384 конфигурации двухслойных MLP на модульной арифметике и вывели формулу времени наступления обобщения: T_grok ∝ H^-0,27 · D^-2,04 · η^-0,50 · λ^-0,64 (R² = 0,732; с учётом взаимодействий, 0,821).
Главный фактор, не размер модели, а сложность данных: показатель степени при данных (-2,04) по модулю намного больше, чем при размере модели (-0,27); удвоение данных ускоряет обобщение примерно в 4 раза, удвоение модели, только в 1,2 раза.
При коэффициенте затухания весов λ ≳ 1,0 проходит резкая фазовая граница: конфигурации по разные стороны этого порога явно распадаются на грокающие и не грокающие.
Во время перехода к обобщению норма весов сети монотонно уменьшается, это совпадает с гипотезой о неявной регуляризации, которая отбирает более простые решения.
Формула, эмпирический количественный инструмент прогноза момента грокинга; проверена только на модульной арифметике и маленьких двухслойных сетях, перенос на другие задачи и архитектуры не исследован.

Почему это важно

До этой работы про грокинг было известно многое о том, почему он в принципе случается, например, через идею неявной регуляризации, но не было формулы, предсказывающей, когда переход к обобщению наступит при заданных настройках обучения. Иерархия показателей степени в новой формуле, данные значат для скорости обобщения куда больше, чем размер модели, идёт вразрез с интуицией «больше модель, быстрее и лучше обучение», которая часто применяется по умолчанию при масштабировании нейросетей. Практическая ценность именно в предсказуемости: зная размер модели, сложность данных, параметр η и коэффициент затухания весов, можно заранее оценить порядок величины времени до грокинга, а не выяснять это опытным путём.

Кому это важно

Прежде всего, исследователям динамики обучения нейросетей, изучающим, как и когда модели переходят от запоминания к пониманию задачи. Полезно инженерам, которые настраивают гиперпараметры для задач, где грокинг нужен или, наоборот, его стоит избежать. Для команд, работающих с крупными продуктовыми моделями, прямая польза ограничена: все эксперименты сделаны на маленьких двухслойных сетях и одной синтетической задаче, модульной арифметике, а не на языковых моделях промышленного масштаба.

Как это применить

Из формулы следует практический ориентир для задач такого же типа: если нужно ускорить выход в режим обобщения, наращивать объём тренировочных данных выгоднее, чем расширять модель, прирост от данных почти вчетверо больше при сопоставимом масштабировании. Резкая граница около λ ≈ 1,0 означает, что коэффициент затухания весов стоит выбирать осознанно, а не подбором наугад: по разные стороны этого порога поведение обучения качественно разное. Норма весов сети, которая монотонно сжимается при подходе к обобщению, может служить наблюдаемым индикатором приближающегося перехода. Все эти рекомендации проверены только на модульной арифметике и двухслойных MLP, перенос на другие архитектуры и задачи в работе не тестировался.

Можно ли доверять

Это препринт на arXiv: в тексте аннотации не указаны ни авторы, ни организация, ни дата публикации, поэтому оценить репутацию авторов по имеющимся данным нельзя. Методология выглядит систематической, 384 конфигурации гиперпараметров, регрессия по степенному закону, отдельно посчитан R² с учётом взаимодействий между параметрами и без них. При этом сама формула не объясняет всю дисперсию: 73,2% без учёта взаимодействий и 82,1% с ними, заметная часть колебаний времени грокинга остаётся не описанной даже лучшей версией модели. Все выводы получены на одной синтетической задаче и на маленьких двухслойных сетях; насколько иерархия факторов (данные важнее размера модели) сохраняется для других архитектур и задач, включая языковые модели промышленного размера, авторы не проверяли.

Риски и подводные камни

Главный риск, перенос выводов за пределы протестированного: наблюдение «данные важнее размера модели» получено на модульной арифметике и двухслойных MLP и может не воспроизвестись на других задачах и архитектурах. Один из четырёх параметров формулы, обозначенный η, не раскрыт в тексте, это ограничивает возможность самостоятельно проверить или применить формулу без обращения к полному тексту статьи. Наконец, даже с учётом взаимодействий R² равен 0,821, а не значению, близкому к единице, то есть закон приближённый, а не точный, и предсказание по нему стоит воспринимать с этой оговоркой.