Google объяснила математику «творчества» диффузионных моделей

Google Research опубликовала статью «On the Interpolation Effect of Score Smoothing in Diffusion Models» (автор, научный сотрудник Чжэндао Чэнь), представленную на конференции ICLR 2026. Авторы разбираются, откуда у диффузионных моделей (таких, что превращают шум в реалистичные изображения) берётся способность к «творчеству», генерации новых данных, а не копированию обучающей выборки.

Диффузионную модель обучают обращать процесс зашумления: реальные примеры (например, фото кошек) постепенно портят шумом до неузнаваемости, а модель учится шаг за шагом «очищать» их обратно. Если бы модель научилась этому процессу идеально, на выходе она выдавала бы точные копии обучающих примеров, то есть просто запоминала бы их. На практике же диффузионные модели генерализуют и создают новые, несуществовавшие образцы.

Авторы объясняют это через понятие score function (SF), «силового поля», которое на каждом шаге направляет движение частиц шума к итоговым данным. Если бы модель выучила эту функцию идеально по обучающим данным, поле сталкивало бы все частицы точно в исходные точки, то есть в память. Но нейросети обучают с регуляризацией (например, weight decay в оптимизаторе AdamW), и из-за неё сеть физически не может выучить резкие «обрывы» идеальной функции, вместо этого она выучивает её сглаженную, «размытую» версию. Авторы называют это эффектом score smoothing.

На простом одномерном примере с двумя обучающими точками (+1 и −1) это видно наглядно: идеальная score function делает резкое переключение направления ровно посередине, все частицы слева уходят к −1, все справа, к +1, и в итоге получается чистая память. Сглаженная же версия функции меняет направление постепенно, и часть частиц «застревает» в промежуточной зоне между точками, так рождаются новые, ранее не встречавшиеся образцы. Эксперименты с двухслойными ReLU-сетями показали: чем сильнее weight decay, тем более сглаженной получается выученная score function и тем сильнее эффект интерполяции.

В многомерном случае (реальные изображения живут не в одномерном мире, а в пространстве пикселей) эффект зависит от направления. Вдоль направлений, параллельных скрытому «многообразию данных» (data manifold, тонкому «слою» реалистичных картинок внутри огромного пространства шума), сглаживание замедляет схлопывание частиц к обучающим точкам и создаёт новизну. А в направлении, перпендикулярном многообразию (то есть к самой поверхности реалистичных изображений), идеальная score function и так почти линейна и гладкая, поэтому дополнительное сглаживание её почти не меняет, модель по-прежнему уверенно доходит до реалистичного результата, а не выдаёт размытую кашу. Именно этот баланс, торможение только вдоль многообразия, но не поперёк него, и позволяет диффузионным моделям одновременно оставаться реалистичными и генерировать что-то новое.

Авторы называют работу первым шагом: остаётся неясным, как эффект ведёт себя на более сложных данных и архитектурах. Код экспериментов для статьи выложен в открытый доступ. Практический вывод авторов, если механизм понятен, можно осознанно проектировать регуляризацию нейросетей так, чтобы усиливать «творческую» интерполяцию моделей и одновременно избегать слепого запоминания обучающих данных.

Ключевые факты

Google Research показала: «творчество» диффузионных моделей (генерация новых, не скопированных данных), математическое следствие регуляризации при обучении нейросети, а не случайное свойство.
Причина, score smoothing: из-за регуляризации (например, weight decay в AdamW) нейросеть выучивает не идеальную, а сглаженную версию score function, направляющей процесс denoising.
На игрушечном 1D-примере с двумя точками (+1 и −1) показано: идеальная функция даёт резкое переключение и точное запоминание, сглаженная, плавный переход и интерполяцию между точками (новые образцы).
В многомерном случае эффект направленный: вдоль поверхности данных (data manifold) сглаживание создаёт новизну, поперёк, почти не меняет резкость, поэтому итоговые изображения остаются реалистичными, а не размытыми.
Работа представлена на ICLR 2026, код экспериментов выложен в открытый доступ; авторы называют её лишь первым шагом к пониманию явления на более сложных данных и архитектурах.

Почему это важно

Диффузионные модели, одна из ключевых технологий генеративного ИИ (генерация изображений, поиск молекул), но их «творческая» способность выдавать новое, а не копии обучающих данных, до сих пор оставалась во многом «чёрным ящиком». Работа Google Research даёт этому явлению строгое математическое объяснение: генерализация, не побочный эффект масштаба данных, а прямое следствие того, как регуляризация меняет форму выученной функции score. Это шаг к тому, чтобы понимать и контролировать поведение генеративных моделей, а не только наблюдать его постфактум.

Кому это важно

Прежде всего исследователям и инженерам, которые разрабатывают и обучают диффузионные модели для генерации изображений, видео или молекул (например, в поиске новых лекарств), а также ML-теоретикам, изучающим, почему и как нейросети генерализуют. Разработчикам продуктов на основе диффузионных моделей эта работа даёт язык для обсуждения баланса между новизной и точным копированием обучающих данных.

Как это применить

Авторы предлагают использовать понимание score smoothing осознанно: настраивая силу регуляризации (например, weight decay) при обучении, можно управлять балансом между «творческой» интерполяцией модели и риском слепого запоминания конкретных обучающих примеров. Код численных экспериментов из статьи выложен в открытый доступ, что позволяет воспроизвести результаты и опробовать эффект на своих моделях.

Можно ли доверять

Источник, блог Google Research, статья представлена на ICLR 2026, одной из ведущих рецензируемых конференций по машинному обучению, что подразумевает независимую экспертную проверку. Выводы подкреплены как математическим анализом (связь регуляризации нейросетей с денойзингом), так и контролируемыми численными экспериментами на простых моделях; авторы дополнительно открыли код для проверки результатов независимо.

Риски и подводные камни

Авторы прямо оговаривают: это лишь первый шаг, и неизвестно, как эффект ведёт себя на более сложных распределениях данных и архитектурах, чем игрушечные одномерные и низкоразмерные примеры из статьи. Кроме того, баланс между «творчеством» и памятью хрупкий: слишком сильное сглаживание тормозит движение частиц во всех направлениях и делает итоговые изображения размытыми, а слишком слабое возвращает модель к точному копированию обучающих данных, с сопутствующими вопросами об авторских правах и утечке исходного материала.

«На практике диффузионные модели обычно делают больше, чем просто запоминают: они обобщают и генерируют новые образцы данных.»

— Чжэндао Чэнь (Zhengdao Chen), научный сотрудник Google Research