AION-1 путает пометку детектора с самим объектом, и это искажает красное смещение

Исследователи провели причинный аудит модели AION-1, трансформера на 39 модальностей данных, обученного более чем на 200 млн астрономических объектов и совмещающего пиксели снимков с производными каталожными характеристиками (поток, размер, эллиптичность, красное смещение). Идея аудита: если оставить пиксельные токены снимка полностью нетронутыми и изменить только карту сегментации, служебную маску, которая размечает, где на кадре находится объект, то любое изменение в ответах модели вызвано именно этой маской, а не самим изображением.

Результат: правка одной только маски сегментации меняет все выдаваемые моделью величины, поток, размер, эллиптичность, красное смещение, в 110, 4400 раз сильнее, чем контрольная («плацебо») правка того же масштаба. Причина, не в том, сколько света охватывает маска (корреляция с выходом модели r = 0.30), а в самом факте обнаружения объекта в центре кадра (r = 0.47): модель гейтится по детекции, а не смотрит на пиксели. На 322 реальных случаях слияния близких объектов (блендов) модель вовсе никак не учитывает, как пайплайн разделил свет между источниками (корреляция R = −0.006). Проблема не ограничена одной маской: если подать модели заведомо противоречащие снимку данные фотометрии из каталога, ошибка получается в девять раз больше, чем если вообще не давать никаких метаданных.

Это имеет прямое практическое следствие. В пайплайне обзора Legacy Survey у 3.68% целей сегмент вообще не покрывает их фактическое положение на снимке, то есть объект формально «не обнаружен». Если распространить эту долю пропусков на реальную работу модели, усреднённое по томографическим срезам (группам галактик по диапазону красного смещения) красное смещение смещается на медианные 0.71 от порога точности, который коллаборация DESC установила для обзора LSST, и в 12 из 40 проверенных комбинаций срезов превышает этот порог. Если учесть ещё и реальные ошибки определения координат объектов, в худшем срезе сдвиг достигает 8.3 порога DESC. Замена равномерного распределения пропусков на распределение, повторяющее их реальную зависимость от видимой яркости объекта, ничего не меняет.

Авторы также проверили два способа устранить эффект: использование спектроскопии полностью убирает искажение, и простое исключение канала детекции из входных данных модели устраняет эффект без измеримой потери качества. При этом сама проблема усиливается с ростом масштаба модели. Отдельно отмечены ограничения токенизатора: его кодек для изображений различает лишь 28 эффективных состояний на патч снимка против 934 у кодека для спектров, а итоговое считывание красного смещения ограничено именно этой грубой квантизацией. Наконец, при проверке 15 разреженных словарей, популярного инструмента интерпретируемости, доля восстановленного сигнала колебалась от 26% до 75%, причём смена одного лишь случайного зерна (seed) сдвигала результат на величину до 18 процентных пунктов; авторы делают вывод, что разреженные словари, ненадёжный инструмент причинного анализа для моделей такого рода.

Ключевые факты

AION-1 (39 модальностей, обучена на более чем 200 млн объектов) при неизменных пиксельных токенах меняет поток, размер, эллиптичность и красное смещение в 110, 4400 раз, если изменить только карту сегментации (маску детекции).
Механизм, гейтинг по факту обнаружения объекта в центре кадра (r = 0.47), а не по свету внутри маски (r = 0.30); на 322 реальных блендах модель вовсе игнорирует, как разделён свет между источниками (R = −0.006). Противоречащая фотометрия из каталога делает результат в 9 раз хуже, чем отсутствие метаданных вовсе.
В пайплайне Legacy Survey у 3.68% целей нет сегмента, покрывающего их положение; это смещает усреднённое красное смещение по томографическим срезам на медианные 0.71 от требования DESC для LSST и превышает его в 12 из 40 комбинаций, а с учётом реальных ошибок позиционирования, до 8.3 раза в худшем срезе.
Спектроскопия полностью убирает эффект, а простое исключение канала детекции из входных данных модели устраняет его без потери качества; при этом эффект усиливается с ростом масштаба модели.
Токенизатор различает лишь 28 состояний для патчей изображения против 934 для спектров; разреженные словари как инструмент причинного анализа оказались ненадёжны, разброс восстановления 26, 75%, до 18 процентных пунктов только от смены случайного зерна.

Почему это важно

Модели, объединяющие в себе пиксели снимка и производные каталожные признаки, наследуют систематические ошибки этих каталогов, а каталоги заведомо неполны (в данном случае у 3.68% целей нет корректного сегмента). Работа показывает на конкретном примере, что мультимодальная астрономическая модель AION-1 фактически опирается не на изображение, а на служебную метку о том, был ли объект вообще обнаружен пайплайном, то есть внешне «мультимодальный» вывод модели во многом определяется одним техническим артефактом, а не физическими данными.

Кому это важно

Астрономам и космологам, использующим или планирующим использовать основополагающие (foundation) модели вроде AION-1 для обработки данных LSST и других обзоров; разработчикам мультимодальных научных моделей, комбинирующих сырые данные и производные метки; исследователям интерпретируемости ИИ, поскольку работа отдельно фиксирует ненадёжность разреженных словарей как метода причинного анализа.

Как это применить

Авторы предлагают конкретное и проверенное решение: исключить канал детекции (карту сегментации) из входных данных модели, это устраняет эффект без измеримой потери качества. Там, где доступна, спектроскопия убирает искажение полностью. Перед использованием выводов подобных моделей (поток, размер, эллиптичность, красное смещение) стоит проверять, не определяется ли результат фактом обнаружения объекта пайплайном, а не самим изображением, особенно для целей, близких к порогу детекции или входящих в бленды.

Можно ли доверять

Методология, причинный эксперимент с точечной правкой одного канала при неизменных остальных входах, методически строгая и позволяет прямо разделить вклад пикселей и вклад маски детекции. В тексте не указаны ни авторы, ни организация, ни дата публикации, судить о статусе рецензирования по имеющимся данным нельзя. Сами авторы честно отмечают ограничение собственного инструментария: результаты интерпретируемости через разреженные словари сильно зависят от случайного зерна, что стоит учитывать при оценке достоверности причинных выводов в этой и подобных работах.

Риски и подводные камни

Ошибка красного смещения, вызванная одним лишь фактом пропуска сегментации, в 12 из 40 проверенных комбинаций томографических срезов превышает требование DESC для LSST, а с учётом реальных ошибок позиционирования достигает 8.3 порога в худшем случае, то есть способна незаметно исказить космологические измерения, если полагаться на модель без проверки. Более широкий риск выходит за рамки астрономии: любая мультимодальная модель, обученная одновременно на сырых данных и производных от них метках, рискует научиться гейтиться по метаданным вместо содержимого, оставаясь при этом внешне «правдоподобной».