Platonic Representation Hypothesis: где возникает выравнивание представлений нейросетей и что оно значит

Platonic Representation Hypothesis (PRH, «гипотеза платоновских представлений») предполагает, что нейросети сходятся к похожим пространствам представлений. По мере роста способностей языковых моделей их представления выравниваются с представлениями моделей компьютерного зрения. Однако недавние работы поставили под вопрос, сохраняется ли этот тренд для более новых языковых моделей. Кроме того, ранее было показано, что метрики сходства представлений могут искажаться из-за глубины и ширины моделей, поэтому для их интерпретации нужны подходящие базовые уровни (baselines).
В новой работе, описанной в аннотации на Hugging Face Papers, три шага. Сначала авторы исследуют, где именно выравнивание возникает между унимодальными моделями: по слоям модели и по размерностям представлений. Затем они обнаруживают, что связь «способности, выравнивание» из PRH сохраняется и для более новых моделей, но при условии, что подписи (captions) достаточно чистые и информативные. Наконец, они вводят унимодальные и мультимодальные базовые уровни на разных наборах данных, чтобы корректно оценивать кросс-модальное выравнивание.
Итоговый результат из аннотации: кросс-модальное выравнивание представлений унимодальных моделей может превосходить выравнивание у явно согласованных моделей «зрение, язык», но остаётся существенно ниже выравнивания, наблюдаемого у моделей одной модальности. Код опубликован на GitHub: ExplainableML/prh-closer-look.
Ключевые факты
- Работа заново проверяет PRH: сходятся ли представления нейросетей и выравниваются ли языковые модели с визуальными по мере роста способностей.
- Тренд «способности, выравнивание» сохраняется для новых моделей, только если подписи достаточно чистые и информативные.
- Авторы изучают, на каких слоях и в каких размерностях представлений возникает выравнивание между унимодальными моделями.
- Вводятся унимодальные и мультимодальные базовые уровни на разных наборах данных, поскольку метрики сходства могут искажаться глубиной и шириной моделей.
- Кросс-модальное выравнивание унимодальных моделей может превосходить явно выровненные модели «зрение, язык», но заметно уступает выравниванию внутри одной модальности. Код опубликован.
Почему это важно
PRH, популярная идея о том, что разные нейросети сходятся к похожему внутреннему «взгляду» на мир. Недавние работы усомнились, что это справедливо для новых языковых моделей, и эта работа отвечает на сомнения: тренд сохраняется, но с оговоркой про качество подписей. Это смещает вопрос с «верна ли гипотеза» на «при каких условиях она наблюдается». Дополнительная ценность, учёт того, что метрики сходства зависят от глубины и ширины моделей, и введение базовых уровней для честного сравнения.
Кому это важно
Исследователям репрезентаций и интерпретируемости, а также тем, кто сравнивает представления разных моделей и модальностей. Тем, кто работает с мультимодальными моделями «зрение, язык», будет интересен вывод о том, что унимодальные модели в кросс-модальном выравнивании могут превзойти явно выровненные, хотя и уступают выравниванию внутри одной модальности.
Как это применить
Прямой инструкции аннотация не даёт, но практический смысл читается: при измерении сходства представлений стоит использовать базовые уровни и учитывать глубину и ширину моделей, а в экспериментах с кросс-модальным выравниванием следить за качеством подписей. Код работы открыт: github.com/ExplainableML/prh-closer-look.
Можно ли доверять
Это единственная аннотация работы; в ней не названы авторы и организации, нет числовых результатов, оценок выравнивания и размеров эффекта, не указаны конкретные модели, наборы данных и метрики. Не сказано и то, как измерялась «чистота и информативность» подписей. Формулировка «может превосходить» означает возможность, а не общий результат: как часто и насколько унимодальные модели обгоняют модели «зрение, язык», неизвестно. Работа не заявляет, что PRH в целом подтверждена или опровергнута. Для оценки надёжности нужны полный текст и код.
Риски и подводные камни
Вывод условный: тренд сохраняется лишь при достаточно хороших подписях, значит, на данных с шумными или бедными подписями результат может быть другим. Метрики сходства чувствительны к глубине и ширине моделей, и без правильных базовых уровней их легко истолковать неверно. Нельзя читать работу как окончательный ответ на вопрос о сходимости представлений: аннотация сообщает лишь о том, что именно изучено и в каком направлении получены результаты.
«Наши результаты показывают, что кросс-модальное выравнивание представлений унимодальных моделей может превосходить выравнивание у явно согласованных моделей «зрение, язык», но остаётся существенно ниже выравнивания, наблюдаемого у моделей одной модальности.»
— Из аннотации работы на Hugging Face Papers