FDSML: предобучение на фракталах улучшило поиск изображений

Метод Formula-Driven Supervised Learning (FDSL, обучение с учителем на основе формул) позволяет предобучать модели компьютерного зрения вообще без реальных изображений. По мнению авторов новой статьи, у существующих подходов есть слабое место: предобучение они сводят к классификации по дискретным меткам, и непрерывность самого процесса генерации картинок теряется.

Авторы предлагают Formula-Driven Supervised Metric Learning (FDSML, метрическое обучение на основе формул). Идея в том, чтобы получать «реляционный» сигнал, то есть сведения о том, какие изображения похожи друг на друга сильнее, а какие слабее, из параметров, по которым картинки порождаются, а не только из номеров классов.

Метод состоит из двух частей. Первая, FineFractalDB, уточнённый авторами набор фрактальных изображений с большим разнообразием внутри класса и более устойчивыми структурами. Вторая, Parameter-Aware Triplet (PA-Triplet) Loss, функция потерь с триплетами, которая назначает положительные и отрицательные примеры по расстояниям в пространстве параметров лежащей в основе системы итерируемых функций (Iterated Function System). Такая цель обучает эмбеддинги (векторные представления) соблюдать порядок относительной схожести, заданный параметрами.

По словам авторов, эксперименты показывают: FDSML лучше переносится на поиск изображений, остаётся конкурентным на последующей классификации и повышает устойчивость к искажениям в нескольких из проверенных вариантов. На ResNet-50 по сравнению с предобучением FDSL Recall@1 вырос с 65,6% до 74,0% на Stanford Online Products (на 8,4 п.п.) и с 56,2% до 78,4% на Stanford Cars (на 22,2 п.п.). Это абсолютные значения Recall@1, а не относительный прирост.

Итог авторов осторожный: результаты, по их словам, позволяют предположить, что сигнал, выведенный из параметров, даёт более сильное синтетическое предобучение, чем классификация по меткам, когда нужен перенос за пределы распознавания.

Ключевые факты

FDSML предобучает модели зрения на синтетических фракталах и берёт обучающий сигнал из параметров генерации изображений, а не только из дискретных классов.
Метод включает набор FineFractalDB (больше разнообразия внутри класса, более устойчивые структуры) и функцию потерь PA-Triplet Loss, которая выбирает положительные и отрицательные примеры по расстояниям в пространстве параметров системы итерируемых функций.
На ResNet-50 Recall@1 вырос с 65,6% до 74,0% на Stanford Online Products и с 56,2% до 78,4% на Stanford Cars относительно предобучения FDSL.
По заявлению авторов, классификация остаётся конкурентной, а устойчивость к искажениям улучшается в нескольких проверенных вариантах.

Почему это важно

Предобучение на синтетических данных без реальных изображений, направление, которое избавляет от сбора и разметки настоящих картинок. Работа предлагает дополнить его: вместо классификации по дискретным меткам использовать непрерывную информацию о том, как изображение было порождено. Заявленный прирост Recall@1 на двух бенчмарках по поиску изображений заметный, особенно на Stanford Cars (с 56,2% до 78,4%). Но это результат одной статьи на одной архитектуре.

Кому это важно

Исследователям, работающим с предобучением на синтетических данных и метрическим обучением, а также тем, кто занимается поиском изображений и эмбеддингами. Для практиков, которым нужна готовая технология, работа пока скорее ориентир по направлению.

Как это применить

В аннотации описаны идея и компоненты: набор FineFractalDB и PA-Triplet Loss, где положительные и отрицательные примеры выбираются по расстояниям между параметрами фракталов. Выпуск кода или набора данных в тексте не упоминается, поэтому воспроизведение потребует обращения к полному тексту статьи.

Можно ли доверять

Это препринт, и все утверждения принадлежат самим авторам. Перед нами только аннотация: авторы и организации в ней не названы, сведений о дате нет. Числа приведены для ResNet-50 и двух бенчмарков поиска (Stanford Online Products и Stanford Cars). Классификация названа лишь «конкурентной», без цифр, а для устойчивости к искажениям не указано, какие именно искажения проверены и насколько улучшение велико. Вывод самих авторов сформулирован как «результаты предполагают», а не как доказательство.

Риски и подводные камни

Сравнение дано только с FDSL-предобучением на ResNet-50; результаты на других архитектурах в тексте не приведены. Улучшение устойчивости заявлено лишь для нескольких вариантов искажений, а не для всех. Данных о затратах на обучение, размере набора и вычислительных ресурсах нет, поэтому оценить практическую цену метода нельзя.

«Эти результаты позволяют предположить, что реляционный сигнал, выведенный из параметров, даёт более сильный синтетический сигнал предобучения, чем классификация по меткам, для переноса за пределы распознавания.»

— Авторы статьи о FDSML, аннотация на Hugging Face