Paint-Anything дал генераторам изображений точный HEX-контроль цвета

Исследователи представили Paint-Anything, метод, который даёт моделям генерации и редактирования изображений произвольный контроль по цвету: возможность указать точный 24-битный HEX-код цвета для конкретного объекта на картинке. Авторы отмечают, что прежние подходы к раскраске и колоризации изображений опирались на специальные представления цвета или отдельные процедуры вывода, а идея Paint-Anything проще: даже компактные языковые модели умеют связывать HEX-значения с цветовыми понятиями, и на этом можно построить единый HEX-промпт-интерфейс сразу для генерации и для редактирования, обучая его через привязку цвета к конкретным объектам на изображении.

Для обучения авторы собрали набор данных Paint-500K из реальных фотографий: сначала объекты на снимке находят и привязывают (object grounding), затем размечают их цвет перцептивно (как его видит человек), а после синтезируют пары «до/после» для задач редактирования. Проблема в том, что на реальных фото тени и освещение делают цветовые метки лишь приблизительными, поэтому обучение дополнили эталонными примерами чистого цвета, где пиксели точно соответствуют заданному HEX-значению. Такие эталоны используют только на этапах с высоким уровнем шума в диффузионном процессе, а на финальных, низкошумных этапах модель по-прежнему учится на обычных фотографиях.

Чтобы измерить точность цветопередачи на уровне отдельных объектов, авторы также предложили новый бенчмарк Any Color Benchmark (ACBench) из двух частей: ACBench-T2I, для генерации изображений по тексту, и ACBench-Edit, для редактирования. На базовой модели FLUX.2-4B Paint-Anything поднимает результат ACBench-T2I на 85,3% и ACBench-Edit на 28,3% относительно исходной модели без доработки; абляционные эксперименты (проверка отдельных компонентов метода) подтверждают, что вклад даёт именно предложенная схема обучения, а не что-то одно из неё. По метрике CompColor, оценивающей соответствие цвета в целом, Paint-Anything также показал лучший средний результат среди сравниваемых методов, правда, ни абсолютные значения по CompColor, ни названия методов, с которыми сравнивали, в тексте не приведены.

Ключевые факты

Paint-Anything, метод, дающий генеративным и редактирующим моделям изображений контроль по точному 24-битному HEX-коду цвета для конкретного объекта.
Обучающий набор Paint-500K собран из реальных фото через привязку объектов, перцептивную разметку цвета и синтез пар для редактирования.
Тени на реальных фото делают цветовые метки приблизительными, поэтому обучение дополнили эталонами чистого цвета, используемыми только на высокошумных этапах диффузии.
Новый бенчмарк ACBench (части ACBench-T2I и ACBench-Edit) измеряет точность передачи цвета объекта отдельно для генерации и для редактирования.
На базовой модели FLUX.2-4B метод улучшил ACBench-T2I на 85,3% и ACBench-Edit на 28,3% относительно исходной модели, а также дал лучший средний результат по метрике CompColor.

Почему это важно

Профессиональный дизайн часто требует не «сделай синим», а точного попадания в конкретный оттенок, фирменный цвет бренда, точный тон упаковки. Диффузионные модели генерации и редактирования изображений обычно понимают цвет описательно («тёмно-синий», «бирюзовый»), а не как строгое числовое значение. Paint-Anything закрывает этот разрыв: авторы показывают, что даже компактные языковые модели уже умеют связывать HEX-код с цветовым смыслом, и строят на этом единый интерфейс, один и тот же HEX-промпт работает и при генерации картинки с нуля, и при точечном редактировании цвета уже готового объекта.

Кому это важно

В первую очередь, дизайнерам, маркетологам и командам, которые генерируют визуальный контент для брендов, упаковки, рекламы и карточек товаров, где важно попадание в точный корпоративный или предметный цвет, а не в приблизительный оттенок. Полезен метод и разработчикам инструментов на основе диффузионных моделей генерации изображений (в работе используется FLUX.2-4B), как способ добавить в такие инструменты предсказуемый, измеримый контроль цвета вместо ручного подбора промпта на глаз.

Как это применить

Технически ценны два элемента, которые можно переиспользовать отдельно. Первый, сама схема данных: строить обучающие пары не из идеальных синтетических картинок, а из реальных фото, комбинируя привязку объектов, перцептивную разметку цвета и эталоны чистого цвета для компенсации теней и освещения, причём эталоны подмешивают только на ранних, высокошумных этапах обучения диффузии. Второй, бенчмарк ACBench (ACBench-T2I и ACBench-Edit): он позволяет отдельно измерять точность цвета при генерации с нуля и при редактировании, а не одной общей метрикой. В тексте не сказано, выложены ли код, датасет Paint-500K или веса модели в открытый доступ, использовать метод напрямую пока не на чем, кроме описанной методологии.

Можно ли доверять

Источник, материал с HuggingFace Papers с полным текстом аннотации, без признаков урезанного или деградированного текста. При этом в тексте не указаны ни институт, ни аффилиация авторов, ни площадка и дата публикации работы, по одному отрывку это установить нельзя. Приведённые цифры улучшения (85,3% и 28,3%), величины относительные, к базовой модели FLUX.2-4B без доработки, а не абсолютные баллы по ACBench; сами абсолютные значения ACBench-T2I, ACBench-Edit и CompColor, а также список методов, с которыми сравнивали, в тексте не приводятся, так что независимо оценить масштаб улучшения по этому отрывку невозможно.

Риски и подводные камни

Главный ограничитель, сравнение приведено только для одной базовой модели, FLUX.2-4B, и неясно, насколько прирост в 85,3%/28,3% переносится на другие модели генерации изображений. Проценты, относительное улучшение к базовой линии, а не абсолютная точность цвета, поэтому по ним нельзя судить, насколько «хорошо» или «плохо» модель справляется в абсолютных числах. Названия методов-конкурентов по CompColor не раскрыты, так что оценить, с какой планкой сравнивались авторы, со стороны нельзя. Наконец, в тексте ничего не сказано об открытом коде, датасете Paint-500K или лицензии, воспроизвести результат самостоятельно на основе одной аннотации нельзя.