SearchGen-Bench вскрыл провал ИИ-генераторов изображений на новых фактах
Исследователи (в их числе Хаоцзэ Ван) описывают структурную проблему генераторов изображений и видео: модели отлично рисуют, но уверенно выдумывают то, чего не знают, новых персонажей, трендовые сущности, события после даты обучения и другие редкие («длиннохвостые») запросы. Причина в том, что модели обучены на фиксированном корпусе данных, а визуальный мир постоянно меняется.
Чтобы измерить масштаб проблемы, авторы собрали датасет SearchGen-20K, 20 839 промптов, охватывающих двенадцать категорий типичных провалов и двадцать два домена, и на его основе построили бенчмарк SearchGen-Bench. К нему прилагается заранее собранный мультимодальный корпус SearchGen-Corpus-1M для офлайн-исследований, которые можно воспроизвести без обращения к живому интернету.
Результат: передовые открытые генераторы изображений набирают на SearchGen-Bench только 21, 28 баллов из 100, просадка на 40 пунктов, которую не показывают существующие бенчмарки.
Очевидное решение, подключить модели к поисковым инструментам (агентная генерация изображений). Но авторы обнаружили, что наивный поиск не работает: он подтягивает информацию без разбора и засоряет шумом даже те промпты, с которыми генератор и так справляется без поиска.
Причину авторы прослеживают до так называемой «границы знаний», специфичной для каждого генератора и меняющейся со временем черты между тем, что модель может усвоить через обучение, и тем, что обязательно должно приходить из внешнего поиска. Заранее эту границу задать сложно, но авторы показывают, что её можно обнаружить с помощью подхода «сначала обучение, потом поиск» (teach-then-search), совместного (co-training) обучения генерации и поиска. Даже минимальная версия такого рецепта даёт устойчивое (монотонное) улучшение результатов, что авторы называют основой для рекурсивного самоулучшения генераторов изображений применительно к запросам, требующим актуальных знаний о мире.
Авторы публикуют весь датасет, корпус для совместного обучения и поисковый корпус как воспроизводимый инструментарий для дальнейших исследований генерации изображений с опорой на инструменты и знания о мире.
Ключевые факты
- Новый бенчмарк SearchGen-Bench: топовые открытые генераторы изображений набирают лишь 21, 28 из 100 баллов на запросах о новых персонажах, трендовых сущностях и событиях после даты обучения
- Датасет SearchGen-20K содержит 20 839 промптов по двенадцати категориям провалов в двадцати двух доменах
- Простое подключение поиска к генератору проблему не решает: наивный поиск засоряет шумом промпты, с которыми модель и так справляется
- Авторы вводят понятие «границы знаний» генератора, специфичной для модели и меняющейся черты между усвоенным через обучение и требующим внешнего поиска
- Метод teach-then-search (совместное обучение генерации и поиска) даёт устойчивое улучшение результатов даже в минимальной версии
Почему это важно
Генераторы изображений и видео уверенно выдумывают детали о том, чего не видели при обучении, новых персонажах, свежих событиях, трендовых сущностях. Новый бенчмарк SearchGen-Bench впервые количественно показал масштаб этой слепой зоны: просадка на 40 баллов из 100, которую не видят существующие тесты качества генерации.
Кому это важно
Разработчикам моделей генерации изображений и видео, командам, которые строят агентные (tool-augmented) системы генерации с подключением поиска, и исследователям, изучающим пределы знаний генеративных моделей о реальном мире.
Как это применить
Авторы выложили в открытый доступ датасет SearchGen-20K, бенчмарк SearchGen-Bench и заранее собранный мультимодальный корпус SearchGen-Corpus-1M, их можно использовать для оценки собственных генераторов и для обучения по методике teach-then-search, которая совместно учит модель понимать, когда нужно полагаться на обучение, а когда, обращаться к внешнему поиску.
Можно ли доверять
Работа опубликована как препринт на Hugging Face Papers, набрала 67 баллов и 4 комментария от сообщества. Авторы не просто заявляют о проблеме, а подкрепляют её отдельным бенчмарком и датасетом, выложенным в открытый доступ для воспроизведения результатов, это повышает проверяемость, хотя статья пока не проходила рецензирование на конференции.
Риски и подводные камни
Наивное добавление поиска к генератору может ухудшить результат, а не улучшить его, засоряя промпт лишней информацией. Границу между «известным» и «требующим поиска» для каждой модели приходится обнаруживать заново, а не задавать заранее. Пока протестирована только минимальная версия co-training-рецепта, она даёт монотонное, но не обязательно полное улучшение: неясно, насколько метод закрывает исходный 40-балльный разрыв в результатах.