DataComp-VLM: открытый эталон для улучшения датасетов в мультимодальных моделях
Сообщество Hugging Face представило DataComp для Vision-Language Models (DCVLM), первый системный эталон для контролируемых экспериментов по кураторству данных в обучении мультимодальных моделей, соединяющих текст и изображения.
Исследователи собрали корпус из 160 датасетов, содержащих 6 триллионов мультимодальных токенов и охватывающих четыре типа данных: пары изображение-подпись, мультимодальные переплетённые документы, только текст и инструкционные данные. Участники эталона могут тестировать стратегии кураторства (фильтрацию, смешивание, форматирование, выборку) на моделях от 1 до 8 миллиардов параметров и бюджетах от 6,25 до 200 миллиардов обучающих токенов.
Главное открытие: данные смешиваются, не фильтруются. Смеси, ориентированные на инструкции, масштабируются лучше, чем на подписи к изображениям, и разница растёт на больших масштабах. Используя эту стратегию, исследователи обучили 8-миллиардную VLM под названием DCVLM-Baseline, достигшую точности 63,6% на их 33-задачном основном наборе тестов. Это на 5,4 процентных пункта выше FineVision, лучшего на тот момент открытого датасета для обучения VLM. Оценка происходит на тщательно подобранном наборе из 52 бенчмарков на 9 предметных областях.
Вся система DCVLM, датасеты и артефакты будут открыто доступны на сайте проекта.
Ключевые факты
- DataComp-VLM, первая систематическая база для экспериментов над кураторством данных в Vision-Language Models, содержащая 160 датасетов и 6 триллионов мультимодальных токенов
- Главный результат: для высокого качества датасета критично смешивание данных, а не их фильтрация; инструкционные смеси масштабируются лучше подписей к изображениям
- DCVLM-Baseline (8B модель) достигла 63,6% точности на основном тесте из 33 задач, рост на 5,4 пункта над FineVision, лучшим открытым датасетом
- Эталон позволяет тестировать стратегии кураторства на моделях от 1 до 8B параметров с разными бюджетами (6.25B, 200B токенов) и оценивать на 52 бенчмарках
- Все датасеты, модели и результаты будут открыто доступны, что способствует развитию Research-first подхода в мультимодальном ИИ
Почему это важно
Vision-Language Models, объединяющие текст и изображения, требуют высокого качества обучающих данных, но сообщество не имело способа систематически оценивать и сравнивать стратегии подготовки датасетов. DataComp-VLM решает эту проблему: вместо того чтобы каждой команде отдельно экспериментировать, исследователи могут использовать единую платформу с контролируемыми условиями, 52 стандартизированными тестами и одинаковыми бюджетами вычислений. Открытие, что смешивание данных важнее фильтрации, переворачивает ожидания: раньше предполагалось, что удаление «шума», главное, на самом деле разнообразие и баланс типов данных (инструкции, подписи, тексты) дают больший прирост.
Кому это важно
Исследователям, которые разрабатывают и обучают Vision-Language Models, особенно работающим с открытыми моделями и ограниченными ресурсами. Практикам в компаниях, создающих приложения на базе VLM (распознавание документов, поиск изображений, анализ контента). Сообществу open-source: публичный датасет и стандартизированный эталон позволяют малым командам и стартапам строить конкурентоспособные модели без закрытых датасетов Big Tech.
Как это применить
Если вы обучаете Vision-Language Model или переработаете существующий датасет, начните с DCVLM-Baseline как отправной точки: 8B модель на 200B токенов достигает хороший результат без избыточного инжиниринга. Экспериментируйте с пропорциями инструкционных данных (они масштабируются лучше), мешайте типы данных вместо фильтрации, и оценивайте на нескольких задачах из 52 предложенных, а не на одном бенчмарке. На практике: возьмите 160 датасетов из DCVLM, отрегулируйте смесь согласно вашему бюджету токенов, обучите и сравните с базовой линией на стандартном тесте вместо ad-hoc примеров.
Можно ли доверять
Исследование проводилось авторитетной командой из сообщества и опубликовано с полной методологией. Результаты воспроизводимы: датасеты, коды и веса моделей будут открыты. Эталон покрывает 52 стандартизированных теста на 9 предметных областях, что гораздо более надёжно, чем отдельные примеры. Однако цифры (63,6% на core suite) относятся к узкому набору задач: нужно проверить, как это переносится на вашу конкретную задачу. Открытие о приоритете смешивания над фильтрацией согласуется с трендом в масштабируемых ИИ: качество выигрывает от разнообразия.
Риски и подводные камни
Эталон требует значительных вычислительных ресурсов (обучение моделей от 1B до 8B параметров): не каждая команда может воспроизвести эксперименты. Результаты оптимизированы на 200B токенов, что может не совпадать с вашим сценарием. Риск: скопировать DCVLM-Baseline буквально, не адаптируя смесь под вашу задачу. Второе: из 160 датасетов часть может быть лицензирована ограничительно или содержать перекрывающиеся данные, нужно проверить лицензии. Инструкционные данные, согласно исследованию, лучше масштабируются, но нежелательный побочный эффект: модель может переобучиться на стиль инструкций, снизив гибкость на свободном тексте. Третье: эталон фокусируется на классических бенчмарках (точность на тестах), но не на скорости вывода или размере модели на диске.
«Мы обнаружили, что смешивание данных, а не фильтрация, является ключом к высокому качеству обучающего датасета: смеси, ориентированные на инструкции, масштабируются лучше, чем на подписи, и выигрыш растёт на больших масштабах.»
— DataComp-VLM исследование