Представлен One Table Benchmark: единый тест табличных моделей на генерацию, заполнение пропусков и прогноз

Генерация, заполнение пропусков (импутация) и предсказание, это три способа обращаться к одному и тому же распределению табличных данных, но обычно их оценивают раздельно. Из-за этого остаётся неясно, какие способности у задач общие, как взаимодействуют их цели обучения и может ли одна модель хорошо справляться со всеми тремя. Чтобы ответить на эти вопросы, авторы представили One Table Benchmark: он охватывает 56 наборов данных, 46 зарегистрированных методов и 20 осей возможностей при согласованных разбиениях данных и явно прописанных контрактах задач.
В работе три вида сравнений. Во-первых, сопоставляются места методов в рейтингах разных задач на согласованной области. Во-вторых, проводится эксперимент с вмешательством в цели обучения: пять базовых архитектур (backbones) обучают при всех семи непустых комбинациях целей на пяти наборах данных с тремя случайными инициализациями (seeds). В-третьих, профили единых фиксированных моделей сравнивают с портфелями специалистов.
Сравнение рейтингов показывает, что заполнение пропусков и предсказание связаны через восстановление числовых значений и сохранение зависимостей между признаками, а генерация связана с обеими задачами через прогностическую полезность синтетических данных. Распределительная точность (fidelity) подчиняется другим, местами противоположным рейтингам.
Эксперимент с целями обучения даёт наибольший совокупный выигрыш, когда в обучение включена собственная цель той задачи, которую оценивают. Генерация даёт самое широкое покрытие положительных совокупных побочных эффектов для других задач. У предсказания, по словам авторов, есть потенциал улучшать заполнение пропусков и полезность синтетических данных, но отклик зависит от архитектуры. Перекрёстное добавление целей показывает, что выгоды от целей не складываются и зависят от того, какие цели уже присутствуют.
Сравнение фиксированных моделей выявляет компромисс между полезностью и точностью воспроизведения распределения: некоторые универсальные модели обходят портфели специалистов по полезности, тогда как по точности воспроизведения преимущество остаётся за специализацией. Замороженные базовые (foundation) модели показывают сильное предсказание и сильное точечное заполнение числовых пропусков, а также многообещающую полезность синтетических данных, что, по мнению авторов, говорит об их потенциале во всех трёх задачах. Итоговый вывод: нужны единые табличные модели, которые делятся полезной условной информацией, но при этом лучше восстанавливают категориальные признаки и точнее семплируют совместное распределение.
Ключевые факты
- One Table Benchmark объединяет оценку генерации, заполнения пропусков и предсказания на таблицах: 56 наборов данных, 46 зарегистрированных методов, 20 осей возможностей.
- Заполнение пропусков и предсказание связаны через восстановление чисел и сохранение зависимостей, генерация связана с обеими через прогностическую полезность; точность воспроизведения распределения следует другим, порой противоположным рейтингам.
- В эксперименте пять базовых архитектур обучали при всех семи непустых комбинациях целей на пяти наборах данных с тремя случайными инициализациями; наибольший выигрыш даёт включение собственной цели задачи, а выгоды от целей не складываются.
- Некоторые универсальные модели обходят портфели специалистов по полезности, но по точности воспроизведения распределения преимущество за специализацией.
- Замороженные базовые модели показывают сильное предсказание и числовое точечное заполнение пропусков; авторы призывают к единым табличным моделям с лучшим восстановлением категориальных признаков.
Почему это важно
Табличные данные, частый случай в прикладной работе, а задачи генерации, заполнения пропусков и предсказания обычно тестируют порознь. Единый бенчмарк с согласованными разбиениями и явными контрактами задач позволяет сопоставлять их на одной основе и видеть, что у них общего. Главный вывод авторов: универсальные модели уже местами выигрывают у специалистов по полезности, но по точности воспроизведения распределения пока проигрывают.
Кому это важно
Исследователям табличного машинного обучения, разработчикам методов синтеза данных и заполнения пропусков, а также командам, которые выбирают между набором специализированных моделей и одной универсальной.
Как это применить
Работа задаёт рамку для сравнения методов: если вы оцениваете табличную модель, смотрите на неё сразу по трём задачам и по двум осям, полезность и точность воспроизведения распределения. Выбор между универсальной моделью и портфелем специалистов зависит от того, что важнее: по выводам авторов, полезность может быть на стороне универсалов, точность воспроизведения, на стороне специалистов. Сведений о выпуске кода или данных в тексте нет.
Можно ли доверять
Это препринт, опубликованный в Hugging Face Papers; доступна только аннотация. Все выводы приведены в ней как утверждения самих авторов, без численных результатов, размеров эффектов или оценок, поэтому проверить силу эффектов по этому тексту нельзя. Авторы и организации в тексте не названы. Эксперимент с целями обучения проведён на пяти наборах данных из 56, поэтому выводы о взаимодействии целей опираются на этот меньший срез.
Риски и подводные камни
Названия пяти архитектур, использованных в эксперименте, и конкретных замороженных базовых моделей не указаны, поэтому нельзя сказать, насколько выводы переносятся на другие модели. Авторы сами отмечают, что отклик на добавление целей различается между архитектурами и что выгоды от целей не складываются, так что простое объединение целей не гарантирует улучшения. Слабые места универсальных моделей, по тем же выводам, восстановление категориальных признаков и верное семплирование совместного распределения.