Учёные нашли общую закономерность обучения ИИ на примерах в шести разных типах данных

Исследователи проверили, действительно ли способность моделей ИИ обучаться «на лету», по нескольким примерам прямо в запросе (in-context learning, ICL), подчиняется общим законам независимо от типа данных. Раньше ICL подробно изучали в основном на больших языковых моделях, обученных предсказывать следующий токен в тексте, а недавно её также обнаружили у авторегрессионных моделей, работающих с геномными последовательностями. Это навело авторов на вопрос: возникает ли ICL широко, во множестве разных областей данных, и если да, есть ли у неё общая структура.

Чтобы ответить, авторы построили контролируемый эксперимент, в котором один и тот же набор задач воспроизводится в разных типах данных (модальностях). Так проверялась гипотеза, которую они назвали Convergent Emergence Hypothesis («гипотеза о конвергентном возникновении»): если ICL возникает, то у неё во всех модальностях должен быть похожий профиль сложности задач, то есть задачи, которые ICL решает лучше в одной модальности, должны лучше решаться ей и в других.

Результат: способность к обучению по парным примерам («если на входе X, то на выходе Y») возникла во всех шести проверенных типах данных, в тексте, геномных последовательностях, целочисленных рядах, временных рядах, изображениях и белковых последовательностях, и во всех случаях превзошла контрольные базовые модели. При этом связанные по сложности профили задач (когда трудность задачи в одной модальности предсказывает её трудность в других) подтвердились для пяти модальностей из шести; какая именно оказалась исключением, в тексте не указано. Итог авторов: гипотеза о конвергентном возникновении ICL подтверждается для части модальностей, но не для всех.

Ключевые факты

Обучение по примерам в запросе (in-context learning, ICL) проверили не только на тексте, но и на геноме, целых числах, временных рядах, изображениях и белках, всего в шести типах данных.
Во всех шести модальностях модели научились улавливать парные соответствия «вход-выход» по нескольким примерам и обошли контрольные базовые модели.
В пяти из шести модальностей сложность задач оказалась связанной: то, что ICL решает лучше в одной области, решается лучше и в других, общий «профиль трудности».
Какая именно из шести модальностей выпала из этой закономерности, авторы не указывают.
Вывод: гипотеза о едином, общем для разных типов данных механизме ICL подтвердилась частично, а не для всех модальностей сразу.

Почему это важно

Работа проверяет, не является ли обучение «на лету» по примерам в запросе особенностью именно языковых моделей и текста, а более общим свойством авторегрессионных моделей вообще. Если один и тот же набор задач одинаково поддаётся ICL в тексте, геноме, числах, временных рядах, изображениях и белках, это говорит в пользу общего, не завязанного на конкретный тип данных механизма такого обучения.

Кому это важно

Прежде всего, исследователям, которые строят и изучают модели за пределами языка: для геномики, работы с белками, анализа временных рядов и изображений. Результат подсказывает, что наработки по ICL из области языковых моделей могут переноситься на модели для других типов данных, а не оставаться специфичными для текста.

Как это применить

Практический вывод, в дизайне будущих экспериментов и бенчмарков: если профиль сложности задач для ICL действительно во многом общий для разных модальностей, задачи, на которых ICL хорошо работает в одной области (например, в тексте), стоит в первую очередь пробовать и в других (например, в геномике или временных рядах), а не тестировать всё заново с нуля.

Можно ли доверять

Источник, карточка препринта на Hugging Face Papers, доступен только текст аннотации. В нём нет ни конкретных числовых результатов (точности, размеров эффекта, статистической значимости) ни для одной модальности, ни имён авторов или их организаций, ни описания того, из чего состоят «контрольные базовые модели» и набор задач. Проверить претензии работы можно только по полному тексту статьи, а не по аннотации.

Риски и подводные камни

Из-за отсутствия цифр в доступном тексте невозможно оценить, насколько сильным было превосходство над базовыми моделями и насколько надёжна корреляция профилей сложности между модальностями. Не названа и модальность, где эта корреляция не подтвердилась, без неё трудно судить, насколько универсальна гипотеза на практике.