Языковая модель автоматически строит простые базовые методы и почти догоняет глубокое обучение в науке

Чтобы честно показать ценность нового метода глубокого обучения, его нужно сравнить с подходящими базовыми методами (baselines). Авторы работы на arXiv напоминают: по мере распространения глубокого обучения в физических науках и науках о жизни нередко оказывалось, что кажущийся прогресс был артефактом пропущенных или отсутствующих базовых сравнений.

Авторы проверяют, можно ли смягчить эту проблему, поручив построение базовых методов большим языковым моделям. Для этого они собрали 36 задач обучения с учителем (классификация и регрессия) из рецензируемых исследований в журналах семейств Nature, Science и Cell, в которых предлагались новые методы глубокого обучения для научных приложений. Затем языковая модель строила для каждой задачи простые базовые методы.

Результат, по словам авторов, сильный: автоматически построенные базовые методы в среднем закрывают медианно 95,5% (среднее значение 85,7%) разрыва между тривиальным предсказателем и результатом модели глубокого обучения. Важно, что это доля разрыва, а не абсолютная точность. Кроме того, медианный простой базовый метод достигает результата глубокой модели или превосходит его в 12 исследованиях.

Дополнительно авторы изучают различия между научными областями и местами публикации, а также влияние вычислений на этапе применения (test-time compute) и доступа к разному объёму контекста об исследовании. Итог они формулируют осторожно: поскольку рецензирование людьми не успевает за быстро растущим потоком научных статей, результаты позволяют предположить, что автоматическое построение базовых методов, практичная и масштабируемая проверка вкладов глубокого обучения в физических науках и науках о жизни.

Ключевые факты

Собрано 36 задач классификации и регрессии из рецензируемых исследований в журналах семейств Nature, Science и Cell, где предлагались новые методы глубокого обучения.
Простые базовые методы, построенные языковой моделью, закрывают медианно 95,5% разрыва между тривиальным предсказателем и глубокой моделью (среднее, 85,7%).
В 12 исследованиях медианный простой базовый метод равен результату глубокой модели или превосходит его.
Авторы также анализируют различия по областям науки и местам публикации и влияние test-time compute и объёма контекста об исследовании.
Вывод авторов: автоматическое построение базовых методов может стать практичной и масштабируемой проверкой работ по глубокому обучению.

Почему это важно

Проблема, на которую указывают авторы, знакома исследователям: заявленный прогресс глубокого обучения в науке иногда объясняется тем, что с ним не сравнили простой и сильный базовый метод. Работа предлагает не вручную искать такие пропуски, а автоматизировать построение сравнений языковой моделью. Цифры выглядят заметно: медианно 95,5% разрыва закрыто, а в 12 исследованиях простой метод не уступает глубокой модели. При этом среднее (85,7%) ниже медианы, то есть результат неоднороден по задачам.

Кому это важно

Авторам и рецензентам статей о применении глубокого обучения в физических науках и науках о жизни: инструмент, о котором идёт речь, предназначен как раз для проверки вкладов таких работ. Также тем, кто оценивает, стоит ли за новым научным ИИ-методом реальный выигрыш по сравнению с простым решением, и редакциям журналов, у которых рецензирование не поспевает за потоком статей.

Как это применить

Практический вывод из аннотации: перед тем как принимать заявление о превосходстве сложной нейросети, полезно построить для той же задачи простые базовые методы, в том числе с помощью языковой модели, и посмотреть, какую долю разрыва с тривиальным предсказателем они закрывают. Конкретные методы, использованная модель и код в аннотации не описаны, поэтому для воспроизведения нужен полный текст работы.

Можно ли доверять

Это работа на arXiv, и все выводы в пересказе, выводы самих авторов; сами они формулируют их осторожно («результаты позволяют предположить»). В аннотации не названы авторы и организации, не указана языковая модель, не перечислены виды построенных простых методов, не приведены результаты по отдельным задачам и названия исследований. Из аннотации также не следует, что выводы исходных исследований неверны: сказано лишь, что медианный простой метод в 12 случаях не хуже глубокой модели.

Риски и подводные камни

Медиана (95,5%) и среднее (85,7%) заметно различаются, поэтому по задачам результат неодинаков. Выборка ограничена 36 задачами из журналов определённых семейств, и переносить результат на другие области без проверки нельзя. Равенство простого метода и глубокой модели по метрике не означает, что новый метод бесполезен: в аннотации этот вопрос не обсуждается. Подробности про влияние test-time compute и объёма контекста, а также про различия между областями и местами публикации в аннотации не раскрыты.

«Поскольку рецензирование людьми с трудом справляется с быстро растущим в последние годы объёмом научных статей, наши результаты позволяют предположить, что автоматическое построение базовых методов, практичная и масштабируемая проверка вкладов глубокого обучения в физических науках и науках о жизни.»

— Из аннотации работы на arXiv