Учёные обучили нейросети без «взгляда в будущее»: качество почти как у Gemma-3-4B и LLaMA-7B

Обычные языковые нейросети обучают на всём массиве интернет-текстов сразу, без разбора того, когда именно был опубликован тот или иной документ. Из-за этого модель, которую просят рассуждать о ситуации в прошлом, например, спрогнозировать рыночное движение по состоянию на март 2015 года, на самом деле уже «знает», что произошло в 2016-м, 2020-м и позже. Это явление называют утечкой будущего (lookahead bias): в количественных финансах и общественных науках оно делает бэктесты торговых стратегий и причинно-следственный анализ недостоверными, модель незаметно подглядывает в ответ.

Способ устранить эту проблему по конструкции известен давно, это point-in-time модели, которые обучают исключительно на текстах, доступных на конкретную календарную дату: модель «для 2015 года» физически не видела ни одного текста, написанного позже. Проблема в том, что такие модели до сих пор заметно уступали по качеству обычным нейросетям того же размера, усилия по их созданию были небольшими по масштабу, что ограничивало их практическую пользу.

Авторы новой работы показали, что этот разрыв можно существенно сократить за счёт масштаба. Они обучили трансформерные модели размером до 4 млрд параметров на 1 трлн токенов, хронологически отфильтрованных из веб-датасета FineWeb, и построили на этой основе серию помесячных чекпоинтов моделей за период с 2013 по 2024 год, то есть отдельную версию модели для каждого месяца из двенадцати лет, обученную только на текстах, доступных к этому месяцу.

На тестах здравого смысла и понимания языка новые point-in-time модели почти достигли уровня ведущих открытых нейросетей сравнимого размера, Gemma-3-4B и LLaMA-7B, хотя по части задач разрыв с ними сохраняется. Дополнительное дообучение под инструкции методом LoRA (экономичный способ адаптации нейросети без переобучения всех её параметров) сделало модели удобнее для практического использования, а не только для замера вероятности текста.

Авторы выложили в открытый доступ весь пайплайн целиком, код сборки хронологически отфильтрованного датасета, инфраструктуру обучения и код оценки, чтобы результаты можно было воспроизвести и чтобы ими могли пользоваться исследователи, которым для работы нужна строгая временная честность модели: например, в количественных финансах при тестировании стратегий на исторических данных или в общественных науках при анализе причинно-следственных связей.

Ключевые факты

Обычные нейросети обучены на всём интернете без разбора дат публикации, поэтому «знают» будущее относительно любой прошлой точки, это искажает бэктесты в финансах и причинно-следственный анализ в общественных науках (эффект называют утечкой будущего, lookahead bias)
Решение известно давно, point-in-time модели, обученные только на текстах, доступных к конкретной дате, но раньше такие модели заметно уступали по качеству обычным нейросетям того же размера
Авторы обучили трансформерные модели до 4 млрд параметров на 1 трлн хронологически отфильтрованных токенов из датасета FineWeb и построили помесячные чекпоинты моделей за период с 2013 по 2024 год
На тестах здравого смысла и понимания языка новые модели почти достигли уровня открытых нейросетей сравнимого размера, Gemma-3-4B и LLaMA-7B, хотя по части задач разрыв сохраняется; дообучение под инструкции методом LoRA дополнительно улучшило их практическую применимость
Весь пайплайн, сборка датасета, инфраструктура обучения, код оценки, выложен в открытый доступ для воспроизводимых исследований, где критична строгая временная честность модели

Почему это важно

Обычные нейросети обучают на всём интернете сразу, без разбора дат публикации. Из-за этого модель, которую просят рассуждать о прошлом, скажем, о состоянии рынка в 2015 году, на самом деле уже знает, что случилось в 2016-м, 2020-м и позже. Эта утечка будущего в количественных финансах и общественных науках равносильна жульничеству при бэктесте торговой стратегии: результат подсказан ответом, который модель уже видела. Point-in-time модели устраняют проблему по конструкции, модель для 2015 года не видела ни строчки текста, написанного после этой даты. До сих пор такие модели были слишком слабыми, чтобы ими можно было пользоваться всерьёз; эта работа показывает, что при достаточном масштабе разрыв с обычными нейросетями почти исчезает, и метод впервые становится практически применимым.

Кому это важно

В первую очередь, количественным аналитикам и исследователям в финансах, которые тестируют инвестиционные и торговые стратегии на исторических данных: без point-in-time моделей им приходится либо не использовать языковые нейросети в бэктестах вовсе, либо мириться с утечкой будущего. Специалистам по общественным наукам, изучающим причинно-следственные связи между событиями во времени, им нужна модель, которая рассуждает строго в рамках знаний своего времени. Полезно это и исследователям ИИ, которые изучают, как модели меняются во времени и как оценивать их без искажений от более поздних данных.

Как это применить

Авторы выложили в открытый доступ весь пайплайн: код сборки хронологически отфильтрованного датасета из FineWeb, инфраструктуру обучения и код оценки. Это значит, что исследователю не нужно обучать модели с нуля, можно взять готовые помесячные чекпоинты за 2013, 2024 годы или воспроизвести обучение под свою задачу, например, чтобы честно проверить, предсказала бы нейросеть конкретное рыночное движение, опираясь только на данные, доступные до этой даты. Модели дополнительно дообучены под инструкции методом LoRA, экономичным способом адаптации без переобучения всех параметров, что делает их удобнее для практических задач, а не только для замера вероятности текста.

Можно ли доверять

Работа опубликована как препринт на arXiv и пока не прошла независимое рецензирование в журнале или на конференции. При этом авторы сами честно указывают: разрыв с обычными моделями сократился, но не закрылся полностью, на части задач их модели всё ещё уступают. В плюс к доверию идёт полная открытость: выложены датасет, код обучения и код оценки, так что результаты можно перепроверить и воспроизвести независимо, для ИИ-исследований это один из самых надёжных признаков добросовестной работы. Сравнение проведено на признанных открытых моделях (Gemma-3-4B, LLaMA-7B) по стандартным тестам здравого смысла и понимания языка, а не на подобранных авторами метриках.

Риски и подводные камни

Главный риск авторы признают сами: разрыв с обычными моделями сократился, но не исчез, на части задач point-in-time модели всё ещё уступают Gemma-3-4B и LLaMA-7B. Строгая временная честность пока обходится некоторой потерей качества, и для части практических задач такой компромисс может оказаться неприемлемым. Судя по масштабу обучения, модели до 4 млрд параметров, по 1 трлн токенов, и это умножено на отдельный чекпоинт для каждого месяца из 12 лет (2013, 2024), повторить эксперимент в полном объёме под силу в основном лабораториям с серьёзными вычислительными ресурсами, несмотря на открытый код и данные.

«Мы показываем, что этот разрыв в качестве можно существенно сократить за счёт масштаба.»

— авторы исследования