Исследователи Nvidia: огромные контекстные окна нейросетей часто избыточны и дороги

Исследователи Nvidia: огромные контекстные окна нейросетей часто избыточны и дороги

The Decoder сообщает, что исследовательская команда Nvidia ставит под сомнение гонку за всё более длинными контекстными окнами. Языковые модели сегодня умеют обрабатывать целые романы за один раз, но, по словам команды Nvidia, это часто избыточно и дорого. Во многих тестах периодические сводки (summaries) и точечный поиск нужной информации (targeted lookups) работали примерно так же хорошо, как огромное окно.

Издание поясняет базовое понятие: контекстное окно, это рабочая память языковой модели, всё, что она держит в поле зрения, когда формирует ответ. За последние годы это окно быстро выросло. GPT-4 при запуске в марте 2023 года принимал 8192 токена. Сегодня GPT 5.6 Sol обрабатывает около миллиона токенов, примерно в 120 раз больше, и этого хватает на «Войну и мир» Толстого.

Большая часть статьи закрыта платной подпиской THE DECODER+, поэтому доступно только вступление. В нём не названы конкретные исследователи, не указаны название работы и площадка публикации, нет списка протестированных моделей и бенчмарков, нет измеренных результатов и цифр экономии. Не объяснено и, как именно реализованы периодические сводки и точечный поиск. Заголовок издания говорит о «тупике», тогда как во вступлении сказано лишь, что огромные окна «часто избыточны и дороги», а не что длинный контекст бесполезен.

Ключевые факты

  • Исследовательская команда Nvidia, по сообщению The Decoder, считает, что обработка целых романов за один раз в огромном контекстном окне часто избыточна и дорога.
  • Во многих тестах периодические сводки и точечный поиск работали примерно так же хорошо, как огромное окно.
  • Контекстное окно, рабочая память модели: всё, что она держит в поле зрения при генерации ответа.
  • GPT-4 в марте 2023 года имел окно в 8192 токена; GPT 5.6 Sol сегодня, около миллиона токенов, примерно в 120 раз больше, что хватает на «Войну и мир».
  • Материал закрыт пейволлом: доступно только вступление, без названия работы, цифр и методики.

Почему это важно

Последние годы рынок мерил прогресс в том числе длиной контекстного окна: от 8192 токенов у GPT-4 при запуске в марте 2023 года до примерно миллиона у GPT 5.6 Sol, то есть примерно в 120 раз. Заявление команды Nvidia, что такая длина часто избыточна и дорога, а сводки и точечный поиск во многих тестах справлялись примерно так же, ставит под вопрос, нужно ли платить за максимальное окно в каждой задаче.

Кому это важно

Разработчикам приложений на языковых моделях, которые решают, загружать ли в запрос весь документ или готовить сводки и искать нужные фрагменты. Командам, считающим расходы на обработку длинных текстов. Исследователям, которые занимаются работой моделей с длинным контекстом.

Как это применить

Из доступного вступления можно вынести только направление: для части задач стоит сравнить подход «весь текст в одно окно» с периодическими сводками и точечным поиском. Как именно их строить, в видимом тексте не описано, так что готового рецепта здесь нет.

Можно ли доверять

Это пересказ вступления платной статьи The Decoder. Основная часть материала закрыта подпиской, а в видимом тексте не названы авторы исследования, работа, тесты, модели и измеренные результаты. Формулировка «тупик» стоит в заголовке издания, а во вступлении говорится осторожнее: «часто избыточно и дорого». Проверить утверждение по самому исследованию по этому тексту нельзя.

Риски и подводные камни

Слова «во многих тестах» и «примерно так же хорошо» не означают, что сводки и поиск заменяют длинный контекст всегда: условия тестов и задачи неизвестны. Выводить из заголовка, что длинное окно бесполезно, нельзя. Сведения о том, насколько оно дорого, в видимой части не подкреплены цифрами.