Для дообучения нейросетей нет открытых данных вроде Common Crawl, считает автор эссе

Эссе опубликовано в блоге openathena.ai, имя автора в тексте не указано. Автор пишет от лица сообщества открытых моделей («современные открытые LLM вроде Nemotron и наша собственная»). Исходный тезис: с данными для предобучения очень повезло. Человечество десятилетиями создавало публичную запись знаний: Википедию, открытый исходный код (около пары петабайт), Stack Exchange, статьи на ArXiv, книги Project Gutenberg, а также миллиарды обычных сайтов. Common Crawl с 2007 года регулярно архивирует снимки значительной части интернета и открывает их всем; сейчас в архиве порядка 10 петабайт. GPT-3 обучали примерно на 60% данных, полученных из Common Crawl, а исходная смесь данных Llama почти целиком извлечена из интернета. Крупные игроки, по словам автора, судя по всему, перешли на собственные краулеры (по данным Cloudflare, больше половины трафика краулеров приходится на ИИ), но открытые модели по-прежнему опираются на этот общий фонд для подавляющей части данных предобучения. Без доступа к нему, считает автор, по-настоящему открытых LLM не бывает.

Сейчас внимание передовых лабораторий сместилось на дообучение (posttraining), особенно «агентное». Ему тоже нужны огромные вычисления и данные, но готовой россыпи сырых данных нет: общего фонда данных для дообучения не существует. Разница, по формулировке автора: предобучение потребляет документы, а дообучение, задачи. Причём задача для обучения с подкреплением (RL), уже абстракция. Человеческая задача привязана к моменту: человек чего-то хочет, действует, мир отвечает, цель меняется, и после попытки задача исчезает. RL-задача, наоборот, заморожена, схематизирована и повторяема. Для неё нужно сохранить как минимум мир, намерение и набор инструментов, а для обучения ещё и проверяющего (grader), который оценивает, насколько намерение выполнено.

Единственное исключение, программное обеспечение. Разработка по сути и есть запись задач: контроль версий, непрерывная интеграция, юнит-тесты, виртуальные машины и контейнеры сохраняют мир, намерение и следы действий. Детерминизм компьютеров идеален для RL. Но превратить открытый код в задачи трудно, причём иначе, чем чистить веб-текст: нужная информация могла вообще не записываться. Поэтому, пишет автор, превращение репозиториев в данные для дообучения похоже не на отбор, а на производство.

Автор иллюстрирует это цифрами. Исходный SWE-bench: из 12 Python-репозиториев собрали чуть больше 90 000 pull request; только примерно каждый восьмой удалось сопоставить с рамкой (остальные не были влиты, не были связаны с issue или не меняли тест). Из оставшихся 11 407 около 80% не удалось превратить в исполняемые задачи (пакет не собирался, странные ошибки выполнения). Осталось 2 294 задачи. Через год OpenAI создала SWE-bench Verified: 93 опытных Python-разработчика вручную проверили 1 699 случайно выбранных задач, более двух третей из них пометили к удалению (расплывчатые условия, несправедливые тесты и др.), остался пул из 500 задач. Позднее аудит проблемного подмножества показал, что ещё примерно шестая часть из этих 500 тоже сломана. Автор оговаривается, что не хочет придираться к SWE-bench: это один из лучших публичных датасетов для кода. В наборе TaskTrove, по его словам, в одном подмножестве из 5 000 сконвертированных Java-задач более 90% пришлось отбросить при починке (тесты не разбирались, ничего не проверяли или зависели от недостающего контекста и внешних сервисов); в другом, Python-подмножестве, почти 98% проверенных пакетов проверяющих не могли даже запустить тесты из-за отсутствующих зависимостей. Аудит Vals показал, что две трети из 2 698 coding-окружений в публичном релизе Xiaomi MiMo v2.6 всё ещё содержали эталонные исправления, которые можно достать из Git; в одном показанном случае агент скопировал исправление и прошёл все пять скрытых тестов.

Дальше автор спрашивает: если даже софт, самый простой случай, делается так сложно, то каково с остальной экономикой? Для работы юристов, учёных, продавцов и врачей нет даже зачатка публичного «фонда задач». Поэтому передовые лаборатории платят этим специалистам, чтобы те вписывали свою работу в формат RL-задач и создавали задачи, окружения, критерии оценки, верификаторы и симуляторы; отсюда быстро растущая индустрия данных для дообучения.

Вывод автора для сообщества открытых моделей: у дообучения нет «Common Crawl», потому что нечего краулить; общий фонд должен начаться с масштабного и систематического «вписывания» человеческих задач в RL-задачи (или нужно придумать парадигму получше). Это тяжело: значительная часть данных предобучения уже создавалась примерно в нужной форме, а человеческая деятельность за артефактами (цели, решения, правки, переговоры) в основном потеряна. Но начинать не с нуля: открытый код, «сокровищница частично записанных задач», следы оставляют документы с отслеживаемыми правками, журналы, процедуры, а агенты всё лучше помогают восстанавливать задачи по результатам и следам. Подход «нужно просто сделать побольше RL-окружений» верен лишь поверхностно; глубинная задача, решить, какие части человеческой деятельности записывать в долговечную форму, и построить механизмы и институты для этого. Автоматизация «читаемых» задач в экономике, по мнению автора, выглядит неизбежной хотя бы из-за вливаемого капитала; вопрос в том, станут ли записи человеческой работы частными активами нескольких компаний или значимая их доля превратится в общий фонд.

Ключевые факты

Автор эссе на openathena.ai: у предобучения есть общий фонд (Common Crawl, около 10 петабайт, на нём построено примерно 60% данных GPT-3), у дообучения (posttraining) такого фонда нет.
Предобучение потребляет документы, дообучение, задачи: для RL-задачи нужны мир, намерение, инструменты и проверяющий (grader).
Даже из открытого кода задачи делать трудно: из примерно 90 000 PR исходного SWE-bench осталось 2 294 задачи; в SWE-bench Verified более двух третей из 1 699 проверенных задач отсеяли, остался пул из 500.
По аудиту Vals, две трети из 2 698 окружений в публичном релизе Xiaomi MiMo v2.6 содержали эталонные исправления, доступные из Git.
Вывод автора: сообществу открытых моделей нужно строить общий фонд задач через систематическое «вписывание» человеческих задач в RL-задачи, иначе они станут частными активами нескольких компаний.

Почему это важно

Эссе объясняет, почему открытым моделям труднее угнаться за закрытыми именно сейчас, когда центр тяжести сместился с предобучения на дообучение для агентов. Автор формулирует асимметрию: для предобучения общий веб-архив был «под рукой», для дообучения готового набора задач нет, а его создание больше похоже на производство, чем на отбор. Вопрос, станут ли записи человеческой работы частными активами или общим фондом, автор считает центральным.

Кому это важно

Прежде всего тем, кто делает или оценивает открытые модели, а также авторам бенчмарков и RL-окружений для кода. Тем, кто выбирает наборы данных для обучения агентов, пригодятся приведённые цифры о браке в SWE-bench, TaskTrove и окружениях MiMo v2.6. Интересно и всем, кто следит за рынком данных для дообучения, где лаборатории платят юристам, учёным, продавцам и врачам за формализацию их работы.

Как это применить

Прямого руководства в тексте нет. Вывод, который напрашивается из приведённых автором примеров брака (сам автор такого списка не даёт): при сборке задач из открытого кода нужно проверять, что мир (зависимости, контейнер) восстанавливается, что тесты реально запускаются и проверяют нужное, и что в окружении не осталось готового исправления в истории Git. Для других областей автор предлагает искать следы задач (документы с отслеживаемыми правками, журналы, процедуры) и использовать агентов для восстановления задач по результатам и следам. Как именно организация автора будет строить общий фонд, в тексте не названо.

Можно ли доверять

Это авторское эссе-аргумент, а не исследование: тезис «общего фонда для дообучения нет» и призыв к сообществу, мнение автора. Имя автора в тексте не указано; он пишет от лица команды, делающей открытые модели, то есть заинтересованной стороны. Цифры об SWE-bench, OpenAI, Vals и TaskTrove приведены без ссылок в видимом тексте; часть оценок («примерно шестая часть», «около 80%») округлена самим автором. Результаты по TaskTrove автор получил при собственном разборе («мы обнаружили»).

Риски и подводные камни

Главный риск, о котором пишет автор, что записи человеческой работы для RL останутся в частных руках нескольких компаний. Практические риски: брак в публичных наборах задач (нерабочие тесты, недостающие зависимости, утечка эталонных исправлений через Git, отчего агент просто копирует решение), а также то, что деятельность за готовыми артефактами (цели, правки, переговоры, ошибочные ходы) в основном утрачена. Сам автор допускает, что нужна парадигма лучше нынешней, основанной на RL-задачах.

«Предобучение потребляет документы, а дообучение потребляет задачи.»

— из эссе на openathena.ai