Piccolo: семейство моделей принятия решений заняло первое место в рейтинге Decision Index

Piccolo: семейство моделей принятия решений заняло первое место в рейтинге Decision Index

Piccolo, семейство мультимодальных моделей принятия решений размером от 0,8B до 27B параметров. Его создавали, одновременно развивая и сами модели, и обучающие данные: для этого авторы используют Agentic Data Engineering (агентную инженерию данных) и рекурсивное самоулучшение (RSI, recursive self-improvement). Модели предсказывают вероятности для вариантов ответа. Задачи, общие текстовые и визуальные суждения, работа агентных обвязок (agent harnesses), рабочие процессы с данными и интерактивные игры.

Центральный результат, места в рейтингах. По данным авторов, Piccolo-27B возглавляет рейтинг (leaderboard) Decision Index Vision Full с результатом 75,59. Piccolo-9B набирает 68,35, Piccolo-4B, 67,46. Кроме того, все три модели занимают первое место на бенчмарке Private в своих категориях по размеру модели.

Механика самоулучшения устроена так: исследовательские агенты разбирают поведение модели, собирают обучающие данные, ставят эксперименты и по их итогам уточняют следующие предложения. Эти действия связывают между собой «семантические срезы» (semantic slices) и общая исследовательская память на протяжении всей разработки семейства. Обучающие рецепты включают сотни тысяч примеров, поэтому отбор данных и доработка по обратной связи, ключевая часть процесса.

Из масштабного исследования с RSI авторы выводят три «контринтуитивных» наблюдения для разработки моделей принятия решений. Первое: согласованность базовой модели (backbone) и рецепта обучения важнее её новизны, при одинаковых рецептах более ранние базовые модели могут обгонять более новые поколения на визуальных задачах. Второе: целенаправленный отбор данных позволяет моделям 4B, 9B соперничать с базовыми моделями 27B на специализированных рабочих процессах. Третье: непрерывное снижение функции потерь (loss) может расходиться с точностью дискретных решений и даже ухудшать её.

Авторы заключают, что Piccolo вместе с выложенными весами и инструментами из экосистем Data-Juicer и AgentScope даёт практический план для построения передовых моделей принятия решений и масштабирования RSI на основе данных.

Ключевые факты

  • Piccolo, семейство мультимодальных моделей принятия решений размером от 0,8B до 27B, которые предсказывают вероятности для вариантов ответа.
  • По данным авторов, Piccolo-27B набрал 75,59 и возглавил рейтинг Decision Index Vision Full; Piccolo-9B и Piccolo-4B получили 68,35 и 67,46.
  • Все три модели (27B, 9B, 4B) заняли первое место на бенчмарке Private в своих категориях по размеру.
  • Модели и данные развиваются вместе: исследовательские агенты анализируют поведение модели, собирают данные, ставят эксперименты и уточняют следующие шаги (рекурсивное самоулучшение).
  • Три вывода авторов: согласованность базовой модели и рецепта важнее новизны; точечный отбор данных помогает моделям 4B, 9B соперничать с 27B на специализированных задачах; снижение loss может не совпадать с ростом точности решений.

Почему это важно

Работа показывает подход, в котором данные для обучения не готовятся один раз, а непрерывно улучшаются агентами вместе с моделью. Наиболее практичные для разработчиков выводы авторов: при одинаковых рецептах более ранняя базовая модель может превзойти более новую на визуальных задачах, а целенаправленный отбор данных позволяет небольшим моделям 4B, 9B соперничать с базовыми моделями 27B на специализированных рабочих процессах. Ещё одно наблюдение, снижение функции потерь не гарантирует роста точности дискретных решений и порой её ухудшает.

Кому это важно

Исследователям и инженерам, которые обучают модели принятия решений и строят конвейеры данных для обучения. Также тем, кто работает с агентными системами и интересуется автоматизацией улучшения данных и самих моделей. Для обычных пользователей работа пока имеет чисто исследовательский характер.

Как это применить

По словам авторов, вместе с работой выложены веса и инструменты из экосистем Data-Juicer и AgentScope, а сама работа задумана как практический план для построения моделей принятия решений и масштабирования RSI на данных. Идеи можно примерить на своих задачах: подбирать обучающие данные под конкретный рабочий процесс, проверять разные базовые модели при одном и том же рецепте и оценивать качество по точности решений, а не только по снижению loss.

Можно ли доверять

Источник, аннотация препринта на Hugging Face Papers; все результаты, заявления самих авторов. В тексте аннотации авторы и организации не названы. Не указано, как устроена шкала рейтинга Decision Index Vision Full, какие результаты у конкурирующих моделей и с каким отрывом Piccolo лидирует. Не названы использованные базовые модели, число агентов и итераций RSI, затраты вычислений, лицензия и место размещения весов. Утверждение, что модели 4B, 9B соперничают с 27B, сделано только для специализированных рабочих процессов. Независимых проверок в тексте нет.

Риски и подводные камни

Высокие позиции в рейтингах и на бенчмарке Private сообщают сами авторы, и по аннотации нельзя оценить, насколько значим отрыв от соперников. Из текста также не видно результатов для самых маленьких размеров (в том числе 0,8B): приведены баллы только для 27B, 9B и 4B. Выводы про базовые модели и данные сформулированы для моделей принятия решений в условиях конкретных рецептов, и их перенос на другие задачи не обоснован в аннотации. Тезис о расхождении снижения loss и точности стоит учитывать при выборе метрик, но подробностей в тексте нет.

«Piccolo даёт практический план для построения передовых моделей принятия решений и масштабирования RSI на основе данных.»

— авторы Piccolo, аннотация препринта