ИИтог

Ricursive выпустила открытую модель Ripple-65B Preview для агентного кодинга

моделиРедакция ИИтогHacker News🔥76Рейтинг ИИтог76Влияние65Новизна62Релевантность100Неожиданность55Участники35Достоверность75

Ricursive Intelligence, которая называет себя лабораторией полного цикла и строит самоулучшающиеся системы, совместно оптимизируя железо, софт и модель, представила Ripple-65B Preview. Это универсальный вариант проприетарной модели, на которой работает платформа компании для проектирования ИИ-чипов. Модель обучена с нуля на 12 трлн токенов и поддерживает контекст до 1 млн токенов.

Главное заявление: на бенчмарке агентного кодинга TerminalBench 2.1 Ripple-65B Preview набрала 80,52, по словам компании, это новый лучший результат среди американских моделей с открытыми весами. В сравнении Ricursive приводит заметно более крупные модели: Reflection Beam 501B (80,1), Meta Muse Spark Open 816B (76,4), Thinking Machines Inkling 975B (63,8) и NVIDIA Nemotron 3 Ultra 550B (56,4). Все эти цифры, собственные данные Ricursive; о независимой проверке в источнике не сказано.

Модель плотная (dense), а не Mixture-of-Experts, как у других лабораторий: так компания хотела упростить инфраструктуру обучения. Небольшой размер позволяет запускать её на локальных устройствах вроде NVIDIA DGX Spark, а плотная архитектура, по заявлению авторов, даёт сильные рассуждения при низкой задержке генерации. Веса доступны на Hugging Face, Together AI, GMI Cloud и OpenRouter; Fireworks должен подключиться позже в тот же день.

Второй акцент, стоимость. Компания напоминает, что Сэм Альтман в 2023 году говорил о затратах на обучение GPT-4 свыше $100 млн, а Дарио Амодеи, о моделях до $1 млрд с прогнозом $10-100 млрд к 2026-2027 годам только на предобучение. Ripple-65B Preview, по словам Ricursive, обошлась в $32 млн полных затрат на исследования и разработку с нуля: ладдеры (серии малых моделей для подбора рецепта), подбор смеси данных, оценки, отладка, генерация синтетических данных, рецепт посттренинга и итоговый прогон предобучения и посттренинга. Это, по оценке компании «насколько ей известно», в десять раз дешевле предыдущей открытой модели, лидировавшей в агентном кодинге. В сноске сказано, что американские игроки вроде Reflection, по сообщениям, закладывали $150 млн в месяц на вычисления в SpaceX Colossus, а Beam, по данным Reflection, обучалась 4 недели на предобучении и ещё 4 на посттренинге.

Обучение с подкреплением (RL) строилось на эффективности, а не на грубой силе: компания не покупала данные для посттренинга, а сделала собственные конвейеры синтетических данных, фильтрацию качества и метрики покрытия. Смешанный RL-рецепт использует усечённую выборку по значимости (truncated importance sampling), центрирование оценок и линейный штраф за длину на долгих синтетических средах; задачи усложняли по мере роста модели. Результат, 80,5 на TerminalBench 2.1 всего за 1,4 млн прогонов (rollouts), примерно в 70 раз меньше, чем у Reflection Beam.

Архитектура: «тонкая и глубокая», d_model 5120 и 80 слоёв, увеличенное число голов внимания, больше слоёв со скользящим окном (SWA) относительно глобальных при меньшем окне, плюс обрезка активаций FFN, gated attention, глобальный NoPE и value residuals. Обучение шло с MFU 40% (доля используемых вычислений железа) при простом шардировании, без кастомных ядер и без квантизации.

Предобучение отлаживали серией экспериментов с лестницей малых моделей, начав с лестницы Olmo 3. Версия 1.0 добавила законы масштабирования размера батча и скорости обучения от StepFun, 1.1, плавное масштабирование размерностей и глубины, 1.2, переход на pre+post-нормализацию (заметный эффект с 4B), 1.3, сигмоидное gated-внимание, 1.4 (2-stream mHC) отвергнута, так как на 4B не улучшила результат, 1.5, глобальный NoPE и спад скорости обучения до нуля, 1.6, value residuals. В финале включили собственный датасет с сильно увеличенной долей кода. В сумме эффективность по вычислениям на коде (метрика dolma_stack CE) выросла до 16 раз на масштабе 4B, то есть схожий результат достигается с 16-кратно меньшими вычислениями, чем у лестницы Olmo 3. Компания считает, что выигрыш будет расти с масштабом, поскольку у базовой лестницы Olmo 3 наклон кривой более пологий.

Ricursive благодарит открытые проекты Olmo (Allen Institute for AI), Prime Intellect, RadixArk и NVIDIA и сообщает, что набирает исследователей и инженеров. Внутренний вариант модели продолжает работать в платформе проектирования чипов.

Ключевые факты

  • Ripple-65B Preview, плотная модель на 65 млрд параметров, обучена с нуля на 12 трлн токенов, контекст до 1 млн; веса доступны на Hugging Face, Together AI, GMI Cloud и OpenRouter.
  • По данным компании, на TerminalBench 2.1 модель набрала 80,52, лучший результат среди американских открытых моделей; Reflection Beam 501B у неё 80,1, Meta Muse Spark Open 816B, 76,4.
  • Ricursive заявляет, что полные затраты на разработку и обучение составили $32 млн, примерно в десять раз меньше предыдущей открытой модели-лидера (оценка компании).
  • Результат 80,5 получен на 1,4 млн RL-прогонов, по словам компании, примерно в 70 раз меньше, чем у Reflection Beam; данные для посттренинга не покупались.
  • Улучшенная лестница предобучения дала до 16-кратного выигрыша по вычислениям на коде на масштабе 4B относительно лестницы Olmo 3.

Почему это важно

Если заявления Ricursive подтвердятся, это пример того, что открытая модель с лидирующим результатом в агентном кодинге обходится в десятки миллионов долларов, а не в сотни. Компания сама противопоставляет $32 млн оценкам в $100 млн и выше за обучение GPT-4 и прогнозам Амодеи. Ещё один заметный довод: 65-миллиардная плотная модель обходит на TerminalBench 2.1 американские открытые модели размером от 501 до 975 млрд параметров (по данным самой Ricursive).

Кому это важно

Разработчикам агентов для кодинга и терминала, которым нужна открытая модель, запускаемая через провайдеров или локально (компания называет NVIDIA DGX Spark). Лабораториям и командам, которые обучают собственные модели: в тексте подробно описаны рецепт RL, архитектурные решения и серия экспериментов на лестнице малых моделей. Тем, кто следит за конкуренцией американских открытых моделей.

Как это применить

Ripple-65B Preview доступна на Hugging Face, Together AI, GMI Cloud и OpenRouter, а Fireworks, по словам компании, подключается позже в день релиза. Из-за небольшого размера её можно попробовать запустить локально, например на NVIDIA DGX Spark. Лицензия на веса в источнике не названа, поэтому перед коммерческим использованием её нужно проверить на странице модели. Слово «Preview» в названии указывает на предварительную версию.

Можно ли доверять

Источник, пост самой Ricursive Intelligence, первоисточник релиза. Все результаты бенчмарков, цифра $32 млн и сравнение «в десять раз дешевле», собственные заявления компании; независимая проверка в тексте не упоминается. Стоимость предыдущего лидера компания называет оценкой «насколько ей известно» и в сноске опирается на сообщения о закладываемых $150 млн в месяц. Структура затрат в $32 млн не раскрыта, а из бенчмарков приведён только TerminalBench 2.1. Авторы поста не названы.

Риски и подводные камни

Сравнение идёт по одному бенчмарку, и источник не поясняет, как получены цифры конкурентов. Разрыв с Reflection Beam 501B невелик (80,52 против 80,1), так что «лучший результат» может не повторяться при других условиях запуска. Сравнение стоимости относится к полным затратам на R&D против оценки по сообщениям, то есть методики разные. Лицензия на веса не указана, а версия помечена как Preview. Вывод о росте выигрыша по вычислениям с масштабом, предположение компании на основе наклона кривых, а не проверенный результат для больших моделей.

Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.