Inkling 2 Mini: открытая нейросеть на 26,4 млрд параметров для ноутбука

На сайте thinkingmachines.ai опубликован релиз Inkling 2 Mini, быстрой модели, достаточно маленькой, чтобы работать на ноутбуке. Это зацикленный трансформер (looped transformer): средние слои модели прогоняются три раза для каждого токена. По словам авторов, это позволяет применять больше рассуждений и приходить к верному ответу с меньшим числом токенов, особенно в задачах вроде агентного программирования, где важно качество рассуждений.
Архитектура, Mixture-of-Experts (смесь экспертов): 26,4 млрд параметров всего, 3,4 млрд активных и 5,4 млрд активаций весов на токен с учётом повторных проходов. Модель из 24 слоёв разделена на четыре блока по шесть слоёв: два средних блока выполняются трижды, первый и последний, по одному разу. Веса в основном обучены и развёрнуты в NVFP4, последние четыре слоя, в MXFP8, поэтому, как утверждают авторы, потерь на конвертации при квантовании нет. Общий объём памяти, около 20 ГБ. Исследователи брали модель в полёт: она работала офлайн на MacBook Pro и за несколько минут написала играбельный авиасимулятор. Веса открыты, модель доступна в Tinker для инференса и кастомизации.
Заявленные результаты: Inkling 2 Mini опережает все открытые модели до 100 млрд параметров на DeepSWE v1.1 (48,2%) и Vals Index v2.2 (46,5%), а также впереди сопоставимых моделей на агентных бенчмарках DeepSWE v1.1 и SWE-bench Pro v2; на некоторых других уступает только Qwen3.8-27B. На PMPP-Hard (оптимизация ядер) подходит к результату куда более крупной Inkling 2 Small. Лидирует среди открытых моделей схожего размера на BrowseComp, DeepSearchQA и MCP Atlas, поиск и инструменты компенсируют нехватку знаний. Дело в том, что зацикливание не даёт весам хранить больше фактов: знания в основном зависят от общего числа параметров, и на AA-Omniscience модель держится на уровне моделей того же размера.
Исследователи из Hazy Research Lab и Scaling Intelligence Lab Стэнфорда, получив ранний доступ, измерили «интеллект на джоуль»: Inkling 2 Mini набрала 0,703 на NVIDIA DGX Spark против 0,430 у Qwen3.6-35B-A3B, 0,159 у Gemma-4-26B-A4B и 0,036 у Qwen3.5-27B. Оговорка из текста: Inkling 2 Mini шла в MXFP8 с низким уровнем рассуждения, остальные, в NVFP4 (первые две) и INT4 (Qwen3.5-27B). Единицы измерения источник не указывает. В демо все 20 жителей деревни Thinkyville управляются одной Inkling 2 Mini на одном офлайн-MacBook.
Ограничения авторы называют сами: модель не сильнейшая среди малых в многоходовом чате и в инструкциях со многими ограничениями (MultiChallenge, 50,0%, ComplexConstraints v1.1, 33,4%, позади Qwen3.8-27B по обоим), а на CritPt v2 и HLE-Diamond отстаёт от более крупных моделей.
Обучение: модель выведена из основной «лестницы предиктивного масштабирования». Старт с разреженностью 48 (8 экспертов из 384); в середине обучения отсекли две трети экспертов, оставив в каждом слое 128 наиболее используемых; затем 1 трлн токенов, дистиллированных из более крупной внутренней модели Inkling, восстановили качество. После этого, SFT и RL на 2,2 трлн токенов за 2000 шагов. В экспериментах на лестнице зацикленная версия по сравнению с обычной (обе без прореживания) требовала на 7,5% больше вычислений на обучение, но обычной для той же потери на агентных трассах по 512 тыс. токенов нужно на 140% больше вычислений на инференс. Зацикливание средних 12 слоёв дало больший рост точности, чем зацикливание последних 12, в 27 из 28 оценок.
Отдельный блок, наблюдаемость рассуждений (monitorability). Зацикливание позволяет модели больше вычислять внутри, не записывая рассуждения в цепочку мыслей (CoT), и это вызывает опасения, что такие модели сложнее контролировать. Для исследований авторы выложили на Hugging Face вариант с переменным числом проходов TML-d24-varloop-research (обучен на 1-5 проходов, в основном на 3): у Inkling 2 Mini число проходов фиксировано. Горизонт задач без CoT у него вырос с 16 до 37 секунд при переходе от одного прохода к трём (причина названа осторожно: «по-видимому, частично» из-за дополнительных последовательных вычислений), дальше почти не растёт; тест на последовательные рассуждения улучшался до десяти проходов. Цепочка мыслей с ростом числа проходов становилась короче, но оставалась читаемой, а на тестах агентного саботажа модель не показывала роста. Предварительный вывод: зацикливание расширяет возможности без CoT, но на этом масштабе заметного снижения наблюдаемости не видно. Текст источника оборван на разделе про измерения без CoT, поэтому остальные результаты здесь не пересказаны.
Ключевые факты
- Inkling 2 Mini, открытая MoE-модель: 26,4 млрд параметров всего, 3,4 млрд активных; средние слои идут три прохода на каждый токен; память около 20 ГБ, работает на ноутбуке.
- По заявлению авторов, лидирует среди открытых моделей до 100 млрд параметров: DeepSWE v1.1, 48,2%, Vals Index v2.2, 46,5%; уступает Qwen3.8-27B на MultiChallenge (50,0%) и ComplexConstraints v1.1 (33,4%).
- Зацикливание улучшает рассуждение, но не хранение фактов: знания зависят от общего числа параметров, дефицит компенсируется поиском и инструментами.
- Стэнфордский замер «интеллекта на джоуль» на DGX Spark: 0,703 у Inkling 2 Mini против 0,430, 0,159 и 0,036 у трёх других моделей (точность вычислений у моделей разная).
- Для исследований выложена модель TML-d24-varloop-research с переменным числом проходов: горизонт задач без CoT вырос с 16 до 37 секунд, заметного падения наблюдаемости рассуждений на этом масштабе не найдено (анализ предварительный).
Почему это важно
Это один из первых релизов моделей с зацикленной архитектурой, доступных исследователям, и при этом модель небольшая: около 20 ГБ памяти, запуск на ноутбуке. Авторы показывают, что повторный прогон средних слоёв даёт выигрыш в рассуждении без роста числа параметров: на масштабной лестнице обычной модели для той же потери на агентных трассах нужно на 140% больше вычислений на инференс при экономии 7,5% на обучении. Вторая причина значимости, вопрос контроля: релиз отдельно выложен ради изучения наблюдаемости рассуждений у зацикленных трансформеров.
Кому это важно
Тем, кто хочет запускать агентные и программистские нейросети локально на ноутбуке или настольном ИИ-компьютере; исследователям архитектур и интерпретируемости (весами и моделью с переменным числом проходов можно пользоваться для опытов); тем, кто занимается безопасностью и контролем ИИ через анализ цепочки мыслей; командам, которым важна энергоэффективность локальных моделей.
Как это применить
Inkling 2 Mini доступна в Tinker для инференса и кастомизации, веса открыты. Исследовательский вариант TML-d24-varloop-research лежит на Hugging Face, детали, в карточке модели. Лучше всего модель проявляет себя в длинных агентных задачах и в сценариях с поиском и инструментами; для многоходового чата и инструкций со множеством ограничений авторы сами не называют её сильнейшей. Цены Tinker, название лицензии и скорость в токенах в секунду в доступном тексте не приведены.
Можно ли доверять
Это публикация самого разработчика на thinkingmachines.ai, все бенчмарки и сравнения, его собственные заявления, независимой проверки в тексте нет. Стэнфордские исследователи получили ранний доступ и провели замер, но условия сравнения неравные: Inkling 2 Mini шла в MXFP8, остальные в NVFP4 или INT4, и единицы шкалы не указаны. Анализ наблюдаемости прямо назван предварительным и относится к «этому масштабу»; цифры 16 и 37 секунд относятся к исследовательской модели с переменным числом проходов, а не к самой Inkling 2 Mini. Авторы поста в видимом тексте не названы, а сам текст источника обрывается на середине раздела про измерения без CoT.
Риски и подводные камни
Зацикливание не прибавляет знаний: на тестах фактичности (AA-Omniscience и других) модель на уровне сверстников, а при росте числа проходов эти тесты не улучшаются. Модель отстаёт от более крупных на CritPt v2 и HLE-Diamond и от Qwen3.8-27B на MultiChallenge и ComplexConstraints v1.1. У Inkling 2 Mini число проходов фиксировано, поэтому выводы про разную глубину получены на другой модели. Само зацикливание создаёт опасение, что часть рассуждений не попадёт в цепочку мыслей и её не увидит монитор; авторы пока такого эффекта на этом масштабе не видят, но оговаривают, что способы получения ответов без CoT (префилл ответа) могут занижать возможности, а другие методы, например дообучение, стоит изучить.
«Сегодня мы выпускаем Inkling 2 Mini, быструю, мощную модель, достаточно маленькую, чтобы работать на вашем ноутбуке.»
— из публикации на thinkingmachines.ai