Tree-Ising чинит циклы рассуждений Qwen3.5-0.8B правкой битов весов

Tree-Ising чинит циклы рассуждений Qwen3.5-0.8B правкой битов весов

Статья описывает метод Tree-Ising для «ремонта» языковой модели, которая зацикливается в рассуждениях. Отправная точка, недавняя работа MIT (Takehi с соавторами) про «программирование в пространстве весов»: по описанию авторов Tree-Ising, оно позволяет передовому агенту на основе LLM прочитать веса сети и написать исправление. Агент GPT-6 Astra таким способом без градиентов исправил циклы рассуждений у Qwen3.5-0.8B, затратив 158 ходов агента, 89,7 млн токенов и 50 запросов на прямой проход.

Tree-Ising решает ту же задачу без агента. Ремонт формулируется как разреженная дискретная оптимизация над собственными весами модели в формате BF16. Статистика прямого прохода задаёт целевую функцию: она ослабляет направление «цикла», усиливает направление «завершения» и сохраняет выход слоя на продуктивных токенах. Допустимые правки, переворот знака и сдвиг порядка (экспоненты), при этом все общие групповые экспоненты и мантиссы остаются нетронутыми. Целевая функция точно раскладывается на независимые задачи QUBO (модель Изинга), по одной на каждую выходную строку весов. Их решают на GPU методом имитации отжига или квантово-вдохновлённым методом имитации бифуркации.

Результаты на двух слоях, которые правил агент: на MATH-500 Tree-Ising даёт 54,6% против 51,7% у правки агента при том же протоколе оценки; базовая модель набирает 7,9% (по ранее опубликованным данным, «as reported»). Решатель на симулированной бифуркации даёт статистически неотличимый результат, 55,1%. Оба решателя обходят правку агента на всех пяти математических бенчмарках, причём улучшения на MATH-500 и GSM8K статистически значимы после поправки на множественные сравнения. Метод меняет на 13-17% меньше весов и в 2,2-2,3 раза сокращает число переключаемых битов BF16.

Стоимость: нужно всего четыре запроса на прямой проход и ноль токенов LLM; вариант с отжигом обходится примерно в $0,90 GPU-времени. На Qwen3.5-2B тот же рецепт (слои и «дозу» подбирали только по базовой модели) поднимает точность жадного декодирования на GSM8K с 21,6% до 69,4%. Как proof of concept (демонстрацию осуществимости), авторы исполнили восьмипеременную подзадачу ремонта методом QAOA на квантовом процессоре IBM Heron.

Ключевые факты

  • Tree-Ising сводит починку зацикливающихся рассуждений Qwen3.5-0.8B к дискретной оптимизации над весами BF16: независимые задачи QUBO (по одной на выходную строку) решаются на GPU.
  • На MATH-500 метод даёт 54,6% против 51,7% у правки агента GPT-6 Astra; решатель на симулированной бифуркации, 55,1%; базовая модель, 7,9% (по опубликованным данным).
  • Меняется на 13-17% меньше весов, число переключений битов BF16 ниже в 2,2-2,3 раза; нужно четыре запроса на прямой проход и ноль токенов LLM против 158 ходов, 89,7 млн токенов и 50 запросов у агента.
  • Рецепт с отжигом стоит около $0,90 GPU-времени; на Qwen3.5-2B точность GSM8K при жадном декодировании выросла с 21,6% до 69,4%.
  • Восьмипеременную подзадачу авторы исполнили методом QAOA на процессоре IBM Heron как демонстрацию осуществимости.

Почему это важно

Если по описанию авторов агент уровня GPT-6 Astra тратит 89,7 млн токенов на правку крошечной модели, то Tree-Ising решает ту же задачу без единого токена LLM и примерно за $0,90 GPU-времени. Это пример того, как «ремонт» весов нейросети можно превратить в обычную комбинаторную оптимизацию. Заодно метод правит меньше весов и меньше битов, чем агент.

Кому это важно

Исследователям, которые занимаются редактированием весов, интерпретируемостью и борьбой с зацикливанием рассуждающих моделей. Также тем, кто следит за квантово-вдохновлёнными и квантовыми решателями QUBO: в работе они применены к задаче из области языковых моделей.

Как это применить

Из текста видно лишь общую схему: по статистике прямого прохода строится целевая функция, она раскладывается на независимые QUBO-задачи по строкам весов и решается на GPU отжигом или имитацией бифуркации. Слои и «дозу» на Qwen3.5-2B подбирали только по базовой модели. Готового инструмента или ссылки на код в тексте нет, поэтому для практического использования нужно воспроизводить метод по описанию.

Можно ли доверять

Это препринт, и все цифры, собственные результаты авторов Tree-Ising. Сведения об агенте GPT-6 Astra и работе MIT приведены в их пересказе. Балл 7,9% у базовой модели дан «как опубликован», а не как перемеренный. Преимущество 54,6% над 51,7% на MATH-500 небольшое; заявленная статистическая значимость относится к MATH-500 и GSM8K для обоих решателей после поправки на множественные сравнения. Результат на Qwen3.5-2B показан для одного рецепта и одной модели.

Риски и подводные камни

Сравнение идёт с одной конкретной правкой агента на двух его слоях и на маленькой модели Qwen3.5-0.8B; неизвестно, как метод масштабируется на крупные модели. Результат квантового запуска не сообщается: сказано лишь, что исполнена восьмипеременная подзадача на IBM Heron. Что именно означает «доза» правки, из текста не раскрывается, а подбор слоёв и дозы влияет на итоговое качество.