Qwen3.5-27B: правки активаций улучшают выбор цели, но не суждения об условиях
Препринт на arXiv ставит вопрос: если вмешательство в активации заставляет языковую модель выдать нужный ответ, сможет ли модель использовать «намеченное условие» в других вычислениях? Исследование проведено на модели Qwen3.5-27B на задачах с инструментами, где допустимость и выбор кандидата определяются временем или правами доступа.
На 32 новых «мирах» (fresh worlds) два варианта вмешательства, записывающих правку в остаточный поток (residual-writing) и заточенных под конкретные случаи, подняли правильность выбора знакомой цели с 35/128 до 119/128 и с 33/128 до 114/128. На первый взгляд, резкий успех.
Однако, по описанию в работе, этот выигрыш исчезает, когда знакомые факты и идентификаторы перекомбинируют внутри той же задачи выбора, причём выбор ранее «вознаграждавшихся» идентификаторов при этом растёт. Выигрыш сохраняется при смене формата вывода, но почти не улучшает независимые суждения о том, допустим ли кандидат и нужно ли его выбирать.
Вместе с тем внутренние правки всё же способны менять то, как исходный факт влияет на суждение. В заранее заданном вторичном сравнении правка (патч) источника в ранних слоях меняла 50 из 64 суждений, когда этот источник использовался, и привела к одному неблагоприятному изменению среди 64 случаев, когда он не использовался. Но такой избирательный эффект, как отмечено в работе, не гарантирует корректных полных действий.
Итог: результаты разделяют три вещи, управление выбором цели, суждения, чувствительные к условиям, и правильность полного действия. Вывод для методики оценки: проверять надо не только обученный ответ, но и то, как используется отредактированное состояние.
Ключевые факты
- Модель, Qwen3.5-27B, задачи с инструментами, где допустимость и выбор зависят от времени или прав доступа; опыт проведён на 32 новых «мирах».
- Два варианта записи правки в остаточный поток подняли правильность выбора знакомой цели с 35/128 до 119/128 и с 33/128 до 114/128.
- Выигрыш исчезает при перекомбинации знакомых фактов и идентификаторов в той же задаче, а выбор ранее вознаграждавшихся идентификаторов растёт.
- Выигрыш сохраняется в разных форматах вывода, но почти не улучшает независимые суждения о допустимости и выборе кандидата.
- Правка источника в ранних слоях меняла 50/64 суждений при использовании источника и дала одно неблагоприятное изменение в 64 случаях без его использования, но корректность полных действий это не гарантирует.
Почему это важно
Работа показывает, что высокая точность после вмешательства в активации может означать лишь подгонку под знакомый ответ, а не то, что модель стала учитывать условие. Рост с 35/128 до 119/128 исчезает, стоит перекомбинировать знакомые факты и идентификаторы, а выбор ранее вознаграждавшихся идентификаторов при этом растёт. Для задач с инструментами, где время и права доступа определяют допустимость действия, это существенное различие.
Кому это важно
Исследователям интерпретируемости и управления моделями через активации, а также тем, кто оценивает безопасность и надёжность агентов, вызывающих инструменты. Вывод работы, оценивать, как используется отредактированное состояние, а не только его обученный ответ.
Как это применить
Практический вывод из резюме: при проверке вмешательств не ограничиваться целевым ответом, на который их обучали. Стоит добавлять проверки с перекомбинированными фактами и идентификаторами, независимые суждения о допустимости кандидата и оценку полного действия. Данных о готовом коде, наборе данных или релизе в тексте источника нет.
Можно ли доверять
Источник, препринт на arXiv, в нашем распоряжении только его аннотация, поэтому методику и детали эксперимента проверить нельзя. Цифры приведены как абсолютные счётчики (из 128 и из 64 случаев) и согласуются с формулировками авторов. Вторичное сравнение с ранним слоем заявлено как заранее заданное. Независимая проверка или реакция сообщества пока не видны.
Риски и подводные камни
Исследована одна модель, Qwen3.5-27B, на конкретном классе задач; из аннотации неясно, переносятся ли результаты на другие модели и типы задач. Фраза «мало улучшает независимые суждения» в аннотации не выражена числом. Не указаны номер слоя в патче и различия между двумя вариантами записи в остаточный поток. Не стоит делать вывод, что вмешательства бесполезны: избирательный эффект правки источника показан, но корректных полных действий он не обеспечивает.