Инженер Anthropic объяснил, почему Claude стал хуже писать тексты

Сотрудник Anthropic Джексон Кернион, работающий над тонкой настройкой (fine-tuning) Claude, публично объяснил, почему письмо модели стало хуже, хотя её способности в математике, коде и рассуждениях выросли. По его словам, Opus 4.6 была последней моделью Anthropic, чьё качество текста он считал по-настоящему хорошим.

Часть причины предсказуема: новые модели оптимизировали под математику и код. Но, по словам Керниона, их также обучали выдавать технические объяснения, рассчитанные на другие ИИ-модели, а не на людей, именно это порождает характерную странную манеру письма Claude, которую называют «клодишной» (Claudeish). Модель «адаптировалась к психологии языковых моделей» и научилась писать для других моделей, а не для людей.

Кернион сравнивает это с людьми, которые общаются только с другими аутичными людьми: в такой группе вырабатывается стиль, удобный внутри неё, но трудный для понимания посторонним. У языковых моделей рабочая память намного больше человеческой, и они замечают детали гораздо тоньше, поэтому в ходе обучения формируется стиль письма, который хорошо работает для ИИ-моделей, но людьми воспринимается как «слишком плотные информационные свалки».

По словам Керниона, дело в устройстве вознаграждений при обучении с подкреплением: одни награды оптимизируют текст под понимание другими ИИ-моделями, другие, под понимание человеком. Чем больше модель обучают на математике и коде, тем сильнее нужно намеренно противодействовать этому, вознаграждая простые объяснения, понятные читателю-человеку.

С выходом Opus 5.5, по словам Керниона, Anthropic нашла более удачный баланс, он не был так доволен качеством письма модели со времён Opus 4.6. Тем не менее это не значит, что Opus 5.5 превзошла старую модель по качеству текста. «Это сложная проблема, и мы продолжим над ней работать», пишет Кернион.

Ключевые факты

Инженер Anthropic Джексон Кернион объяснил ухудшение качества текстов Claude, несмотря на рост способностей модели в математике, коде и рассуждениях
Последней моделью с по-настоящему хорошим письмом он называет Opus 4.6; новые модели обучали писать технические объяснения, рассчитанные на другие ИИ-модели, а не на людей
Кернион сравнивает результат с манерой общения людей, замкнутых внутри своей группы: стиль работает внутри группы, но труден для посторонних
Причина, по его словам, в структуре наград при обучении с подкреплением: одни награды оптимизируют текст под ИИ-модели, другие, под людей, и чем больше тренировки на математике и коде, тем сильнее нужно вознаграждать простые объяснения
С Opus 5.5 Anthropic, по словам Керниона, нашла более удачный баланс, но это не значит, что новая модель превзошла Opus 4.6 по качеству письма

Почему это важно

Объяснение показывает механизм, который многие пользователи Claude замечали интуитивно: тексты моделей стали более плотными и техничными, хотя формально модели «поумнели». Причина, не случайность, а прямое следствие того, на что настраивают вознаграждения при обучении: акцент на математике и коде смещает стиль письма в сторону формата, удобного для других моделей, а не для человека.

Кому это важно

Тем, кто использует Claude для написания текстов, статей, писем и другого контента, ориентированного на человека-читателя, а не только для кода и технических задач. Также важно разработчикам ИИ-продуктов и исследователям, изучающим побочные эффекты обучения с подкреплением на смежные способности модели.

Как это применить

Если стиль ответов Claude кажется избыточно плотным или техничным, стоит явно просить модель писать проще и для человеческой аудитории, по словам Керниона, именно целевое вознаграждение за простые объяснения помогает противодействовать «клодишному» стилю. Тем, кому важно качество прозы, имеет смысл сравнивать ответы разных версий модели, а не полагаться на то, что новее, значит лучше в письме.

Можно ли доверять

Объяснение исходит от сотрудника Anthropic, который непосредственно занимается тонкой настройкой Claude, что даёт инсайдерский взгляд на причины. При этом источник не указывает ни дату, ни площадку, где были сделаны эти заявления, не приводит количественных данных об ухудшении и конкретных примеров «клодишных» формулировок, все выводы основаны на словах одного инженера без независимого подтверждения.

Риски и подводные камни

Компромисс между способностями модели в коде/математике и качеством естественного письма может закрепиться надолго: по признанию самого Керниона, это «сложная проблема», решения которой пока нет, а есть лишь постепенные улучшения. Также стоит учитывать, что улучшение письма в Opus 5.5 не означает превосходства над Opus 4.6, компромисс продолжает существовать в том или ином виде.

«Это сложная проблема, и мы продолжим над ней работать»

— Джексон Кернион, инженер Anthropic