Исследование NYU и UT Austin: шесть приёмов делают тексты нейросетей утомительными

Исследователи из Нью-Йоркского университета (NYU) и Техасского университета в Остине (UT Austin) показали, что передовые языковые модели систематически злоупотребляют языковыми шаблонами, из-за которых их текст читать труднее, чем человеческий. Ответы при этом часто фактически верны, но чтение даётся с усилием: много вложенных предложений, странных сочетаний слов и метафор, которых человек не использовал бы. Об исследовании рассказывает издание The Decoder.

Как проводили работу. Команда заставила 14 языковых моделей генерировать текст в трёх жанрах: неформальный разговор, сессии программирования и аргументативные эссе. Среди моделей были Claude, GPT-5.6, GLM-5, Kimi K2.5 и небольшие открытые модели вроде Llama и Olmo. Всего проанализировали 120 диалогов, 45 сессий программирования и 980 эссе и сравнили их с текстами людей: субтитрами к фильмам, ответами со StackExchange и студенческими эссе.

Шесть шаблонов. Первый: необычные сочетания слов, которые редко встречаются у людей, например «reader-patience budget» («бюджет терпения читателя»). Второй: связанные части предложения разнесены далеко друг от друга, что нагружает рабочую память. Пример от Claude Opus 5: «A cat who can always get up and away is a much calmer cat» («Кошка, которая всегда может встать и уйти, гораздо более спокойная кошка»), где подлежащее и основное сказуемое разделены длинным придаточным оборотом. Третий: сокращённые ссылки с пропущенным союзом. Вместо «the book that the professor wrote» модели пишут «the book the professor wrote», экономится слово, но возникает короткая заминка в понимании связей. Четвёртый: нагромождения существительных вроде «horror movie soundtrack generator» («генератор саундтреков к фильмам ужасов»), где читателю приходится самому разбираться, какое слово что определяет. Пятый: превращение существительных в глаголы там, где человек так не скажет: Claude Fable 5 написал «calendar it», где человек сказал бы «put it in the calendar» («внеси это в календарь»). Шестой: одушевлённые глаголы при неодушевлённых подлежащих. Claude Opus 5 выдал «The whole conversation is eating its own tail» («весь разговор пожирает собственный хвост»), хотя у разговора нет хвоста и есть он не может. Смысл читатель понимает, но тратит на это лишний такт.

Кто ближе к человеку. Ближе всех к человеческому тексту оказались Llama и базовая модель Olmo. Внутри семейства Olmo показатели растут от базовой модели через инструктивную версию к рассуждающей модели Olmo Think, которая достигает уровня передовых моделей. Это указывает на дообучение (post-training) как вероятную причину. Claude Opus 5.5 обошёл предшественника Opus 5 в 19 из 21 сравнения, что, по мнению The Decoder, говорит о возможности улучшить читаемость целевой тонкой настройкой.

Почему так получается. По словам исследователей, человеческий язык балансирует между лёгкостью порождения и лёгкостью понимания, а современные модели всё больше обучают на математике, коде и логических рассуждениях, где вознаграждается правильность, а не ясность. Переход от RLHF (обучения с подкреплением на обратной связи от людей) к RLVR (обучению с подкреплением с проверяемыми наградами) полностью убирает людей из контура обратной связи, считают авторы, и модели вырабатывают своего рода «диалект»: он хорош для сжатия информации и решения сложных задач, но плох для человека-читателя.

Как доказательство концепции исследователи обучили небольшую языковую модель со штрафным слагаемым, поощряющим более короткие ответы. При определённых условиях обучения модель почти без исключений выбирала более короткие формулировки независимо от контекста и даже перенесла это предпочтение на конструкции, которых не видела при обучении. Люди же выбирали между короткими и длинными вариантами по ситуации.

Сходное объяснение звучит и изнутри индустрии. Сотрудник Anthropic Джексон Кернион (Jackson Kernion), работающий над тонкой настройкой Claude, недавно объяснил, почему Opus 4.6 стала последней хорошей «моделью для письма» у Anthropic. Оптимизация новых моделей под математику, код и технические объяснения, рассчитанные на другие модели ИИ, сдвинула стиль Claude в сторону, который хорош для ИИ, но кажется людям слишком плотным и неестественным. Кернион назвал это адаптацией к «психологии LLM». С Opus 5.5 Anthropic впервые дала отпор: занялась ясностью предложений и перегруженными блоками информации, и, как показывает исследование, успешно.

Ключевые факты

Исследователи NYU и UT Austin сравнили тексты 14 моделей (Claude, GPT-5.6, GLM-5, Kimi K2.5, Llama, Olmo и др.) с человеческими: проанализировано 120 диалогов, 45 сессий программирования и 980 эссе.
Шесть шаблонов: редкие сочетания слов, разнесённые части предложения, пропущенный союз в ссылках, нагромождение существительных, превращение существительных в глаголы, одушевлённые глаголы при неодушевлённых подлежащих.
Ближе всего к человеческому тексту Llama и базовая модель Olmo; в семействе Olmo показатели растут от базовой модели к инструктивной и далее к Olmo Think, что указывает на дообучение как вероятную причину.
Исследователи связывают проблему с переходом от RLHF к RLVR, где награждается правильность, а не ясность; в опыте с небольшой моделью штраф за длину приводил к почти безусловному выбору коротких формулировок.
Claude Opus 5.5 выиграл у Opus 5 в 19 из 21 сравнения; сотрудник Anthropic Джексон Кернион объясняет ухудшение стиля адаптацией к «психологии LLM».

Почему это важно

Жалобу «ответ верный, но читать тяжело» многие знают по опыту, а здесь она впервые описана через шесть конкретных языковых шаблонов и подтверждена данными по 14 моделям и сотням текстов. Исследователи связывают проблему с самим способом обучения: когда награда зависит от проверяемой правильности, а не от понятности для человека, модели вырабатывают «диалект», удобный для сжатия информации, но не для читателя. Сходное объяснение даёт сотрудник Anthropic, а результат Opus 5.5 показывает, что с этим можно бороться.

Кому это важно

Тем, кто регулярно читает и редактирует тексты нейросетей: авторам, редакторам, разработчикам, которые читают объяснения и комментарии моделей к коду. Также исследователям и командам, занятым обучением и тонкой настройкой моделей: работа указывает на цену, которую читаемость платит за оптимизацию под математику, код и рассуждения.

Как это применить

Шесть шаблонов можно использовать как чек-лист при вычитке ИИ-текста: искать редкие составные выражения, длинные разрывы между подлежащим и сказуемым, пропущенные союзы, цепочки существительных, неестественные глаголы и странные метафоры. Источник не даёт готовых инструментов или рекомендаций по промптам, поэтому это лишь практический вывод из перечня шаблонов. Модели, ближе всего стоящие к человеческому тексту, по данным исследования, Llama и базовая Olmo.

Можно ли доверять

Это пересказ исследования изданием The Decoder, а не сам первоисточник. В материале нет ссылки на работу, даты публикации и имён авторов, а также нет показателей по каждой модели и метрик для каждого из шести шаблонов, приведено лишь сравнение Opus 5.5 и Opus 5 (19 из 21). Связь с дообучением и RLVR подаётся как вероятная причина и аргумент исследователей, а не доказанный факт; эксперимент со штрафом за длину был лишь доказательством концепции на небольшой модели. Слова Джексона Керниона приведены в пересказе, без указания, когда и где он их произнёс.

Риски и подводные камни

Выводы о причинах основаны на сопоставлении семейства Olmo и на небольшом эксперименте, поэтому причинность не доказана. Человеческие тексты для сравнения (субтитры, StackExchange, студенческие эссе) могут по-разному соответствовать задачам, и в материале не объясняется, как именно. Результаты по GPT-5.6, GLM-5 и Kimi K2.5 не приведены, так что обобщать выводы на все модели нельзя. Оценка успеха Opus 5.5 в части ясности исходит от The Decoder со ссылкой на исследование.