Стэнфорд: 44% известных утверждений о нейросетях уже устарели

Стэнфордские исследователи Оуэн Куин (Owen Queen) и Джеймс Зоу (James Zou) проверили 50 широко цитируемых утверждений о больших языковых моделях на 20 моделях. Модели вышли с июля 2024 по сентябрь 2026 года, их выпустили восемь разработчиков. Итог, как его пересказывает The Decoder: 44% утверждений уже «истекли», исходный эффект в них в основном исчез. Ещё 34% заметно ослабли, лишь 16% по-прежнему подтверждаются, а 6% даже усилились. Среди 22 выводов, для которых удалось оценить дату истечения, средний срок жизни составил всего 15,7 месяца. Через год истекли 16% утверждений, через два года, 39%.

Быстрее всего устаревают утверждения о том, чего модели не умеют. Из девяти выводов, связанных с рассуждением, пять считаются истёкшими, а ни один не устоял и не усилился. Среди них известные слабости: подсчёт букв в слове «strawberry», арифметика в непривычных системах счисления, потеря информации в середине длинного контекста и отказ от верного ответа, когда пользователь возражает. Исследователи подозревают, что у таких ошибок есть «правильный» ответ, и это даёт разработчикам чёткую цель для обучения.

Дольше живут утверждения о предпочтениях и склонностях. Из 11 выводов, которые устояли или усилились, три касаются поведения моделей в роли оценщиков: они предпочитают собственные ответы, одинаково оценивают принятые и отклонённые статьи и поддаются языковой «подаче» в медицинских аннотациях. Ещё три связаны с подхалимством и согласием с пользователем. Сохраняются также левый политический уклон, почти одинаковые ответы на открытые вопросы и неравномерное распределение при генерации случайных чисел.

Как отдельный пример авторы разобрали выдуманные научные ссылки. В исходной работе 2023 года (Уолтерс и Уайлдер, Walters и Wilder) GPT-3.5 придумывал 55% ссылок. Стэнфордские исследователи отправили те же запросы современным моделям: GPT-6.1 Sol выдумал 0% ссылок, Claude Sonnet 5.5, 1%. Но Qwen3.7-Flash, тоже модель 2026 года, в том же тесте по-прежнему выдумывала 69% ссылок.

Исследование предостерегает от прочтения этих результатов как сигнала «всё в порядке». На так называемых двухшаговых вопросах, где нужно объединить два известных факта, Claude Sonnet 5.5 всё ещё ошибается примерно в 10% случаев, когда верно отвечает на оба отдельных вопроса. В исходной работе для ChatGPT приводилось 43%. «Проклятие обращения» (Reversal Curse) и противоречивые ответы на парные вопросы о времени тоже ослабли, но по-прежнему обнаруживаются. Социальные смещения, смешанный случай: политический уклон сохраняется, гендерные стереотипы и неявные ассоциативные смещения ослабли, а смещения против носителей афроамериканского английского в данных о тренде даже поменяли направление.

Разброс между моделями велик даже внутри одного поколения. Среди моделей, вышедших с июля по сентябрь 2026 года, число истёкших выводов колеблется от 11 у DeepSeek V4 Pro до 30 у GPT-6.1 Sol. Ни дата выхода, ни разработчик, ни размер модели не предсказывают картину надёжно.

Общий вывод Куина и Зоу: эмпирические результаты о больших языковых моделях следует подавать как наблюдения о конкретных моделях в конкретный момент, а не как общие истины. В работах нужно указывать модель, версию и дату, а также публиковать запросы и код анализа, чтобы выводы можно было перепроверить на будущих моделях. Исследователи ссылаются на пост Андрея Карпати (Andrej Karpathy) о том, как разрыв между представлениями о поведении моделей и их реальным поведением влияет на доверие к ИИ и частоту его использования. По данным The Decoder, Карпати, сооснователь OpenAI, перешедший в Anthropic; недавно он также сказал, что доступные сейчас модели, лишь предварительный образец будущих возможностей.

Ключевые факты

Оуэн Куин и Джеймс Зоу из Стэнфорда проверили 50 широко цитируемых утверждений о больших языковых моделях на 20 моделях восьми разработчиков (выпуск с июля 2024 по сентябрь 2026 года).
44% утверждений уже «истекли», 34% заметно ослабли, 16% подтверждаются, 6% усилились; средний срок жизни выводов с оценённой датой истечения (22 шт.), 15,7 месяца.
Быстрее всего устаревают утверждения о том, чего модели не умеют: из девяти выводов о рассуждении пять истекли, ни один не устоял и не усилился.
Доля выдуманных ссылок упала с 55% у GPT-3.5 до 0% у GPT-6.1 Sol и 1% у Claude Sonnet 5.5, но Qwen3.7-Flash в том же тесте выдумала 69%.
Авторы советуют подавать выводы как наблюдения о конкретных моделях и датах, указывать версию и публиковать запросы и код для перепроверки.

Почему это важно

Многие «известные» слабости нейросетей, от подсчёта букв до потери информации в длинном контексте, переходят из статьи в статью и из обсуждения в обсуждение. Исследование показывает, что часть этих утверждений устаревает за считаные месяцы: у выводов с оценённой датой истечения средний срок жизни составил 15,7 месяца. Если опираться на устаревшие выводы, можно ошибиться в оценке возможностей моделей и в решениях, которые на неё опираются.

Кому это важно

Авторам и рецензентам научных работ о больших языковых моделях, которым предлагается указывать модель, версию и дату и публиковать запросы и код. Разработчикам и командам, которые выбирают модель под задачу и опираются на чужие тесты. Журналистам и всем, кто пересказывает «слабости ИИ» как неизменные факты. Пользователям, у которых от такого восприятия зависят доверие к ИИ и частота его использования, на этот эффект ссылаются сами исследователи, упоминая пост Карпати.

Как это применить

Следуя выводу Куина и Зоу, подавайте результаты о моделях как наблюдения о конкретных моделях в конкретный момент: записывайте модель, версию и дату, сохраняйте запросы и код анализа, чтобы тест можно было повторить на новых моделях. Читая чужие утверждения вроде «модели не умеют X», смотрите, на каких моделях и когда они проверялись. Разброс велик даже внутри одного поколения (от 11 до 30 истёкших выводов у моделей июля, сентября 2026 года), поэтому проверять стоит именно ту модель, которую вы используете.

Можно ли доверять

Мы пересказываем изложение издания The Decoder, а не саму работу: статья не приводит название исследования, место публикации, ссылку и дату выхода. В ней не раскрыто, как определяется, что утверждение «истекло», и как оценивается дата истечения. Не названы восемь разработчиков и не перечислены все 20 моделей и все 50 утверждений, даны лишь отдельные примеры. Реакций разработчиков моделей и независимых исследователей в тексте нет. Объяснение, почему утверждения о «неумении» устаревают быстро, предположение исследователей, а не проверенный механизм.

Риски и подводные камни

Цифра 15,7 месяца, среднее только по 22 выводам с оценённой датой истечения, а не по всем 50 утверждениям. Числа 11 и 30 у DeepSeek V4 Pro и GPT-6.1 Sol, это количество истёкших выводов на модель, а не проценты и не показатель общего качества. Исследование предостерегает от чтения результатов как сигнала «всё в порядке»: Claude Sonnet 5.5 всё ещё ошибается примерно в 10% двухшаговых вопросов, а Qwen3.7-Flash выдумала 69% ссылок. Пример с афроамериканским английским показывает, что смещения могут не просто слабеть, но и менять направление.