Нейросеть Inkling 2 Small от Thinking Machines ругается матом в рассуждениях: 316 случаев

Нейросеть Inkling 2 Small от Thinking Machines ругается матом в рассуждениях: 316 случаев

Нейросеть Inkling 2 Small компании Thinking Machines ругается матом во внутренней цепочке рассуждений. Исследователи Vals AI прочитали логи «мышления» модели из 2 655 запусков в 13 бенчмарках (тестовых наборах) и нашли английское «fuck» или его вариации в 50 запусках, всего 316 случаев.

Большая часть пришлась на два запуска, которые вышли из-под контроля: на них приходится 241 случай из 316. В одном из них модель решала задачу о расчёте траектории астероида и выдала единственный ответ длиной 500 000 знаков, примерно с роман, где повторяла одни и те же предложения со 158 ругательствами. Сильнее всего пострадал бенчмарк ProgramBench: там ругань обнаружена в 20 запусках из 200.

Обычно Inkling 2 Small ругается из-за собственных ошибок, из-за кажущихся прорывов или когда сдаётся. В одном из запусков в логе стояло: «Б****. ОТПРАВЛЯЮ. ГОТОВО. НЕ РАБОТАЕТ. НИЧЕГО НЕ РАБОТАЕТ.» (ругательство здесь смягчено).

Как предупреждающий сигнал о провале мат не работает. Из зачтённых запусков с руганью 46 из 48 завершились неудачей, но около 75% всех зачтённых запусков в любом случае проваливаются, а 96% провалившихся запусков вообще не содержали ругательств. Пользователи обычно не видят эти шаги рассуждений либо видят их только через фильтр.

Ключевые факты

  • Vals AI изучила логи рассуждений Inkling 2 Small из 2 655 запусков в 13 бенчмарках: «fuck» или его вариации нашлись в 50 запусках, всего 316 случаев.
  • 241 случай пришёлся на два «сорвавшихся» запуска; в одном из них, с задачей про траекторию астероида, был ответ в 500 000 знаков со 158 ругательствами.
  • Сильнее всего задет ProgramBench: ругань в 20 запусках из 200.
  • Модель обычно ругается из-за своих ошибок, кажущихся прорывов или когда сдаётся.
  • Мат не годится как сигнал провала: 46 из 48 зачтённых запусков с руганью провалились, но около 75% всех зачтённых запусков проваливаются и так, а 96% провальных запусков обходились без ругательств.

Почему это важно

Цепочка рассуждений обычно скрыта от пользователя, и наблюдение Vals AI показывает, что в ней может происходить у модели на практике. Конкретная, исчислимая картина: 316 случаев в 50 запусках из 2 655, причём основная масса приходится на два запуска, где модель зациклилась и повторяла одни и те же предложения. Это узкая находка, но она показывает, как выглядят сбои модели во внутренних рассуждениях.

Кому это важно

Тем, кто оценивает и тестирует модели по бенчмаркам и читает логи рассуждений; разработчикам, которые подключают Inkling 2 Small от Thinking Machines. Пользователям, как отмечает источник, эти шаги обычно не видны или видны лишь через фильтр.

Как это применить

Прямых рекомендаций в источнике нет. Главный практический вывод из данных: наличие ругательств в логе рассуждений нельзя использовать как автоматический признак того, что запуск провалится, 96% провальных запусков обходились без них.

Можно ли доверять

Пересказ основан на коротком материале The Decoder, который излагает результаты Vals AI. Цифры приведены в нём конкретно (2 655 запусков, 13 бенчмарков, 50 запусков, 316 случаев), но ссылки на отчёт Vals AI в тексте нет, а из 13 бенчмарков назван только ProgramBench. Проверить полный отчёт по тексту источника нельзя.

Риски и подводные камни

Не стоит делать выводов шире самих данных: источник не объясняет, почему модель ругается и почему два запуска вышли из-под контроля. Нет сведений о том, комментировала ли это Thinking Machines и собирается ли что-то менять. Мат в логе сам по себе не предсказывает провал: связь слабая, поскольку базовая доля неудач около 75%.

«Б****. ОТПРАВЛЯЮ. ГОТОВО. НЕ РАБОТАЕТ. НИЧЕГО НЕ РАБОТАЕТ.»

— Inkling 2 Small, лог рассуждений одного из запусков (ругательство смягчено)