Нейросети завышают причинно-следственные связи: стресс-тест по шести параметрам

Препринт на arXiv посвящён тому, насколько надёжно большие языковые модели (LLM) справляются с причинным выводом, то есть с определением скрытых движущих факторов системы. Эта задача (causal discovery, «поиск причинных связей») важна для науки и традиционно решалась на структурированных данных статистическими методами. Недавно LLM стали рассматривать как альтернативный подход: их привлекает широкий запас знаний и способность к рассуждению. Однако, по словам авторов, несмотря на языковую беглость, модели часто опираются на распознавание поверхностных закономерностей, а не на подлинную причинную логику. Известно, что в этой области LLM ошибаются, но точной карты того, где, почему и насколько сильно они ошибаются, нет.

Авторы предлагают систематическую схему стресс-тестирования по шести направлениям: масштаб модели, сложность причинного графа, стратегия подсказок (промптов), качество метаданных, качество данных и чувствительность к неопределённости.

Первый вывод, выраженный «оптимизм» моделей: они стабильно переоценивают число причинных связей, из-за чего точность (precision) оказывается низкой по всем настройкам. Второй вывод касается метрик: традиционные показатели могут вводить в заблуждение. Модели с упором на рассуждение лидируют по результатам, но самые высокие оценки часто получаются тогда, когда неопределённость вывода не учитывается. Если включить неопределённость в оценку, результат снижается, что, по мнению авторов, честнее отражает надёжность причинного вывода. Третий вывод: увеличение размера модели улучшает результаты, но этот выигрыш хрупок, при ухудшении качества метаданных качество резко падает.

Работа задумана как практическое руководство по слепым зонам LLM: она должна помочь понять, когда такие инструменты можно встраивать в конвейер поиска причинных связей, а когда они, скорее всего, уведут исследователей в сторону.

Ключевые факты

Предложена схема стресс-теста причинного вывода на LLM по шести направлениям: масштаб модели, сложность причинного графа, стратегия подсказок, качество метаданных, качество данных и чувствительность к неопределённости.
Выявлен «оптимизм» моделей: они стабильно переоценивают причинные связи, поэтому точность низкая по всем настройкам.
Традиционные метрики вводят в заблуждение: лучшие оценки часто получаются, когда неопределённость вывода игнорируется; при её учёте результат снижается.
Рост размера модели помогает, но выигрыш хрупок: при падении качества метаданных результат резко ухудшается.
Авторы позиционируют работу как практическое руководство о том, когда LLM можно встраивать в поиск причинных связей, а когда нельзя.

Почему это важно

Поиск причинных связей лежит в основе научных исследований, и LLM всё чаще пробуют применять там, где раньше работала статистика. Работа пытается заменить общее «известно, что модели ошибаются» конкретной картой сбоев по шести параметрам. Главный практический посыл: заявленные высокие оценки могут быть завышены, если не учитывать неопределённость.

Кому это важно

Исследователям, которые строят конвейеры поиска причинных связей и думают о привлечении LLM; тем, кто оценивает такие модели и выбирает метрики; практикам, работающим с метаданными, от качества которых по выводам авторов сильно зависит результат.

Как это применить

По выводам авторов, при оценке причинного вывода стоит учитывать неопределённость, а не опираться только на традиционные метрики. Прирост от увеличения модели не стоит считать устойчивым: нужно проверять качество метаданных. Сильный «оптимизм» моделей означает, что предложенные ими связи требуют проверки, а не принятия на веру.

Можно ли доверять

Источник, препринт на arXiv, текст которого здесь представлен только аннотацией. В ней не названы конкретные модели, наборы данных и числовые результаты (точность, величина падения), поэтому масштаб эффектов оценить нельзя. Выводы приводятся как заявления самих авторов и в рамках этого текста не проверены независимо.

Риски и подводные камни

Из аннотации неясно, насколько ухудшали качество метаданных и как именно вводили неопределённость в оценку, поэтому переносить выводы на свои задачи надо осторожно. Не указано и то, какая стратегия подсказок сработала лучше. Опасность для практики, принять высокие оценки при игнорировании неопределённости за реальную надёжность.