NarrativeBench проверил 14 нейросетей: разные версии новостей они показывают ненадёжно

NarrativeBench проверил 14 нейросетей: разные версии новостей они показывают ненадёжно

Исследователи исходят из того, что большие языковые модели всё чаще выступают посредниками, через которых люди ищут и читают информацию, в том числе материалы, по-разному излагающие события в разных языках и регионах, особенно по спорным темам. Чтобы помогать пользователю ориентироваться в конкурирующих версиях событий («нарративах») на разных языках, модель должна уметь определённые вещи.

Авторы формулируют шесть таких навыков. Три базовых: включение нарратива (narrative inclusion), исключение нарратива (narrative exclusion) и выявление отсутствующего нарратива (missing narrative identification). Три более высокого уровня: подача разных нарративов, сохранение охвата нарративов при подтверждающих запросах (confirmatory queries) и сохранение равенства информации между языками (information parity).

Для оценки этих навыков авторы создали бенчмарк NarrativeBench. В него входят 1 333 новостные статьи на 23 языках публикации по 23 спорным темам и 460 запросов, взятых из обсуждений на Reddit (Reddit-grounded queries).

С помощью этого набора авторы оценили 14 языковых моделей на запросах на 24 языках. Вывод: текущие модели не обладают навыками, нужными для надёжной навигации по разным нарративам. Из-за этого пользователь хуже контролирует, какие точки зрения он получает, а в охвате конкурирующих версий остаются заметные пробелы, даже когда разнообразие явно запрошено.

Кроме того, доступ к информации различается в зависимости от формулировки запроса и языка. По словам авторов, это создаёт риск эхо-камер, языковых информационных пузырей и информационного неравенства, которые ослабляют общую основу, необходимую для демократического обсуждения. NarrativeBench авторы предлагают как фундамент для систем, которые дают пользователям разных языков и регионов возможность самим ориентироваться в разных нарративах.

Ключевые факты

  • Авторы определяют шесть навыков для разнообразного многоязычного поиска информации: три базовых (включение, исключение и выявление отсутствующего нарратива) и три более высокого уровня (подача разных нарративов, сохранение охвата при подтверждающих запросах, равенство информации между языками).
  • NarrativeBench состоит из 1 333 новостных статей на 23 языках по 23 спорным темам и 460 запросов, основанных на Reddit.
  • Оценены 14 языковых моделей на запросах на 24 языках.
  • Вывод авторов: современные модели не обладают навыками, нужными для надёжной навигации по разным нарративам, и оставляют пробелы в охвате конкурирующих версий, даже когда разнообразие запрошено явно.
  • Доступ к информации зависит от формулировки запроса и языка, что, по оценке авторов, рискует породить эхо-камеры и языковые информационные пузыри.

Почему это важно

Всё больше людей получают новости и объяснения спорных событий через нейросети, а не через набор источников. Если ответ зависит от языка запроса и его формулировки, пользователь может увидеть лишь часть картины. Работа предлагает для этой проблемы конкретный набор навыков и тест, а не общие рассуждения: шесть измеримых способностей и бенчмарк, в котором статьи на 23 языках сопоставлены с реальными по духу запросами с Reddit.

Кому это важно

Исследователям, которые оценивают качество языковых моделей, особенно многоязычное. Командам, которые строят поиск и чат-ассистентов для новостей и спорных тем. Редакциям и платформам, которым важно, чтобы разные трактовки событий были видны пользователям независимо от языка запроса.

Как это применить

Из описания видно, что NarrativeBench задуман как инструмент для разработчиков: он должен направлять развитие навыков поиска информации. Его можно рассматривать как набор проверок для собственной системы: умеет ли она включать нужный нарратив, исключать лишний, замечать пропущенный, показывать разные версии, не терять охват при наводящих запросах и давать одинаковую информацию на разных языках. О доступности кода и данных в описании статьи ничего не сказано.

Можно ли доверять

Источник здесь, только текст аннотации со страницы статьи на Hugging Face. В описании не названы авторы и организации, не перечислены 14 проверенных моделей, нет оценок по отдельным моделям и итоговых чисел, не указано, какие именно 23 спорные темы и какие языки вошли в набор. Поэтому вывод «модели не справляются» можно проверить только по самой статье. Оценка модели как неспособной надёжно ориентироваться в нарративах принадлежит авторам.

Риски и подводные камни

Без числовых результатов и списка моделей нельзя понять, насколько велик разрыв и различаются ли модели между собой. Выбор спорных тем и источников неизбежно задаёт рамку того, что считать «нарративом» и «пробелом в охвате». Риски эхо-камер и языковых пузырей авторы описывают как возможные (risking), а не как доказанное влияние на реальных пользователей. Сам бенчмарк измеряет поведение моделей на заданном наборе запросов, и это не то же самое, что их поведение в живом использовании.

«NarrativeBench служит основой для разработки информационных систем, которые дают пользователям разных языков и регионов возможность самим ориентироваться в разных нарративах.»

— Авторы статьи