NarrativeBench проверил 14 нейросетей: разные версии новостей они показывают ненадёжно

Исследователи исходят из того, что большие языковые модели всё чаще выступают посредниками, через которых люди ищут и читают информацию, в том числе материалы, по-разному излагающие события в разных языках и регионах, особенно по спорным темам. Чтобы помогать пользователю ориентироваться в конкурирующих версиях событий («нарративах») на разных языках, модель должна уметь определённые вещи.
Авторы формулируют шесть таких навыков. Три базовых: включение нарратива (narrative inclusion), исключение нарратива (narrative exclusion) и выявление отсутствующего нарратива (missing narrative identification). Три более высокого уровня: подача разных нарративов, сохранение охвата нарративов при подтверждающих запросах (confirmatory queries) и сохранение равенства информации между языками (information parity).
Для оценки этих навыков авторы создали бенчмарк NarrativeBench. В него входят 1 333 новостные статьи на 23 языках публикации по 23 спорным темам и 460 запросов, взятых из обсуждений на Reddit (Reddit-grounded queries).
С помощью этого набора авторы оценили 14 языковых моделей на запросах на 24 языках. Вывод: текущие модели не обладают навыками, нужными для надёжной навигации по разным нарративам. Из-за этого пользователь хуже контролирует, какие точки зрения он получает, а в охвате конкурирующих версий остаются заметные пробелы, даже когда разнообразие явно запрошено.
Кроме того, доступ к информации различается в зависимости от формулировки запроса и языка. По словам авторов, это создаёт риск эхо-камер, языковых информационных пузырей и информационного неравенства, которые ослабляют общую основу, необходимую для демократического обсуждения. NarrativeBench авторы предлагают как фундамент для систем, которые дают пользователям разных языков и регионов возможность самим ориентироваться в разных нарративах.
Ключевые факты
- Авторы определяют шесть навыков для разнообразного многоязычного поиска информации: три базовых (включение, исключение и выявление отсутствующего нарратива) и три более высокого уровня (подача разных нарративов, сохранение охвата при подтверждающих запросах, равенство информации между языками).
- NarrativeBench состоит из 1 333 новостных статей на 23 языках по 23 спорным темам и 460 запросов, основанных на Reddit.
- Оценены 14 языковых моделей на запросах на 24 языках.
- Вывод авторов: современные модели не обладают навыками, нужными для надёжной навигации по разным нарративам, и оставляют пробелы в охвате конкурирующих версий, даже когда разнообразие запрошено явно.
- Доступ к информации зависит от формулировки запроса и языка, что, по оценке авторов, рискует породить эхо-камеры и языковые информационные пузыри.
Почему это важно
Всё больше людей получают новости и объяснения спорных событий через нейросети, а не через набор источников. Если ответ зависит от языка запроса и его формулировки, пользователь может увидеть лишь часть картины. Работа предлагает для этой проблемы конкретный набор навыков и тест, а не общие рассуждения: шесть измеримых способностей и бенчмарк, в котором статьи на 23 языках сопоставлены с реальными по духу запросами с Reddit.
Кому это важно
Исследователям, которые оценивают качество языковых моделей, особенно многоязычное. Командам, которые строят поиск и чат-ассистентов для новостей и спорных тем. Редакциям и платформам, которым важно, чтобы разные трактовки событий были видны пользователям независимо от языка запроса.
Как это применить
Из описания видно, что NarrativeBench задуман как инструмент для разработчиков: он должен направлять развитие навыков поиска информации. Его можно рассматривать как набор проверок для собственной системы: умеет ли она включать нужный нарратив, исключать лишний, замечать пропущенный, показывать разные версии, не терять охват при наводящих запросах и давать одинаковую информацию на разных языках. О доступности кода и данных в описании статьи ничего не сказано.
Можно ли доверять
Источник здесь, только текст аннотации со страницы статьи на Hugging Face. В описании не названы авторы и организации, не перечислены 14 проверенных моделей, нет оценок по отдельным моделям и итоговых чисел, не указано, какие именно 23 спорные темы и какие языки вошли в набор. Поэтому вывод «модели не справляются» можно проверить только по самой статье. Оценка модели как неспособной надёжно ориентироваться в нарративах принадлежит авторам.
Риски и подводные камни
Без числовых результатов и списка моделей нельзя понять, насколько велик разрыв и различаются ли модели между собой. Выбор спорных тем и источников неизбежно задаёт рамку того, что считать «нарративом» и «пробелом в охвате». Риски эхо-камер и языковых пузырей авторы описывают как возможные (risking), а не как доказанное влияние на реальных пользователей. Сам бенчмарк измеряет поведение моделей на заданном наборе запросов, и это не то же самое, что их поведение в живом использовании.
«NarrativeBench служит основой для разработки информационных систем, которые дают пользователям разных языков и регионов возможность самим ориентироваться в разных нарративах.»
— Авторы статьи