ИИ-агенты в 12 моделях предпочитают «любимые» источники, даже когда товар хуже
Нейросети-агенты всё чаще выбирают за пользователя, какой товар купить, какой отель забронировать или какую статью процитировать. Авторы статьи изучили, как на такие решения влияет источник, то есть сайт или сервис, откуда пришёл объект выбора.
Эксперимент проводился на сквозном поиске с 12 агентными моделями в трёх областях. Исследователи сравнивали объекты из разных источников, которые удовлетворяют одним и тем же требованиям и стоят на одной позиции. Оказалось, что каждая модель в каждой области предпочитает одни источники и избегает других, причём модели в основном согласуются между собой в том, какие источники «любимые».
Предпочтение может перевесить качество ответа на запрос. Объект, который выполняет на одно требование меньше, выбирается примерно в двух третях случаев, если он из предпочитаемого источника, а лучший объект, из нежелательного. В обратной ситуации такой выбор происходит почти никогда. Эта доля относится к одному конкретному сравнению, а не ко всем выборам в целом.
Сама информация об источнике влияет на выбор: если её скрыть, предпочтение ослабевает, а если объекту приписать предпочитаемый источник, вероятность его выбора растёт.
Авторы проверили два пути возникновения такого предпочтения. Первый: обучение, поощряющее лучшие объекты, может превратить источник в «короткий путь» к выполнению требований. Второй: нехватка информации может запускать предубеждения об источнике. Снижают предпочтение либо добавление недостающей информации, либо промпт, который противодействует этим предубеждениям.
Ключевые факты
- Изучены 12 агентных моделей в трёх областях в задаче сквозного поиска; примеры решений агента, выбор товара, отеля, статьи для цитирования.
- Каждая модель в каждой области предпочитает одни источники и избегает других, и модели в основном согласны, какие именно.
- Объект, выполняющий на одно требование меньше, выбирается примерно в двух третях случаев, если он из предпочитаемого источника, а лучший, из нежелательного; в обратном случае почти никогда.
- Скрытие информации об источнике ослабляет предпочтение, а приписывание объекту предпочитаемого источника повышает вероятность выбора.
- Проверены два пути возникновения эффекта: обучение с вознаграждением за лучшие объекты и предубеждения при нехватке информации; снижают его недостающая информация или промпт против предубеждений.
Почему это важно
Когда агент решает за пользователя, что купить, где остановиться или какую работу процитировать, его склонность к определённым источникам напрямую определяет, что получит человек и какие источники будут выбраны. Исследование показывает, что эта склонность не мелочь: она может перевесить то, насколько объект соответствует запросу. Объект, не выполняющий одно из требований, в примерно двух третях случаев побеждает лучший, если он из предпочитаемого источника и сравнивается с лучшим из нежелательного.
Кому это важно
Тем, кто делегирует выбор агентам: пользователям, которые полагаются на рекомендации покупок, бронирований и цитирований. Владельцам сайтов и сервисов, чьи материалы агенты выбирают или обходят: источник сам по себе влияет на вероятность выбора. Разработчикам агентов и тем, кто их обучает и настраивает: статья указывает на обучение с вознаграждением и нехватку информации как возможные причины эффекта.
Как это применить
Согласно статье, предпочтение снижается, если дать агенту недостающую информацию или использовать промпт, противодействующий предубеждениям об источнике. Размер снижения в доступном тексте не указан, поэтому ожидать конкретного эффекта нельзя. Для проверки собственного агента можно взять схему из исследования: сравнить объекты из разных источников с одинаковыми требованиями на одной позиции, затем скрыть или подменить информацию об источнике и посмотреть, меняется ли выбор.
Можно ли доверять
Это научная работа, и выводы в пересказе, выводы её авторов; доступна только аннотация. В ней не названы авторы и организации, сами 12 моделей, три области, а также предпочитаемые и нежелательные источники. Не указан размер снижения эффекта от мер противодействия, и не сказано, какой из двух путей объясняет больше. Цифра про две трети относится к одному конкретному сравнению, а не к общей доле выбора.
Риски и подводные камни
Поскольку модели в основном согласны в том, какие источники предпочитать, смещение может быть общим для многих агентов, а не случайным у одного. Два изученных пути возникновения предпочтения, это проверенные гипотезы, а не исчерпывающее объяснение. Меры вроде недостающей информации и специального промпта лишь снижают предпочтение, но не устраняют его полностью, судя по формулировке «снижает»; по доступному тексту нельзя оценить, насколько они эффективны.