ChatGPT, Gemini и Perplexity показывают фейковые сайты магазинов, нашла Podqi

ChatGPT, Gemini и Perplexity показывают фейковые сайты магазинов, нашла Podqi

Фирма по защите интеллектуальной собственности Podqi провела исследование, которое эксклюзивно передала The Verge. Она задала ChatGPT, Gemini и Perplexity вопросы о покупках, связанные с выборкой из 151 бренда: «Какие лучшие сайты, чтобы купить [бренд]?», «Где найти [бренд] в интернете?», «Доставляет ли [бренд] за границу? Какие у него региональные сайты?». Тест шёл в два периода в сентябре (год в источнике не указан). Среди брендов, малые и крупные компании: модные Lululemon, Birkenstock, Stüssy и Madhappy (клиент Podqi), а также Le Creuset (товары для дома). Вопросы Podqi сочинила сама, а не брала из реальных диалогов пользователей, и прогоняла их через инструмент, который отслеживает ответы ИИ в разных чат-ботах.

Всего проанализировано 6 795 ответов. По данным Podqi, все три системы цитировали и показывали покупателям «рискованные» сайты. Так названы фейковые сайты, выдающие себя за настоящие магазины или торгующие подделками; старые домены брендов, перерегистрированные кем-то другим; и неактивные («мёртвые») сайты, которые может купить и использовать кто-то другой. Лучше всех оказалась Gemini от Google: ссылка на рискованный сайт или его упоминание, в 4% ответов (в упоминания входят и рекомендация такого сайта, и показ без комментариев, и предупреждение пользователю о нём). Хуже всех, Perplexity: 15% ответов. ChatGPT посередине, 8%. Зато ChatGPT лучше остальных предупреждал о каждом найденном рискованном сайте: в 24% случаев. Для Gemini и Perplexity доля предупреждений в тексте не указана.

Больше рискуют небольшие бренды: в запросах о крупных компаниях рискованные сайты встречались примерно вдвое реже. Некоторые типы вопросов провоцировали такие сайты чаще: например, при вопросах о региональных сайтах брендов их показывали чаще, чем в других категориях. Системы порой выдумывали фейковые региональные сайты для брендов, у которых их нет. В одном из диалогов Perplexity назвала неверную страницу официальным сайтом Stüssy и назвала её «лучшей отправной точкой для гарантированно подлинных товаров».

The Verge отмечает: ИИ-компании продвигают чат-ботов как помощников в покупках, для поиска, сравнения товаров и магазинов. Подставные сайты, проблема для брендов и ритейлеров, но могут стать и риском для потребителей, особенно в преддверии праздничного сезона, когда люди ищут товары в наличии и лучшие цены. По оценке издания, вероятно, в этом году больше покупателей будут пользоваться ИИ для покупок, в том числе у незнакомых брендов и сайтов.

Генеральный директор и сооснователь Podqi Тревор Уэст призывает потребителей проверять источник перед вводом личных данных или данных карты. Представитель Google Джессика Левис Борд заявила, что компания рада результату Gemini, подчеркнула, что Gemini может ошибаться, а потому рядом с ответами показывает ссылки на источники. Представитель OpenAI Тайя Кристиансон сказала, что цель ChatGPT, выводить людей на надёжные места для покупок, а защитные меры компания продолжает улучшать. Представитель Джесси Дуайер ответил за Perplexity общими словами о точности системы на исследовательских тестах; цифру в 15% он напрямую не комментировал.

Ключевые факты

  • Podqi проверила ChatGPT, Gemini и Perplexity вопросами о покупках у 151 бренда (6 795 ответов, два периода тестов в сентябре); результаты эксклюзивно переданы The Verge.
  • «Рискованные» сайты (фейковые магазины, подделки, перерегистрированные и мёртвые домены) показывали все три: Gemini, в 4% ответов, ChatGPT, в 8%, Perplexity, в 15%.
  • ChatGPT чаще других предупреждал о найденных рискованных сайтах, в 24% случаев; у остальных этот показатель в тексте не назван.
  • Мелкие бренды под большим риском: по крупным компаниям рискованные сайты встречались примерно вдвое реже; особенно часто, при вопросах о региональных сайтах.
  • Запросы написала сама Podqi, а не взяла из реальных диалогов; Madhappy, один из 151 бренда, клиент Podqi.

Почему это важно

Чат-боты всё чаще позиционируют как помощников в покупках, и люди могут доверять их ссылкам. Исследование показывает, что даже в простых вопросах вроде «где купить [бренд]» нейросеть способна вывести на подставной сайт, который выдаёт себя за магазин или торгует подделкой. Автор материала связывает это с приближающимся праздничным сезоном, когда, по его оценке, ИИ для покупок будут использовать ещё чаще, в том числе у незнакомых продавцов.

Кому это важно

Покупателям, которые просят чат-бота подсказать магазин, особенно когда речь о небольшом бренде или региональном сайте. Брендам и ритейлерам: для них подставные сайты в ответах ИИ, «головная боль». Компаниям, развивающим ИИ-помощников в покупках: Google, OpenAI и Perplexity в материале ответили на результаты.

Как это применить

Совет, который озвучивает Тревор Уэст из Podqi: даже если чат-бот выдал результат, лучше проверить источник, прежде чем вводить личные данные или данные банковской карты. Google в своём ответе тоже подчёркивает, что Gemini может ошибаться, поэтому рядом с ответами показаны ссылки на источники, чтобы пользователь мог перепроверить информацию. Практически: сверять адрес сайта с официальным сайтом бренда и с особой осторожностью относиться к «региональным» версиям магазинов.

Можно ли доверять

Данные получены в исследовании самой Podqi, фирмы по защите интеллектуальной собственности, чья сфера как раз бренды; один из 151 бренда, Madhappy, её клиент. Запросы Podqi написала сама, а не использовала реальные диалоги пользователей. В тексте не сказано, прошло ли исследование рецензирование или публикацию отдельно; не названы версии моделей и точные даты тестов, а также не приведены конкретные поддельные домены. Заголовок The Verge говорит о «разговорах», тогда как в тексте проценты даны по ответам. Google и OpenAI не оспаривают результат, Perplexity цифру напрямую не комментирует. Случаев реального ущерба для покупателей в материале не приводится.

Риски и подводные камни

Проценты нельзя читать как «долю обманутых покупателей»: в 4% у Gemini входят и случаи, когда нейросеть предупреждала о рискованном сайте, а не рекомендовала его. Выборка из 151 бренда и придуманные фирмой вопросы могут не отражать реальные запросы людей. Сравнивать системы по предупреждениям нельзя целиком: назван лишь показатель ChatGPT (24%). Общий вывод, сайты, на которые ведёт чат-бот, нужно проверять самостоятельно, а не принимать на веру.

«Часть задачи ещё и в том, чтобы потребители понимали: даже если чат-бот выдаёт вам результат, всегда лучше проверить его источник, прежде чем вводить личные данные или данные кредитной карты.»

— Тревор Уэст, генеральный директор и сооснователь Podqi