Apate разработала ИИ-ботов, которые отвлекают телефонных мошенников

Еженедельная рассылка WIRED Kernel Panic! (авторы, Лили Хей Ньюман и Мэтт Бёрджесс) пишет, что ИИ, который усилил цифровое мошенничество, всё чаще используют и против него. Правительства по всему миру не справляются с глобальным кризисом онлайн-преступности: бороться с преступниками за пределами своих границ сложно. Отсюда идея автоматизации против мошенников, например, «спамить спамеров», чтобы они тратили ресурсы впустую. Теперь ИИ-платформы превращают такие эксперименты в реальные инструменты.

Два года австралийская компания Apate, названная в честь греческой богини обмана, строит систему, которая перенаправляет телефонных мошенников на звонки с ИИ-ботами. Боты обучены поддерживать разговор как можно дольше и, разумеется, ни за что не поддаваться на обман. Цель, дать мошенникам достаточно надежды, чтобы они оставались на линии, пока компания собирает сведения об их схемах. Основатель и генеральный директор Apate Дали Каафар говорит, что команда стремится создавать «идеальных жертв для мошенников», и объясняет: минута, которую мошенник тратит на бота, это минута, в которую он не добирается до сотен, а то и тысяч других людей, ведь мошенники пользуются автоматическими средствами обзвона.

Все цифры об Apate приведены со слов Каафара. По его словам, платформой пользуются банки, а поддерживают её телекоммуникационные компании; в ней около 350 000 ботов. Боты не только принимают звонки, но и проникают в мошеннические чаты в интернете и отвечают на текстовые сообщения с той же целью, раздражать мошенников и собирать данные. Компания, по его словам, в реальном времени получила более 250 000 единиц информации о мошенниках, от адресов мошеннических сайтов до счетов «денежных мулов» и банковских реквизитов. У ботов разные характеры, языковые навыки и профили, чтобы мошенники не догадались, что говорят с ИИ: иногда у бота есть WhatsApp, иногда нет; иногда он берёт трубку, а иногда кладёт её, обещая перезвонить позже.

Авторы рассылки проверили инструмент на демо-версии, где пользователь играет мошенника и разговаривает с одной из ИИ-«жертв» Apate. Персонажи изображают здоровую долю скепсиса, но оставляют мошенникам достаточно лазеек, чтобы продолжать попытки, эту динамику авторы сразу почувствовали и сочли крайне раздражающей. Каафар утверждает, что звонки Apate регулярно длятся более двух часов. В тесте система, по оценке авторов, была вовлечённой и отзывчивой, а ритм разговора казался естественным, даже когда они вдвоём «обрабатывали» ИИ, изображавшего подругу «Люси» и её финансового советника «Микки». Уговорить Apate вложиться в их криптовалютную схему за шесть минут усилий не удалось.

При этом, как отмечают авторы, масштаб проблемы остаётся огромным: киберпреступники инициируют миллиарды сообщений и звонков в год, а самые изощрённые группы управляют физическими мошенническими центрами промышленного масштаба. Профессиональные «скамбейтеры» и инициативы по проникновению в мошеннические сети годами сдерживали преступников, но правоохранительные органы и исследователи не смогли остановить рост цифрового мошенничества в целом. Авторы считают, что ИИ может открыть новую эпоху и для антимошеннических усилий: остро нужен обмен разведданными между полицией, соцсетями, банками и другими отраслями, и ему мог бы помочь ИИ-мониторинг с анализом данных. Использование генеративного ИИ, чтобы занять киберпреступников, заставить их тратить ресурсы и не запускать другие атаки, по оценке авторов, выглядит всё более эффективным.

Второй пример, ловушки honeypot. Годами компании и исследователи безопасности разворачивали ложные виртуальные машины, чтобы привлекать хакеров, отнимать у них время, собирать информацию и изучать их приёмы. Марк Веро, докторант кафедры информатики ETH Zurich, говорит, что провайдеры honeypot с открытым исходным кодом всё чаще добавляют в свои системы большие языковые модели, чтобы ловушки выглядели реалистичнее. В недавнем исследовании Веро с коллегами обнаружил, что honeypot на основе языковой модели удерживал атакующих ИИ-агентов «значительно дольше», чем ловушка с более предсказуемым поведением. По его словам, атакующие агенты гораздо сильнее убеждены такими ловушками и намного реже распознают в них honeypot. Если такие системы хорошо построены, это весьма выгодно защитникам, считает Веро.

Ключевые факты

• Австралийская Apate два года строит систему, которая перенаправляет телефонных мошенников на звонки с ИИ-ботами, обученными тянуть разговор и не поддаваться на обман.
• Со слов основателя Дали Каафара, у платформы около 350 000 ботов, более 250 000 собранных в реальном времени единиц информации о мошенниках, а звонки регулярно идут более двух часов.
• Боты также проникают в мошеннические чаты и отвечают на текстовые сообщения; у них разные характеры, языки и профили, чтобы не выдать ИИ.
• В демо-тесте WIRED, где авторы играли мошенников, ИИ-«жертва» звучала естественно и за шесть минут не вложилась в крипто-схему.
• Марк Веро из ETH Zurich сообщает, что honeypot на основе языковой модели удерживает атакующих ИИ-агентов значительно дольше обычной ловушки.

Почему это важно

Мошенничество идёт в промышленных масштабах, а правоохранительные органы и исследователи, как пишут авторы, не смогли остановить его рост. Идея Apate и ИИ-ловушек, не ловить каждого преступника, а тратить его время и ресурсы, чтобы он не добирался до других людей и не запускал другие атаки. Авторы рассылки считают, что генеративный ИИ в такой роли выглядит всё более эффективным, то есть защитники получают инструмент, симметричный тому, которым пользуются преступники.

Кому это важно

Банкам и телекоммуникационным компаниям, которые, по словам Каафара, уже используют платформу Apate или поддерживают её; специалистам по информационной безопасности, которые разворачивают ловушки honeypot; правоохранительным органам и исследователям, которым нужны данные о мошеннических схемах (адреса сайтов, счета «денежных мулов», банковские реквизиты). Обычным пользователям новость косвенно интересна тем, что мошенничество остаётся массовым, авторы прямо пишут, что очередной мошеннический звонок или сообщение, вопрос времени.

Как это применить

Прямой инструкции для читателя в материале нет. Apate, платформа для организаций; сведений о цене, запуске и странах работы в источнике нет. Банки и операторы, по словам Каафара, уже ею пользуются. Для специалистов по безопасности практический вывод из второй части, идея наполнять ловушки honeypot языковыми моделями, как это уже делают провайдеры с открытым исходным кодом; сами авторы статьи это как руководство не подают. Авторы рассылки тестировали демо-версию Apate, в которой пользователь играет роль мошенника; о публичном доступе к ней в источнике не сказано.

Можно ли доверять

Материал, рассылка WIRED, сюжет подан как репортаж, а не как сатира. Однако все цифры об Apate (около 350 000 ботов, более 250 000 единиц информации, звонки свыше двух часов) исходят от основателя и генерального директора компании Каафара; независимой проверки в тексте нет, названия банков и телеком-компаний не приведены. Тест авторов был коротким (шесть минут), проходил на демо-версии, где они сами играли мошенников, а не на реальных звонках. Исследование Веро с коллегами не названо: нет ни заглавия, ни площадки, ни публикации, ни числового размера эффекта «значительно дольше».

Риски и подводные камни

В тексте нет данных о том, сколько мошеннических звонков реально перехвачено и стало ли жертв меньше, поэтому оценить пользу системы в масштабе нельзя. Сами авторы признают, что даже с «роем» ботов Apate вы получите следующий мошеннический звонок или сообщение, а масштаб преступности, миллиарды обращений в год, остаётся колоссальным. Часть выводов о преимуществе защитников у Веро условна: она верна, «если такие системы построены достаточно хорошо». Как устроены боты Apate и какие модели в них используются, в источнике не сказано.

«Мы действительно любим думать, что создаём идеальных жертв для мошенников.»

— Дали Каафар, основатель и генеральный директор Apate

Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.