WIRED протестировал шесть ИИ-агентов: Muse, Dots, Claude Duet и другие

Программный обозреватель WIRED решил проверить, насколько ИИ-агенты поумнели с прошлого года, когда, по его словам, они были плохи во всём. Перед сном в среду на прошлой неделе он установил на iPhone шесть постоянно работающих агентов: Muse от Meta, Dots от OpenAI, Instinct, Claude Duet от Anthropic, Gemini Spark от Google и Grok Bot от xAI. Он разработал пять базовых тестов, проводил их в течение 24 часов и оценивал каждую попытку по шкале от 1 до 5, чтобы в конце подсчитать баллы, назвать победителя и вручить приз самому раздражающему агенту. Автор оговаривает, что это не рекомендация ни одного из агентов: программы остаются сырыми, а их работа с личными данными связана с вопросами приватности и безопасности. Он приводит пример пользователя X, который подключил агентов к банковскому счёту и рабочему Slack, а потом ужаснулся, когда агент выложил на виду у коллег, сколько у него денег. Сам автор открыл инструментам только личные Google Calendar и Gmail.

Цены и форматы различаются. Muse бесплатен и с сентябрьского релиза лидирует в чартах скачиваний смартфонных приложений. Instinct тоже бесплатен, но нужен код-приглашение от пользователя; он работает через текстовые сообщения, а не через приложение. Dots от OpenAI, самый дорогой из протестированных, $100 в месяц, и встроен в ChatGPT. Gemini Spark, бета внутри приложения Gemini, $20 в месяц. Grok Bot стоит $30 в месяц и живёт в собственном приложении. Claude Duet стоит $20 в месяц, это новейший из шести: он вышел как исследовательская предварительная версия по листу ожидания за ночь до тестов. OpenClaw в список не попал: он, по мнению автора, слишком громоздок для настройки обычным человеком. В будущий рейтинг автор допускает добавить Hermes от Nous Research и Poke.

Автор объясняет, что такой агент похож на цифрового помощника, которому пишешь в чате: он просматривает почту на предмет пропущенных важных писем, следит за ценами на авиабилеты и помогает с покупками. В отличие от чат-бота с его пошаговым диалогом, агент проактивен и сам пишет первым, когда видит возможность помочь. Переписка обычно хранится в одной ветке, похожей на групповой чат, а многие задачи агенты выполняют, управляя виртуальным браузером, по сути, собственным компьютером для выхода в интернет.

Тест первый, утренний брифинг. Автор отправил каждому агенту подробный запрос с описанием своих тем в WIRED и просил потратить 30 минут на глубокое исследование, чтобы подготовить заявку на материал для встречи отдела Gear. Дольше всего, большую часть отведённого времени, искали только Muse и Dots; остальные выдали заявку мгновенно или через пару минут поисков. Это, по мнению автора, говорит о том, что в этот раз Muse и Dots лучше следовали инструкции. Лучший ракурс предложил Gemini Spark: сравнить, как Walmart открыл свою торговую платформу для сторонних агентов, а Amazon недавно выставил Muse за дверь. Коллеги, впрочем, не сильно беспокоились, что их опередит агент, и заявки в целом приняли прохладно.

Тест второй, обед. Автор поручил выбор еды агентам и пообещал заказать у того, кто справится лучше. Чтобы усложнить задачу, в заказ добавили начальника, который веган и хотел вьетнамскую кухню, а сам автор хотел мясное и побольше кофеина; точка должна была быть рядом с офисом WIRED, чтобы забрать заказ пешком. Все агенты выбрали похожие места, DragonEats или Freshroll; команда остановилась на DragonEats как чуть более вкусном и дешёвом. Корзины Instinct и Claude Duet оказались чуть дороже остальных. По-настоящему провалился только Gemini Spark: он добавил для босса единственный ролл за $5, скорее закуску, чем обед. В тексте приведены ответы агентов с итогами корзин: $30,57, $42,66, $43,40, $49,25, $53,73 и $22,55 (самовывоз) без налогов и сборов, но без указания, какому агенту принадлежит какой.

Тест третий, конфликт в расписании. Автор заранее создал в Google Calendar событие на 14:00, важную встречу с источником, которую нельзя переносить, и отправил себе с рабочей почты на личную письмо с вымышленной историей: мама выписывается из больницы, и в 14:00 нужно ей позвонить. Требовалось прочитать письмо и календарь, заметить пересечение и написать заранее с вариантами. Справились только два бота, меньше, чем ожидал автор. Какие именно, в доступной части текста не названо. Остальные агенты, судя по приведённым ответам, признавали, что не сверили письмо-напоминание с календарём, и предлагали делать такую проверку каждое утро.

Четвёртый тест, план отпуска: автор признаётся, что любит самостоятельно искать маршруты и билеты и не хочет автоматизировать это полностью. На этом доступная часть материала обрывается: описание пятого теста, баллы агентов, победитель и обладатель приза «самый раздражающий» в ней не приведены.

Ключевые факты

Репортёр WIRED установил на iPhone шесть всегда включённых агентов, Muse (Meta), Dots (OpenAI), Instinct, Claude Duet (Anthropic), Gemini Spark (Google) и Grok Bot (xAI), и за 24 часа провёл пять тестов с оценкой каждой попытки от 1 до 5.
Цены: Muse и Instinct бесплатны (для Instinct нужен код-приглашение), Dots, $100 в месяц, Grok Bot, $30, Gemini Spark и Claude Duet, по $20 в месяц.
В утреннем брифинге из 30 минут заданного времени большую часть исследовали только Muse и Dots; лучший ракурс заявки предложил Gemini Spark.
В обеденном тесте по-настоящему провалился только Gemini Spark, добавив боссу один ролл за $5; корзины Instinct и Claude Duet вышли чуть дороже остальных.
Конфликт между письмом и событием календаря заметили и написали заранее лишь два агента из шести, меньше, чем ожидал автор.

Почему это важно

Автор считает, что за год постоянно работающие агенты стали заметно надёжнее: они лучше доводят задачи до конца и управляют браузером, хотя всё ещё ошибаются. Поэтому такие продукты выходят за пределы круга энтузиастов, а крупные компании спешат выпустить собственные версии. Тест нетехнического обозревателя на реальных бытовых задачах, брифинг, обед, расписание, показывает, чем агенты отличаются на практике, а не по рекламным обещаниям.

Кому это важно

Тем, кто выбирает первого личного ИИ-агента и не понимает, с какого начать: цены различаются от нуля до $100 в месяц, а форматы, от приложения до переписки в текстовых сообщениях. Также читателям, которых интересует проактивность, способность агента самому напомнить и предупредить, а не только ответить на запрос.

Как это применить

Цены из теста: Muse бесплатен, Instinct бесплатен по коду-приглашению и работает через текстовые сообщения, Gemini Spark и Claude Duet по $20 в месяц, Grok Bot $30, Dots $100 в месяц внутри ChatGPT. Claude Duet на момент тестов был исследовательской версией по листу ожидания. Идея автора для самопроверки: заранее создайте событие в календаре и письмо с конфликтным временем и посмотрите, заметит ли агент пересечение и предупредит ли заранее. Для брифингов явно задавайте время и глубину исследования, и сверяйте, действительно ли агент работал заданное время.

Можно ли доверять

Это личный практический тест одного обозревателя, а не стандартизованный бенчмарк: пять заданий, оценки от 1 до 5 и 24 часа. Сам автор подчёркивает, что тесты, лишь малая часть возможностей агентов, что результаты улучшатся по мере передачи данных, и что материал не является рекомендацией. Публикация в доступной части обрывается на четвёртом тесте, поэтому итоговых баллов и победителя здесь нет, а какие именно два агента заметили конфликт в расписании и какому агенту принадлежат приведённые корзины обеда, в тексте не названо.

Риски и подводные камни

Автор прямо предупреждает о проблемах приватности и безопасности: агентам лучше всего работается с личными данными, почтой и календарём, а это требует доверия, которое отпугнёт часть пользователей. Пример, пользователь X, подключивший агентов к банку и рабочему Slack, чей агент выложил сумму на счету на виду у коллег. Сам автор открыл инструментам только личные календарь и почту. Дополнительная оговорка: агенты всё ещё ошибаются, а итоговый результат зависит от конкретного запроса и не гарантирует такого же поведения в других задачах.

«Это не рекомендация ни одного из этих ИИ-агентов.»

— автор материала WIRED

Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.