Wired: ИИ-агенты на Codex собрали фэнтези-команду Премьер-лиги, но не обошли среднего

Will Knight, автор рассылки AI Lab на Wired, несколько недель назад запустил «небольшую орду» ИИ-агентов, чтобы они составляли и вели экспериментальный состав в фэнтези-лиге английской Премьер-лиги. Ему хотелось проверить, может ли рой ботов собрать выигрышную команду. Несколько лет назад он уже пробовал инструмент британского Института Тьюринга, который подбирал составы по данным прошлых сезонов. Его советы были «довольно безумными»: инструмент не учитывал реальную информацию вроде травмы игрока или смены тренера.

На этот раз, летя в самолёте к родным, автор попросил о помощи Codex. Сначала он дал модели пару научных статей, затем попросил построить «обвязку» (harness): инструкции и код, которые проводят разных агентов по шагам, проверка свежих новостей и запуск модели для прогнозов. Система быстро собралась и, по словам автора, собирала и анализировала куда больше информации, чем он сам. Но первые рекомендации оказались слабыми: Codex, например, оставил на скамейке Эрлинга Холанна.

Тогда автор попросил создать команду агентов с разными задачами: одни читают новости и блоги, другие анализируют недавние результаты, третьи запускают модели, четвёртые критикуют предложения. Это, по его словам, заметно улучшило рекомендации. Он попробовал довести число агентов больше чем до 100 в надежде сделать систему ещё умнее, но это почти ничего не изменило, кроме растущего счёта за API. И всё же прогресс по сравнению с прежним инструментом он назвал поразительным.

Дальше автор опирается на мнение Haifeng Xu, компьютерного учёного из Чикагского университета, который изучает применение ИИ в рыночных ситуациях. По его словам, новые модели лучше прогнозируют, потому что могут усваивать и анализировать огромные объёмы информации о реальном мире и управлять более сложными системами. «ИИ просто лучше понимает мир, мне кажется, это главная причина, почему они совершенствуются», говорит Xu. В конце прошлого года он и коллеги, заинтересовавшись ростом популярности рынков предсказаний Kalshi и Polymarket, начали проверять прогнозы коммерческих моделей: кто выиграет чемпионат NBA, с кем встретится президент Трамп. Модели порой справлялись лучше среднего человека без особых инструкций. В их тестах лучшим оказался GPT-5, за ним шли Grok 4, Claude Sonnet, Gemini и Llama.

Из этой работы вырос бенчмарк Prophet Arena, измеряющий способность моделей предсказывать. Есть и другие: Prediction Arena (исследователи Harvard University и компании Arcada Labs) выдала передовым моделям $10 000 для ставок на рынках предсказаний на 57 дней. Модели стабильно теряли деньги, но исследователи увидели устойчивое улучшение со временем. По словам Xu, лучше всего ИИ прогнозирует с помощью специально собранной «обвязки», а самым эффективным подходом выглядят агенты с уникальными задачами: чтение новостей, сбор данных, анализ всей системы.

Пока ИИ часто уступает суперпрогнозистам, очень опытным экспертам. Xu объясняет: люди усваивают меньше информации, но глубже понимают динамику реальных событий. Однако, пишет автор, преимущество людей, судя по всему, сокращается: конкурс Metaculus Cup недавно показал, что ИИ иногда может обойти даже лучших людей-прогнозистов, а бенчмарк ForecastBench может дать новые подтверждения, когда скоро завершится идущий конкурс. Автор полагает, что крупные лаборатории обратятся к предсказанию будущего как к новому способу измерять прогресс, и допускает, что отрасли, построенные на торговле, могут быть скоро перевёрнуты ИИ, а лучшие трейдеры станут управлять агентами.

Итог собственного опыта скромнее: рекомендации ИИ пока не впечатляют, команда за прошедшие недели не набрала больше среднего, и автор не станет использовать её советы в своих реальных выборах. Он признаёт, что ИИ, вероятно, улучшится, и надеется, что фэнтези-лигу не станет слишком легко выигрывать, ведь это лишило бы удовольствия побеждать самому.

Ключевые факты

• Автор Wired Will Knight поручил Codex построить «обвязку» и команду агентов (читают новости, анализируют результаты, запускают модели, критикуют) для фэнтези-команды Премьер-лиги.
• Разделение ролей между агентами заметно улучшило рекомендации, а рост числа агентов больше чем до 100 почти ничего не дал, кроме увеличения счёта за API.
• Команда за последние недели не набрала больше среднего, автор не станет пользоваться её советами.
• По словам Haifeng Xu из Чикагского университета, в его тестах на рынках предсказаний лучшим был GPT-5, за ним Grok 4, Claude Sonnet, Gemini и Llama; опытных суперпрогнозистов ИИ пока часто не догоняет.
• В Prediction Arena модели получили $10 000 на 57 дней ставок и стабильно теряли деньги, но со временем улучшались.

Почему это важно

Материал показывает на бытовом примере, как строят системы из нескольких ИИ-агентов и где проходит граница их пользы. По опыту автора, разделение труда между агентами с разными задачами заметно улучшило рекомендации, а простое наращивание числа агентов, нет. Вторая часть рассказывает о растущем направлении оценки моделей: способности предсказывать будущее. Автор ожидает, что крупные лаборатории начнут использовать прогнозирование как способ измерять прогресс, и предполагает, что отрасли, построенные на торговле, могут быть перевёрнуты ИИ.

Кому это важно

Тем, кто проектирует многоагентные системы и «обвязки» для агентов: пример с ролями (чтение новостей, анализ результатов, запуск моделей, критика) конкретен. Интересно исследователям бенчмарков прогнозирования (Prophet Arena, Prediction Arena, ForecastBench, Metaculus Cup) и тем, кто следит за рынками предсказаний вроде Kalshi и Polymarket. Любителям фэнтези-спорта история даёт скромный, но честный результат: пока ИИ не лучше среднего игрока.

Как это применить

Из текста можно вынести несколько практических приёмов. Дать модели релевантные исследовательские статьи и попросить построить «обвязку», которая проверяет свежие новости и запускает прогнозную модель. Затем разделить агентов по задачам: одни читают новости и блоги, другие смотрят недавние результаты, третьи запускают модели, четвёртые критикуют предложения. Слепо увеличивать число агентов (автор дошёл до числа больше 100) смысла мало: качество почти не выросло, а расходы на API выросли. Автор при этом сам не использует советы системы.

Можно ли доверять

Это личный эксперимент в авторской рассылке, а не формальное исследование: рекомендации оценены на глаз, цифр по результатам команды нет, названо лишь то, что она не набрала больше среднего. Версия Codex и модели, на которых работали агенты, не указаны. Утверждения о прогнозировании опираются на слова Haifeng Xu, чьи тесты и рейтинг моделей (GPT-5, Grok 4, Claude Sonnet, Gemini, Llama) пересказаны автором. Результаты Prophet Arena, Metaculus Cup и ForecastBench в цифрах не приведены, потери Prediction Arena тоже не измерены. Прогнозы автора о лабораториях и торговых отраслях, его мнение.

Риски и подводные камни

Автор сам отмечает, что команда агентов пока не обошла среднего, а первые рекомендации были «глупыми». Больше агентов не значит лучше: затраты растут, а качество нет. В экспериментах на рынках предсказаний модели стабильно теряли деньги, пусть и улучшались со временем. По словам Xu, ИИ пока часто уступает суперпрогнозистам, у которых глубже понимание реальных событий. Пример с фэнтези-футболом нельзя прямо переносить на реальные ставки и торговлю.

«Очень быстро мы поняли, что модели справляются очень хорошо.»

— Haifeng Xu, компьютерный учёный из Чикагского университета