ИИтог

StarSkirmish v0.2: GPT-6 Astra лучше всех пишет ботов для StarCraft

исследованияРедакция ИИтогHacker News🔥62Рейтинг ИИтог62Влияние40Новизна55Релевантность95Неожиданность50Участники35Достоверность35

StarSkirmish, бенчмарк, в котором языковые модели пишут ботов для StarCraft: Brood War. Каждой модели даётся один час реального времени, чтобы написать на C++ бота за протоссов (Protoss). Версия Bench v0.2 обновляет v0.1 флагманскими моделями OpenAI, Anthropic, Google и Meta; каждая работает в «родной» командной оболочке своего разработчика (Claude Code 2.1.296, Codex 0.162.1, Antigravity CLI 1.3.5, Muse Code 1.4.7). Оценка модели, средний процент побед (от 0 до 100) пяти её запусков против набора из 13 ботов: 10 сильных ботов, написанных людьми, и 3 демонстрационных.

Результаты. GPT-6 Astra, первая, с заметным отрывом от GPT-6.1 Sol на втором месте. Gemini 4 Argon, Claude Opus 5.5 и Claude Fable 5.1 практически равны, набрав от 37 до 39 баллов. Gemini 4 Argon и Muse Wonder Full, новые флагманы Google и Meta, они заменили Gemini 3.8 Flash и Muse Spark 1.3 из v0.1: Argon занял 3-е место, Muse Wonder Full, 7-е. Gemini 4 Argon работала с уровнем рассуждений high, самым высоким из доступных ей, остальные модели, с max.

Стоимость. GPT-6.1 Sol, единственная модель в самом выгодном квадранте графика «балл против стоимости»: второе место при цене запуска чуть больше десятой части от цены запуска GPT-6 Astra. Абсолютных сумм в долларах в тексте нет; цены Muse Wonder Full оценены по тарифам API Muse Wonder.

До людей ещё далеко. Сильнейшие боты, написанные людьми, по-прежнему заметно впереди всех моделей. Против Stardust, PurpleWave и BananaBrain лучшая модель GPT-6 Astra выигрывает лишь 7% партий. Авторы бенчмарка оговариваются: часовой лимит на рассуждения играет роль, но матчи идут на трёх картах для двух игроков, а реальные условия турниров ботов заметно жёстче.

Поведение моделей. Сильнейший предиктор результата, сколько модель тренировалась против семи самых сильных ботов набора. GPT-6 Astra, GPT-6.1 Sol и Gemini 4 Argon начинают играть с ними рано, когда их собственные боты ещё проигрывают. Muse Wonder Full, Claude Haiku 5.5 и GPT-6 Luna делают это редко или вовсе не делают. Исключение, Claude Fable 5.1: набрала 37, тренируясь почти только против более слабых ботов.

Разброс между запусками. У Gemini 4 Argon он заметно больше, чем у флагманов других лабораторий: разница между лучшим и худшим из пяти запусков, 18 пунктов, против 9 у GPT-6 Astra и 8 у Claude Opus 5.5.

Как устроено. Боты пишутся под BWAPI 4.4.0 и играют на OpenBW, протоссы против протоссов, на трёх картах: Heartbreak Ridge, Benzene и Destination. Партия заканчивается уничтожением всех зданий одной из сторон; при достижении лимита в 60 минут (86 400 кадров) побеждает тот, у кого выше сумма очков за убийства и разрушения (как на лестнице BASIL). Модель стартует со скелета бота, который умеет только добывать ресурсы, получает исходники трёх демо-ботов и две библиотеки (FAP, боевой симулятор, BWEM, анализатор карт), может компилировать бота, играть тренировочные партии и читать отчёты, записи и логи. Финальным ботом считается то, что лежит в папке к концу часа. Поиск и загрузка страниц из интернета отключены, кнопки отправки нет, бота забирает оболочка по истечении времени. Все оболочки сжимают контекст примерно на 250 тыс. токенов.

Что изменилось с v0.1. Рейтинг Elo заменён обычным процентом побед; боты моделей больше не играют друг с другом, а каждый играет с фиксированным набором (по 6 партий на каждой карте). Благодаря этому новую модель можно оценить, не переигрывая остальных, а результаты разных поколений моделей сравнимее. Раньше все модели запускались в одной нейтральной сторонней оболочке с рассуждением high, теперь, в своей оболочке на максимальном уровне.

Связь с другими тестами. Корреляция с индексом интеллекта Artificial Analysis слабая (ρ Спирмена 0,26): GPT-6 Astra по этому индексу лишь делит 4-е место среди девяти моделей. От Terminal-Bench 4.0, за которым результаты в v0.1 следовали близко, бенчмарк отошёл: Claude Sonnet 5.5 и Muse Wonder Full у верха Terminal-Bench 4.0, но у низа здесь. Связь сохраняется с Vals IOI (олимпиадные задачи на C++) и WeirdML (необычные задачи по машинному обучению). Авторы допускают прочтение, что самые популярные тесты стали мишенями для настройки моделей, а менее целевые проверки длинных сложных задач по программированию ещё движутся вместе.

Ключевые факты

  • Каждая модель за 1 час пишет на C++ бота за протоссов для StarCraft: Brood War; оценка, средний процент побед пяти запусков против 13 ботов (10 написанных людьми, 3 демонстрационных).
  • GPT-6 Astra, первая; GPT-6.1 Sol, вторая, при цене запуска чуть больше десятой части от GPT-6 Astra; Gemini 4 Argon, Claude Opus 5.5 и Claude Fable 5.1 набрали 37-39.
  • Против Stardust, PurpleWave и BananaBrain даже GPT-6 Astra выигрывает лишь 7% партий, сильнейшие боты людей далеко впереди.
  • У Gemini 4 Argon разброс между запусками 18 пунктов против 9 у GPT-6 Astra и 8 у Claude Opus 5.5; она работала на high, максимуме для неё, остальные на max.
  • Корреляция с Artificial Analysis Intelligence Index слабая (ρ 0,26): результаты не повторяют самые популярные рейтинги.

Почему это важно

Бенчмарк проверяет длинные агентные задачи: модель должна писать код, играть тренировочные партии и по их итогам улучшать бота в течение часа. Результаты слабо связаны с популярным индексом Artificial Analysis (ρ 0,26) и разошлись с Terminal-Bench 4.0, поэтому тест показывает то, чего не видно в привычных рейтингах. Лучшая модель выигрывает у сильнейших ботов людей лишь 7% партий, так что запас роста большой.

Кому это важно

Тем, кто сравнивает модели для агентного программирования и долгих автономных задач, а также исследователям, следящим за качеством бенчмарков. Заметка полезна и тем, кого интересует соотношение цены и результата: GPT-6.1 Sol даёт второе место за чуть больше десятой части цены запуска GPT-6 Astra.

Как это применить

Напрямую это не инструмент: нужно ориентироваться на сравнение моделей и поведение агентов. Главный наблюдаемый фактор успеха, ранняя тренировка против сильных соперников и использование её итогов; аналогичные циклы обратной связи стоит закладывать и в собственные агентные задачи. Подробные таблицы, графики и описание условий запуска опубликованы на сайте бенчмарка.

Можно ли доверять

Это бенчмарк, опубликованный на собственном сайте; на странице не названы ни авторы, ни организации, ни дата публикации, а результаты не подтверждены внешними источниками. Оговорено, что условия упрощены (три карты на двух игроков, час на рассуждения). Сравнение несколько неравное: Gemini 4 Argon запускалась на high, остальные на max, а WeirdML v3 не охватывает Gemini 4 Argon и Muse Wonder Full. Выводы о настройке моделей под популярные тесты, лишь одно из возможных прочтений, предложенное авторами.

Риски и подводные камни

Оценка основана на пяти запусках каждой модели, а разброс между ними заметен (до 18 пунктов у Gemini 4 Argon), поэтому разницу между 37 и 39 баллами нельзя считать значимой: авторы сами называют эти три модели практически равными. Результат зависит от родной оболочки каждой лаборатории и её настроек, а не только от самой модели. Сильно ограничены условия (протоссы против протоссов, три карты), так что перенос выводов на реальные турниры или другие задачи ненадёжен.

Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.