Claude Fable 5 против GPT-5.6 Sol: ИИ-агенты сняли клип за $100
Команда сервиса генеративного ИИ TryAI устроила практический баттл двух топовых моделей, Claude Fable 5 и GPT-5.6 Sol. Они собрали агентный стенд из шести инструментов: «план» (только рассуждение, без действия), веб-поиск, проверка остатка бюджета, генерация изображения, генерация видео (через площадку FAL или Replicate, на выбор модели) и локальный запуск команд с доступом к ffmpeg/ffprobe для монтажа. Каждой модели дали одну и ту же песню, «Uptown Funk» Бруно Марса и Марка Ронсона, с текстовой расшифровкой песни с таймкодами, короткое текстовое описание задачи и жёсткий денежный лимит. Дальше модель работала полностью самостоятельно: сама решала, какие модели генерации видео использовать, какие клипы заказывать и как их монтировать.
Всего прогнали четыре теста, обе модели на бюджете $25 и на бюджете $100. Все четыре завершились сами (ни один не упёрся в лимит шагов или времени) и выдали готовый видеоклип с вшитой звуковой дорожкой. На $25 обе модели практически полностью исчерпали лимит. На $100 GPT-5.6 Sol потратил на генерацию $36,57, а Claude Fable 5, $48,60: то есть больший бюджет действительно вылился в больше отснятого материала (от 46 до 80 отдельных клипов за прогон).
Модели выбирали разные подходы. Три из четырёх прогонов пошли по прямому пути «текст в видео». Единственным исключением стал GPT-5.6 Sol на бюджете $25, он сначала сгенерировал статичные изображения, а затем оживил их (связка «изображение в видео»). GPT-5.6 Sol на $100 пошёл ещё дальше и в одном прогоне смешал три разные модели генерации видео; Claude Fable 5 в обоих прогонах держался одной модели.
Отдельно посчитали расходы на саму работу модели-агента (токены), поверх бюджета на генерацию: у Claude Fable 5 (тариф $10/$50 за миллион входных/выходных токенов) это добавило $16,99, 25,05 за прогон, 30-40% итоговой стоимости; у GPT-5.6 Sol (тариф $5/$30) токены обошлись всего в $3-4 при сравнимом объёме, хотя он и работал медленнее. В сумме самым дорогим оказался прогон Claude Fable 5 на $100, $73,65 со всеми токенами, несмотря на то что эта модель финишировала быстрее конкурента.
По итогам авторы отметили: ни один клип не получился действительно хорошим. У всех моделей персонажи и сюжет «плывут» от кадра к кадру, модели слишком буквально трактуют текст песни (строка «Make a dragon wanna retire, man» дала на экране настоящего дракона), а движение в кадре плохо совпадает с темпом музыки, хотя монтажные склейки бьют строго в такт (все прогоны использовали встроенное в ffmpeg определение долей). Самым изобретательным монтажёром оказался GPT-5.6 Sol на $25, он единственный наложил текстовые надписи и видеоэффекты поверх оживлённых стоп-кадров; остальные прогоны просто склеивали сгенерированные клипы подряд. Модели почти не возвращались пересмотреть и улучшить уже готовый монтаж и не тронули запасную площадку Replicate, обе работали только через FAL. Авторы также заключили, что бюджет $100 оказался избыточным: ни одна модель не стремилась потратить его полностью, хотя на эти деньги можно было бы, например, заранее сгенерировать согласованные образы персонажей и анимировать именно их. Весь код агентного стенда выложен в открытый доступ на GitHub (hershalb/music-video-arena), его можно запустить с любой своей песней, бюджетом и парой моделей.
Ключевые факты
- TryAI дал Claude Fable 5 и GPT-5.6 Sol одну и ту же песню («Uptown Funk» Бруно Марса и Марка Ронсона), бюджет $25 или $100 и инструменты, веб-поиск, генерацию изображений/видео через FAL и локальный ffmpeg; каждая модель сама решала, что генерировать и как монтировать.
- Все четыре прогона (2 модели × 2 бюджета) завершились самостоятельно и дали готовый клип с вшитой дорожкой; на бюджете $100 GPT-5.6 Sol потратил на генерацию $36,57, Claude Fable 5, $48,60, произведя от 46 до 80 отдельных клипов за прогон.
- GPT-5.6 Sol на $25 был единственным, кто применил связку «изображение в видео» и добавил текстовые эффекты поверх кадров; на $100 он же смешал три разные видео-модели в одном прогоне, тогда как Claude Fable 5 держался одной модели.
- Расходы на токены самой ИИ-модели добавили $16,99-25,05 за прогон у Claude Fable 5 (30-40% итоговой стоимости, тариф $10/$50 за млн токенов) против $3-4 у GPT-5.6 Sol (тариф $5/$30 за млн); самый дорогой прогон в целом, Fable на $100, обошёлся в $73,65.
- Обе модели ни разу не тронули альтернативную площадку Replicate, плохо попадали в темп видеоряда под музыку и почти не возвращались улучшать уже готовый монтаж; по мнению авторов, бюджет $100 оказался избыточным, модели не стали тратить его полностью.
Почему это важно
Это редкий пример прикладного, а не синтетического бенчмарка агентных возможностей: вместо теста на кодинг или ответы на вопросы модели ставят в условия длинной самостоятельной задачи с реальными деньгами и открытым набором инструментов, им нужно самим спланировать шаги, выбрать внешние сервисы, обработать ошибки и довести дело до результата без подсказок человека. Такие long-horizon агентные сценарии, то, ради чего вообще строят агентные продукты, и это наглядно показывает, где у топовых моделей (Claude Fable 5 и GPT-5.6 Sol) реально расходятся стратегии работы с инструментами, а где обе одинаково буксуют.
Кому это важно
Разработчикам агентных продуктов и мультимодальных пайплайнов, как пример честной методологии сравнения моделей с логированием каждого шага и учётом полной стоимости (генерация плюс токены самой модели, а не только видимая цена по прайс-листу). Полезно и командам, которые оценивают, какую модель ставить «за руль» автономного сценария с бюджетом и внешними API, разница в цене токенов и стиле работы с инструментами напрямую сказывается на итоговом счёте.
Как это применить
Весь агентный стенд выложен в открытый доступ на GitHub (hershalb/music-video-arena), можно взять свою песню, свой бюджет и любую пару моделей и повторить эксперимент самостоятельно, либо переиспользовать саму методику (шесть инструментов, лог каждого вызова, разделение бюджета генерации и стоимости токенов) для бенчмарка других длинных агентных задач за пределами видео.
Можно ли доверять
Это собственный неформальный эксперимент коммерческого сервиса TryAI в его блоге, а не независимое исследование: всего четыре прогона (по два на модель), без повторов и статистической значимости, а выбор моделей генерации и параметров оставался на усмотрение каждой ИИ-модели. При этом авторы опубликовали полные транскрипты всех вызовов инструментов и открыли код стенда, это делает выводы проверяемыми, хотя сама выборка мала и результат стоит воспринимать как иллюстрацию, а не строгий бенчмарк.
Риски и подводные камни
Модели слишком буквально трактуют текст песни (метафора про дракона в тексте дала на экране настоящего дракона), плохо держат согласованность персонажей между кадрами и не попадают движением в темп музыки. Отдельный скрытый риск для тех, кто считает бюджет агента только по видимой цене генерации: реальные расходы на токены самой модели могут добавить ещё 30-40% к счёту, как это произошло с Claude Fable 5. Наконец, модели почти не возвращались перепроверить или улучшить собственный монтаж, самостоятельного самоконтроля результата в длинной творческой задаче агенты пока не проявили.
«Ни один из клипов не получился по-настоящему хорошим, но наблюдать, как модели к этому пришли, было очень интересно, и это ясно показывает, где у топовых моделей всё ещё остаются пробелы.»
— TryAI, авторы эксперимента