ИИтог

Import AI 476: тест Humanity's Sixth Sense, TasteVal, Beam и Mistral Large 4

исследованияРедакция ИИтогImport AI🔥49Рейтинг ИИтог49Влияние35Новизна40Релевантность95Неожиданность35Участники35Достоверность55
Import AI 476: тест Humanity's Sixth Sense, TasteVal, Beam и Mistral Large 4

Import AI 476, выпуск рассылки об ИИ-исследованиях, в котором несколько отдельных сюжетов.

Первый, бенчмарк Humanity's Sixth Sense (HSS) от стартапов Elorian и Scale AI. Он проверяет, как модель интерпретирует и обосновывает информацию, которую сцена подразумевает, но явно не показывает: например, поместятся ли ещё книги на полку на фото или выдерживают ли цепи вес сопротивления плуга, который тянут лошади. В HSS 522 вопроса к 288 изображениям и 234 коротким видеороликам (суммарно 17,6 часа видео). Вопросы делятся на четыре категории: временная и причинная динамика, физическая и пространственная логика, социальное понимание, абстрактный и контекстный вывод. Люди набирают совокупный pass@1 93,1 (изображения 94,1, видео 91,9, время 97, пространство 94,9). Лучшая система, GPT 6 Astra, получает 53,6 (изображения 55,6, видео 51,1, время 58,2, пространство 53,6). Китайские открытые модели заметно слабее: GLM-5.3-flash, 26,8, Kimi K3, 25,5. Самые частые одиночные ошибки по словам авторов бенчмарка: пропуск детали, решающей для ответа (21% ошибок), и неверное опознание объекта, человека или роли (20%). Автор рассылки считает, что то, насколько хорошо GPT и Claude справляются с HSS, аргумент против тезиса о том, что настоящему визуальному рассуждению нужны пространственные 2D/3D-модели мира.

Второй сюжет, статья в AI Frontiers о том, что гонка ИИ выйдет в космос. Автор рассылки пересказывает: в 2030-х ожидается бум космической экономики (космические энергетика, вычисления и производство) благодаря возросшей грузоподъёмности вывода на орбиту, например у Starship. ИИ может помочь так: космические аппараты смогут работать автономно; их можно проектировать в расчёте на ИИ вместо людей (осколок, способный фатально пробить МКС, может почти не повредить беспилотный негерметичный аппарат); космическая сборка и затем производство позволят ИИ строить крупные сложные объекты. Первопроходцы, по версии статьи, могут получить накапливающееся преимущество: промышленный маховик (инфраструктура даёт больше энергии и производственных мощностей по меньшей цене), возможность закрыть доступ в космос другим и самовоспроизводящиеся зонды для дальнего космоса. Автор рассылки согласен и ожидает, что тема из академической скоро станет практической.

Третий, TasteVal от P-Zero Research. Бенчмарк определяет исследовательский вкус как умение выбирать интересные задачи, планировать эксперименты и интерпретировать результаты, и измеряет экспериментальную часть: в 8 задачах, типичных для разработки передового ИИ (подготовка данных для предобучения, предобучение и дообучение языковых моделей, моделирование предпочтений, устойчивость к враждебным запросам), модель итеративно ставит эксперименты и делает выводы. Базовый уровень задали 24 эксперта (не менее двух на задачу) из организаций вроде OpenAI, Google DeepMind, NVIDIA и Microsoft Research. Результат: экспериментальный исследовательский вкус передовых моделей удваивается каждые 3,0 месяца с декабря 2025 года (95% ДИ 1,7-5,0 месяца). Лучшая модель, Opus 5.5, значимо превосходит людей с множителем вычислений 2,30x (95% ДИ 1,15-4,37x) при стоимости попытки примерно 1/30 от средней у экспертов. Автор рассылки теперь считает более вероятным, что полное рекурсивное самоулучшение (RSI) станет возможным в 2027 году, а не в 2028-м, как он думал раньше.

Четвёртый, Beam от стартапа Reflection: MoE-модель на 501 млрд параметров (23 млрд активных). Её продвигают за экономию токенов, но по тестам она отстаёт от передовых моделей китайских компаний Zhipu (GLM), Moonshot (Kimi) и DeepSeek. Предобучение шло на 6144 GPU GB300 NVL72 четыре недели на 23,8 трлн токенов, затем обучение с подкреплением, примерно на 10,5 тыс. таких GPU ещё четыре недели; для него собрали миллион сред для программирования, агентных задач и STEM. Результаты Beam против GLM-5.3: DeepSWE 1.1, 44,4 против 61; GPQA Diamond, 90,5 против 91,7; MCP Atlas, 78,7 против 84,2. По заявлению Reflection, на сложных тестах рассуждения Beam даёт результат, сопоставимый с GLM-5.2, при в 3-4 раза меньших затратах вычислений на вывод. В начале октября компания написала, что опубликует веса, технический отчёт и карточку модели позднее в этом месяце. Автор рассылки видит в этом шанс для США вернуться на фронтир открытых моделей: если не считать небольших моделей Gemma от Google, США с него выпали, поскольку Meta перестала выпускать хорошие модели LLaMA.

Пятый, Mistral Large 4 (ML4) от Mistral, которую автор рассылки называет ведущим ИИ-разработчиком Европы. Это модель с открытыми весами, выпуск которой компания планирует к концу месяца; её продают как настроенную на кибербезопасность и с меньшим числом отказов, чем у проприетарных моделей Anthropic и OpenAI. Обучена на 3800 GPU NVIDIA Grace Blackwell в европейских дата-центрах Mistral. Примеры результатов: DeepSWE 1.1 (Artificial Analysis), 62 против 68 у Kimi K3 и 61 у GLM-5.3; Terminal-Bench 4.0, 28,3 против 41,9 у GLM-5.3; Finance Agent V2, 54,7 против 55,8. Во внутреннем тесте предпочтений ML4 выбирали чаще GLM-5.3 в задачах CAD и STEM и примерно на равных в финансах и программировании. Автору рассылки кажется, что это будет сильнейшая западная модель с открытыми весами на момент выхода, но слабее китайских.

Ключевые факты

  • В бенчмарке HSS (Elorian и Scale AI; 522 вопроса, 288 изображений, 234 видеоролика) люди набирают pass@1 93,1, лучшая нейросеть GPT 6 Astra, 53,6, GLM-5.3-flash, 26,8, Kimi K3, 25,5.
  • По TasteVal (P-Zero Research) исследовательский вкус передовых моделей удваивается каждые 3,0 месяца с декабря 2025 года; Opus 5.5 превосходит экспертов-людей с множителем вычислений 2,30x при примерно 1/30 стоимости попытки. Автор рассылки сдвинул прогноз полного RSI на 2027 год.
  • Reflection показала Beam (501 млрд параметров, 23 млрд активных): в тестах она уступает GLM-5.3 (например, DeepSWE 1.1, 44,4 против 61), но заявлена как экономная по токенам; веса компания обещала позднее в октябре.
  • Mistral анонсировала Mistral Large 4 с открытыми весами, настроенную на задачи кибербезопасности; выпуск планируется к концу месяца, по тестам модель слабее китайских (Terminal-Bench 4.0, 28,3 против 41,9 у GLM-5.3).
  • Статья AI Frontiers в пересказе рассылки: ИИ может ускорить промышленное освоение космоса в 2030-х и дать первопроходцам накапливающееся преимущество.

Почему это важно

Выпуск собирает несколько срезов состояния ИИ на октябрь: визуальное рассуждение остаётся слабым местом (лучшая система набирает 53,6 против 93,1 у людей), а в проектировании экспериментов модели, по TasteVal, уже обходят людей-экспертов и быстро улучшаются. Для автора рассылки это повод приблизить оценку полного рекурсивного самоулучшения с 2028 к 2027 году. Параллельно виден расклад по открытым моделям: и американская Beam, и европейская Mistral Large 4 по тестам отстают от китайских GLM и Kimi.

Кому это важно

Исследователям и разработчикам мультимодальных моделей, как новый тест на подразумеваемую в сцене информацию. Тем, кто следит за темой рекурсивного самоулучшения и оценкой скорости прогресса ИИ, данные TasteVal. Командам, выбирающим открытые модели для самостоятельного развёртывания, особенно в задачах кибербезопасности, сведения о Beam и Mistral Large 4. Тем, кого интересует стратегия и политика вокруг ИИ, сценарий про космос.

Как это применить

Напрямую выпуск не инструкция, но из него можно взять ориентиры. Сравнивая модели для задач на понимание сцены, ориентируйтесь на разрыв по HSS: у лучшей системы 53,6 при человеческих 93,1, а у китайских открытых моделей около 26 и 25,5. Если рассматриваете самостоятельное развёртывание, учтите, что веса Beam и Mistral Large 4 пока лишь обещаны (Reflection, позднее в октябре, Mistral, к концу месяца), а Mistral позиционирует ML4 для работы с безопасностью под собственными политиками организации. Условия лицензий и цены в выпуске не приводятся.

Можно ли доверять

Это рассылка с личными оценками автора («это контраргумент», «мне кажется», «я теперь думаю»): цифры по бенчмаркам он берёт из материалов их создателей. Результаты Beam и Mistral Large 4, сведения из анонсов самих компаний, в том числе внутренний тест предпочтений Mistral, и независимой проверки в тексте нет; для DeepSWE 1.1 у Mistral указано, что оценка Artificial Analysis. Выводы про космос, пересказ статьи AI Frontiers с осторожными формулировками «может», «возможно». Последний пункт выпуска в пересказ не вошёл.

Риски и подводные камни

Не складывайте числа без оговорок: для Beam оценки по трём тестам даны в сравнении с GLM-5.3, а утверждение об экономии вычислений в 3-4 раза, в сравнении с GLM-5.2, другой версией. Обе открытые модели пока не выпущены, обещание Reflection относится к началу октября, у Mistral срок «к концу месяца». Прогноз про RSI в 2027 году, субъективная оценка автора рассылки, а не результат бенчмарка. Сценарий доминирования в космосе в статье описан как возможный, без точных сроков кроме 2030-х для бума космической экономики.

«Две самые частые одиночные ошибки: (1) пропуск детали, которая определяет ответ (21% ошибок), и (2) неверное опознание объекта, человека или роли (20%).»

— авторы бенчмарка Humanity's Sixth Sense (Elorian и Scale AI)

Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.