GPT-5.6 Sol Pro опровергла 30-летнюю гипотезу статистики за 90 минут

Профессор статистики Уортонской школы при Университете Пенсильвании Эдгар Добрибан с помощью ИИ-модели OpenAI GPT-5.6 Sol Pro решил один из центральных открытых вопросов своей области, и, по его словам, сделал это за примерно 90 минут после того, как задача годами не поддавалась людям.

Речь о процедуре Бенджамини-Хохберга (BH), методе 1995 года, который контролирует долю ложных срабатываний (false discovery rate, FDR) при проверке тысяч гипотез одновременно, например при сканировании генома человека на предмет связи генов с болезнями. Оригинальная статья Бенджамини и Хохберга собрала свыше 130 000 цитирований, а сам метод широко применяется в современной статистике и науке в целом.

Авторы метода изначально доказали его надёжность для независимых данных. Но реальные данные часто коррелированы, например, генетические варианты, расположенные рядом в геноме, часто наследуются вместе. Годами эксперты предполагали, что процедура BH останется надёжной и для коррелированных, нормально распределённых данных при проверке отклонений в обе стороны, но строгого доказательства не было.

Добрибан с помощью GPT-5.6 Sol Pro построил статистическую модель, в которой фактическая доля ложных срабатываний доказуемо превышает целевой уровень, тем самым опровергнув предположение. Результат подтверждён симуляциями, препринт и код к нему опубликованы. Сам Добрибан отмечает, что разрыв над целевым уровнем «относительно небольшой (0,104 против 0,1)», поэтому пока результат важен скорее теоретически, практические последствия ещё предстоит изучить, и это не значит, что процедуру BH вообще нельзя использовать.

Главным для статистиков стала скорость: GPT-5.6 Sol Pro справилась примерно за 90 минут, тогда как предшествующая модель GPT-5.5 не смогла найти решение даже после примерно 20 часов работы нескольких агентов. «Прирост возможностей вполне реален. Захватывающее время, чтобы жить», написал Добрибан. Полная переписка с моделью и использованный запрос выложены в открытый доступ.

Статистик из Беркли Уилл Фитьен назвал опровергнутую гипотезу «самой интересной открытой проблемой» в своей области статистики и отметил, что этот результат, ещё один признак того, как возможности ИИ выходят далеко за пределы математики.

При этом, по словам Добрибана, решение скорее скомбинировало уже известные методы, чем предложило принципиально новый подход: сочетание было нестатичным, но сам результат он назвал «не особенно неожиданным», сложность заключалась в том, чтобы правильно связать известные приёмы, и более новая модель с этим справилась. Это оставляет открытым более широкий вопрос: способны ли модели, обученные на человеческих данных, самостоятельно приходить к принципиально новому знанию, или они лишь рекомбинируют выученное. Даже если верно второе, это уже приносит пользу как повседневный инструмент. Но для более амбициозных целей, вроде самосовершенствующегося ИИ, способного к обобщению, по мнению пионера глубокого обучения Ричарда Саттона (недавно основавшего под эту задачу отдельный стартап), может потребоваться нечто большее, чем рекомбинация.

Ключевые факты

Профессор Уортонской школы Эдгар Добрибан с помощью GPT-5.6 Sol Pro опроверг 30-летнее предположение о надёжности процедуры Бенджамини-Хохберга (метод 1995 года с более чем 130 000 цитирований) для коррелированных нормально распределённых данных
GPT-5.6 Sol Pro справилась примерно за 90 минут, а предыдущая модель GPT-5.5 не смогла решить задачу даже за ~20 часов работы нескольких агентов
Фактическая доля ложных срабатываний превышает целевой уровень лишь немного (0,104 против 0,1), результат пока важен теоретически, практические последствия ещё нужно изучить
Препринт, код и полная переписка с моделью опубликованы в открытом доступе
По словам автора, модель скомбинировала известные методы, а не предложила принципиально новый подход, открытым остаётся вопрос, способен ли ИИ на подлинно новое знание или только на рекомбинацию выученного

Почему это важно

Если факт подтвердится, это станет ещё одним примером, когда ИИ-модель решает открытую научную задачу, которая годами не поддавалась специалистам-людям, причём предыдущая версия модели (GPT-5.5) с той же задачей не справилась даже за на порядок больше времени и с несколькими агентами. Для тех, кто следит за прогрессом больших языковых моделей в строгих математических и статистических рассуждениях, это заметный сигнал ускорения возможностей от одной версии модели к следующей.

Кому это важно

Статистикам и специалистам по биоинформатике, которые пользуются процедурой Бенджамини-Хохберга при массовой проверке гипотез (геномика, поиск генов болезней, любые задачи с тысячами одновременных тестов), им стоит знать о найденном ограничении метода. Исследователям ИИ и всем, кто оценивает прогресс моделей в математическом мышлении, как ещё один кейс в копилке подобных примеров. Richard Sutton и сторонникам идеи самосовершенствующегося ИИ, как повод для дискуссии, где заканчивается рекомбинация выученного и начинается подлинно новое рассуждение.

Как это применить

Практических выводов пока немного: сам автор подчёркивает, что разрыв между фактической и целевой долей ложных срабатываний невелик (0,104 против 0,1), и процедуру Бенджамини-Хохберга рано списывать со счетов, нужно дальнейшее изучение практических последствий. Тем, кто хочет проверить или развить результат, доступны препринт, опубликованный код и полная переписка с моделью вместе с использованным запросом, это позволяет воспроизвести ход рассуждений и оценить его самостоятельно.

Можно ли доверять

История опирается на один источник, статью The Decoder, пересказывающую препринт и публичные высказывания одного профессора (Эдгара Добрибана) и одного стороннего комментатора (Уилла Фитьена из Беркли). Название модели «GPT-5.6 Sol Pro» в материале не сопровождается официальным анонсом OpenAI, поэтому сам факт существования и точное имя модели стоит воспринимать с осторожностью до подтверждения из первоисточника OpenAI или независимого научного рецензирования препринта. Публикация кода и переписки с моделью повышает проверяемость, но рецензирования самой работы на момент публикации не было.

Риски и подводные камни

Главный риск, переоценка значимости: сам автор указывает, что найденный разрыв мал и практических последствий для большинства применений процедуры Бенджамини-Хохберга пока не выявлено. Второй риск, принять рекомбинацию известных методов за принципиально новое открытие: по признанию автора, модель скорее удачно связала существующие приёмы, чем изобрела новый. Наконец, эмоциональная реакция комментаторов (сожаление о том, что ключевой результат больше не связан с «человеческим достижением») показывает, что подобные истории быстро обрастают интерпретациями, которые стоит отделять от самого технического факта.

«Ещё один признак того, что возможности ИИ продолжают расти, и последствия этого выйдут далеко за пределы математики»

— Уилл Фитьен, статистик из Беркли