Исследование MIT: модели OpenAI решают 35% теоретических задач вместо 2% два года назад

Wired в рассылке AI Lab Уилла Найта (Will Knight) пересказывает доклад Нила Томпсона (Neil Thompson) в MIT, который изучает прогресс в вычислительной технике и искусственном интеллекте. Томпсон представил исследование, по которому ряд научных областей может оказаться в положении математики, где ИИ уже автоматизирует значительную часть работы.

Исследование провели Томпсон, аспирант Габриэль Мансо (Gabriel Manso) и научный сотрудник Клаудио Мэйринк Вердун (Claudio Mayrink Verdun). Между серединой 2024 и серединой 2026 года лучшие модели, как следует из работы, выросли с примерно 2% до примерно 35% корректно решённых теоретических задач в изучаемых областях. Это совокупные цифры по всем областям: разбивки по областям в материале нет. В список областей вошли теория вероятностей, теория статистики, экономическая теория, теоретическая физика высоких энергий, гравитация и космология, квантовая физика. По словам Томпсона, «в течение нескольких лет мы ожидаем, что многие теоретические вопросы будут полностью преобразованы с точки зрения способности ИИ с ними справляться».

Методика. Исследователи взяли задачи, сформулированные в научных статьях, опубликованных в интернете с декабря 2025 по май 2026 года, и проверили, смогут ли их решить шесть моделей OpenAI: o1, o3, GPT-5, GPT-5.1, GPT-5.4 и GPT-5.5. Решения этих задач содержались в статьях, вышедших уже после даты окончания обучения GPT-5.5 и предыдущих моделей, поэтому модели должны были находить решения сами, а не воспроизводить ответы из обучающих данных; сами статьи служили эталоном для проверки. Доступ в интернет исследователи заблокировали, чтобы модели не могли искать решения онлайн. Охват ограничен: авторы выбрали области, где ИИ может обойтись без симуляций и экспериментов.

Контекст. В сентябре OpenAI объявила, что неопубликованная модель решила одну из главных задач математики, связанную с уравнениями Навье, Стокса, описывающими движение жидкости. Эпизод вызвал дополнительные споры: математик из Нью-Йоркского университета, работавший с другим учёным, связанным с Anthropic, обвинил OpenAI в том, что она опередила их, узнав об их прогрессе. С тех пор OpenAI и другие объявили о сотнях новых решений давних математических задач, что вызвало в области нечто вроде кризиса; часть математиков призывает ограничить использование ИИ, напоминая, что процесс решения нередко так же полезен, как готовый ответ.

Томпсон ожидает, что в других областях последствия тоже будут и положительными, и отрицательными, как в математике. Он отмечает, что теоретические продвижения иногда приводят к практическим, и допускает, что более широкое использование ИИ приведёт к большему числу таких продвижений. Wired пишет, что некоторые известные исследователи ИИ уже основали лаборатории, занимающиеся ИИ для науки, а крупные лаборатории наращивают научные исследования, в том числе с реальными экспериментами. Исследователи подчёркивают: необходимость в теоретиках как решателях может отпасть, но эксперты нужны, чтобы осмыслять решения и проверять их надёжность. Мансо говорит, что людям по-прежнему нужно придумывать хорошие идеи и связывать точки, а для очень сложных задач ИИ может ошибаться. Автор материала добавляет в скобках, что OpenAI после публикации отозвала несколько решений из своего последнего набора данных.

Ключевые факты

Лучшие модели OpenAI с середины 2024 до середины 2026 года выросли с примерно 2% до примерно 35% решённых теоретических задач (совокупно по изучаемым областям).
Тестировали шесть моделей OpenAI: o1, o3, GPT-5, GPT-5.1, GPT-5.4, GPT-5.5; задачи взяли из статей, опубликованных в интернете с декабря 2025 по май 2026 года, уже после даты окончания обучения моделей, а доступ в интернет был заблокирован.
Следующими после математики могут стать теория вероятностей, теория статистики, экономическая теория, физика высоких энергий, гравитация и космология, квантовая физика.
Исследование охватывает только области, где ИИ может обойтись без симуляций и экспериментов; Мансо предупреждает, что на очень сложных задачах ИИ может ошибаться и нужна проверка решений.
Томпсон: в течение нескольких лет многие теоретические вопросы будут полностью преобразованы с точки зрения способности ИИ их решать.

Почему это важно

Рост с примерно 2% до примерно 35% решённых теоретических задач за два года, при том что решения были опубликованы после даты окончания обучения моделей, указывает на способность моделей самостоятельно выводить решения, а не вспоминать их. Wired на этом основании делает вывод, что потрясения, которые сейчас переживает математика, вероятно, распространятся на другие теоретические области науки. Автор отмечает, что признаков замедления этого прогресса не видно.

Кому это важно

Исследователям-теоретикам в вероятности, статистике, экономической теории, физике высоких энергий, гравитации и космологии и квантовой физике; руководителям научных групп и лабораторий; тем, кто следит за темой «ИИ для науки». Также материал интересен математикам, которые уже столкнулись с потоком объявленных ИИ-решений и спорят об ограничениях на его использование.

Как это применить

Прямых инструкций в материале нет. Практический вывод из слов исследователей: человеку остаются постановка хороших идей, связывание результатов между собой, осмысление решений и проверка их надёжности, а для этого нужны способы верификации того, что сделала модель. Исследователи также связывают с ИИ эксперименты вместе с теоретическим анализом, и этим занимаются новые лаборатории и крупные ИИ-компании.

Можно ли доверять

Материал, рассказ о докладе и исследовании, а не сама работа. В статье не сказано, прошло ли исследование рецензирование и где оно опубликовано, не названо число задач и не даны показатели по отдельным областям: 2% и 35%, совокупные цифры. Тестировали только модели OpenAI, поэтому о моделях других компаний выводов нет. Методика (задачи из статей после даты окончания обучения, без интернета) выглядит осторожной, но выводы вроде «признаков замедления нет» и «ударная волна распространится», это прочтение автора материала, а не результат измерения.

Риски и подводные камни

Мансо предупреждает: модель легко выдаёт «это правильный ответ», а при разборе всего решения оказывается, что это не так; для очень сложных задач ИИ может ошибаться. Автор материала замечает, что OpenAI отозвала несколько решений из своего последнего набора данных после публикации. Исследование ограничено областями, где не нужны симуляции и эксперименты, поэтому переносить цифры на всю науку нельзя. Часть математиков предупреждает, что сам процесс решения задач нередко так же ценен, как готовый ответ. Томпсон допускает как положительные, так и отрицательные последствия.

«В течение нескольких лет мы ожидаем, что многие теоретические вопросы будут полностью преобразованы с точки зрения способности ИИ с ними справляться.»

— Нил Томпсон, исследователь прогресса в вычислениях и ИИ, MIT