Математик Дэниел Литт: ИИ уже решает крупные открытые задачи, профессии нужна реформа

Математик Дэниел Литт опубликовал эссе «A beginning for mathematics» (одновременно вышло в его блоге и в издании Proofs and Prompts). Он утверждает: три года назад ИИ-системы не могли надёжно сложить два числа, год назад закрытые модели OpenAI и DeepMind получили результат на уровне золотой медали Международной математической олимпиады (автор не называет ни конкретную модель, ни точный балл, ни год соревнования), а сейчас такие системы, по его словам, самостоятельно решают крупные открытые математические задачи (какие именно, он не уточняет). Ему трудно представить, что этот темп сохранится ещё год, но он ожидает именно этого, и считает, что профессию придётся радикально переосмыслить.

За несколько недель до эссе Литт прочитал доклад «The End of Mathematics». Несмотря на название, доклад был не о том, что ИИ «решит» математику, а о мрачном сценарии: даже если ИИ станет сверхчеловеческим в математике, нынешнее устройство институтов может привести к тому, что человеческое понимание математики, а возможно, и прогресс в ней как таковой, застопорится. Литт считает, что этого сценария удастся избежать, но признаёт, что он вполне вероятен, если академическая математика не адаптируется. Новое эссе - его попытка сформулировать позитивную альтернативу: углублять человеческое понимание математики даже по мере того, как производство новых результатов будет всё меньше зависеть от людей.

Свою цель как сообщества Литт формулирует так: производить и понимать качественную математику и производить качественных математиков. Он указывает, что сообщество долго измеряло это доказанными теоремами, но это неполный критерий: «компьютер или обезьяна» могли бы тривиально перебирать аксиомы ZFC и правила вывода без всякого понимания смысла или перебирать все возможные утверждения по алфавиту, то есть само по себе доказательство теорем и решение открытых задач легко автоматизируется и не может быть целью. Даже если представить очень «умную» машину, которая доказывает результаты, пишет к ним красивые изложения и сама выбирает интересные вопросы, по мнению Литта, она не производит человеческое понимание этих результатов, и именно поэтому людям-математикам, по его мнению, найдётся ещё больше работы, чем раньше, - но профессии придётся измениться.

Литт хочет сохранить: учебные семинары, случайные разговоры, из которых рождаются идеи, студентов, стучащихся в дверь профессора с вопросом, сообщество, которое сообща медленно разбирается в своих затруднениях. Он критикует то, что дискуссия о будущем математики слишком часто сводится к сохранению конкретной формы институтов - журналов и рецензирования, arXiv, роли «привратников», - а не ценностей за ними. По его словам, существующие ИИ-системы уже способны давать результаты приемлемого качества за предельную стоимость в несколько долларов, а любой человек с ноутбуком и суммой в несколько сотен долларов может получить то, что год назад сошло бы за статью уровня журнала Annals. Он советует не гнаться за тем, в чём ИИ пока уступает людям (построение теории, постановка вопросов, изложение), потому что академия адаптируется намного медленнее, чем растут возможности моделей. Проблема, подчёркивает Литт, не в этике конкретных ИИ-лабораторий, а в самой технологии: план не может строиться на допущении, что лаборатории «отвлекутся» от математики, будут национализированы или что лопнет финансовый пузырь.

Центральный практический вопрос эссе - чем теперь должны заниматься аспиранты, если диссертацию можно получить, даже не прочитав её, и текст перестал надёжно сигнализировать о понимании автора. Литт предлагает переосмыслить цель математического PhD: стать признанным экспертом по какой-то глубокой теме и уметь передать это понимание и интерес другим. Диссертация как текст сохранится, но степень будет присуждаться прежде всего по итогам строгой устной защиты, на которой студент объясняет тему экзаменаторам до их полного удовлетворения, а происхождение результатов - при участии ИИ или без него - значения не имеет. Студенты по-прежнему будут работать с научным руководителем над темой (возможно, более открытой и масштабной, чем сейчас), а проверяться будут, например, разбором незнакомого примера на месте.

Литт предлагает реформировать найм и приём в аспирантуру, чтобы вознаграждать именно то, что нельзя автоматизировать: понимание и социально-коммуникативные навыки. Он приводит в пример то, что устойчивый доклад и содержательное обсуждение уже сейчас демонстрируют понимание лучше, чем статья, и предлагает собеседовать поступающих в аспирантуру так же, как сейчас собеседуют кандидатов на профессорские позиции. Он призывает укреплять культуру семинаров, где докладчик обязан убедить аудиторию, что действительно понимает тему. По мнению Литта, сообщество недооценивало собственную функцию - решать, что в математике интересно: нынешняя польза ИИ в математике во многом опирается на массив открытых гипотез, интерес к которым уже подтверждён существованием математиков, которым они небезразличны. Литт считает, что ИИ, скорее всего, будет ставить собственные интересные вопросы и программы исследований, порождая, по его выражению, «изобилие PDF-файлов», но сомневается, что это будут те же вопросы, которые задали бы люди, и считает, что сообщество должно вознаграждаться за то, что выстраивает вокруг таких результатов исследовательские программы и вовлекается в них.

Литт утверждает, что никто не может помешать людям - любителям и профессионалам - «нажимать кнопку» для получения математических результатов, и что пытаться «зарезервировать» задачи для аспирантов нереалистично и нежелательно. По его словам, интерес к математике сейчас выше, чем когда-либо в истории. Математика исторически была самой дешёвой из наук, а теперь часть открытых вопросов можно закрыть, по его формулировке, «за стоимость хорошего ужина» с помощью, как он это называет, «денежного вливания». Коллега Литта Майкл Грёхениг обращает его внимание на то, что напрямую сравнивать стоимость машинного доказательства теоремы со стоимостью человеческого доказательства некорректно, поскольку это, по сути, разные продукты: только работа человека попутно даёт ему самому понимание и экспертизу, которые имеет смысл ценить независимо от самого результата. Литт пишет, что если базовый открытый вопрос решается за стоимость ужина, это повод для радости, а не тревоги, потому что это лишь начало: ответ порождает новые вопросы, часть из которых снова решится дёшево, а часть - вновь соберёт вокруг себя настоящее исследовательское сообщество. Эссе завершается образом, который Литт хочет сохранить: растерянный студент стучится в дверь профессора, они вдвоём, возможно, спрашивают совета у модели, а возможно нет, но «никто не может понять математику за нас».

Ключевые факты

Три года назад ИИ не мог надёжно сложить два числа, год назад закрытые модели OpenAI и DeepMind набрали результат на уровне золота IMO (без названия модели и точного балла), а сейчас, по словам автора, такие системы самостоятельно решают крупные открытые математические задачи.
Математик Дэниел Литт предлагает присуждать степень PhD в первую очередь по итогам строгой устной защиты, где студент объясняет тему экзаменаторам, а происхождение результатов - с помощью ИИ или без - значения не имеет.
Он призывает реформировать найм и приём в аспирантуру: собеседовать поступающих так же, как кандидатов на профессорские позиции, и вознаграждать понимание и умение объяснять, а не только текст статьи.
По его словам, часть базовых открытых вопросов уже можно закрыть «за стоимость хорошего ужина» с помощью ИИ, но это не обесценивает математику: спрос на математиков, способных осмыслить поток новых результатов, по его прогнозу, вырастет.
Литт предупреждает: не стоит пытаться сохранить нынешнее устройство академии - журналы, рецензирование, arXiv, - потому что дело не в этике ИИ-лабораторий, а в самой технологии, и институты не переживут её в неизменном виде.

Почему это важно

Литт описывает резкий скачок возможностей ИИ в математике за три года: от неспособности надёжно складывать числа до результата уровня золота IMO у закрытых моделей OpenAI и DeepMind год назад и, по его утверждению, самостоятельного решения крупных открытых задач сейчас. Эссе - прямой ответ на его же более ранний мрачный доклад «The End of Mathematics» о риске того, что человеческое понимание математики застопорится даже при сверхчеловеческом ИИ; здесь он пытается сформулировать позитивный сценарий вместо этого.

Кому это важно

Практикующим математикам, аспирантам и их научным руководителям, приёмным и кадровым комиссиям математических факультетов, редакциям журналов и организаторам arXiv и семинаров - то есть всем, кто устанавливает, как в математике присуждают степени, нанимают и оценивают исследователей. Шире - любой академической дисциплине, которой предстоит решать тот же вопрос: что останется человеческим, когда ИИ справляется с профильной работой.

Как это применить

Конкретные предложения Литта: присуждать PhD по итогам устной защиты, а не только текста диссертации, независимо от того, использовал ли студент ИИ; собеседовать поступающих в аспирантуру так же, как кандидатов на профессорские позиции; развивать культуру семинаров, где докладчик обязан убедить аудиторию, что понимает тему; не гнаться за тем, что ИИ пока не умеет (изложение, постановка вопросов), а вознаграждать построение исследовательских программ вокруг того, что сообщество считает интересным, включая работу с результатами, полученными с помощью ИИ.

Можно ли доверять

Это эссе-манифест практикующего математика, а не отчёт об исследовании. Ключевые фактические утверждения - результат уровня золота IMO у закрытых моделей OpenAI и DeepMind, самостоятельное решение крупных открытых задач - даны без названий моделей, года соревнования или точного балла. Денежные оценки («несколько долларов», «несколько сотен долларов», «стоимость хорошего ужина») остаются приблизительными оценками, а не измеренными цифрами. Ни один университет, журнал или программа PhD, уже внедривший предложенные реформы, в тексте не назван - это предложение на будущее, а не свершившийся факт.

Риски и подводные камни

Главный риск называет сам Литт: академическая математика может попытаться сохранить нынешнюю форму институтов (журналы, рецензирование, arXiv, роль «привратников») вместо своих ценностей, и тогда человеческое понимание математики застопорится даже при сверхчеловеческом ИИ - ровно тот сценарий из доклада «The End of Mathematics». Текст диссертации перестаёт надёжно сигнализировать о понимании автора, а значит нынешняя система оценки PhD ломается быстрее, чем появляется замена. Сам автор предупреждает: не стоит гнаться за тем, в чём ИИ пока уступает людям, потому что академия меняется намного медленнее моделей. Коллега Литта Майкл Грёхениг добавляет: сравнивать стоимость машинного доказательства с человеческим напрямую нельзя, это разные по сути продукты, поскольку только работа человека попутно даёт ему самому понимание и экспертизу. И наконец, по мысли автора, ценность результата зависит от того, есть ли вокруг него сообщество, которому он небезразличен - это как с гипотезой, которая упала в лесу: если услышать некому, кому какое дело.

«Мы всегда были в начале - и всегда будем.»

— Дэниел Литт, автор эссе