Математики призвали бойкотировать OpenAI после потока доказательств от нейросети

OpenAI опубликовала сразу сотни математических рукописей, написанных нейросетью. В ответ Ассоциация человеческой математики (Association for Human Mathematics, AHM) обвинила компанию в нарушении базовых норм научной работы и призвала математиков прекратить сотрудничество с ней. Ассоциацию возглавляет лауреат Филдсовской премии Теренс Тао: он разместил заявление гостевым постом в своём блоге, а в Mastodon описал эпоху «Математики 2.0», где решение задач перестаёт быть главной целью дисциплины. Специалист по теории сложности Скотт Ааронсон назвал происходящее «Матокалипсисом» (Mathocalypse). Материал основан на пересказе этих публикаций изданием The Decoder.

Заявление AHM обостряет спор, который идёт уже несколько месяцев. Ранее OpenAI заявляла, что её внутренняя модель за один месяц решила более 100 открытых математических задач, включая подход к проблеме Навье, Стокса из списка задач тысячелетия. На растущую критику компания ответила созданием консультативной группы AGMAI при Институте перспективных исследований, но у группы, как отмечает издание, нет права влиять на темп внутренних исследований компании. По версии AHM, OpenAI уже проигнорировала главный посыл рекомендаций AGMAI: сложные математические задачи не следует проверять на внутренних моделях. В заявлении сказано: «Математики не просили делать эту работу», а публикацию более чем 700 файлов разом авторы называют «не демонстрацией учёности, а демонстрацией силы». Во вступительном абзаце упомянуты и многочисленные иски об авторских правах против OpenAI; The Decoder читает это как намёк, что результаты стали возможны только благодаря обучению на трудах математиков, законно или нет. Недавний спор вокруг Навье, Стокса издание связывает с тем же: OpenAI объявила о решении незадолго до того, как двое математиков должны были представить собственное решение с помощью ИИ. Они пользовались ChatGPT, и OpenAI отвергла подозрения, что использовала данные этих диалогов для обучения своей системы и ускорения результата.

Ааронсон противопоставляет подход OpenAI «модели Anthropic». OpenAI выкладывает сырые черновики доказательств одним пакетом, и начинается гонка по их разбору. Anthropic же сотрудничала с двумя исследователями алгоритмов: ИИ-модель дала ключевую идею для опровержения двух гипотез, которым было два десятилетия; исследователям заплатили, и они написали версию доказательства, которую люди могут проследить. У обоих подходов есть изъяны: метод OpenAI заставляет сообщество бесплатно делать неблагодарную работу по превращению доказательств в читаемые, а метод Anthropic позволяет частной компании выбирать, какие математики станут «посланниками» результата.

Тао ранее вместе с 24 другими лауреатами Филдсовской премии, среди которых Петер Шольце, Марына Вязовская и Мартин Хайрер, подписал заявление о «серьёзном рассогласовании» целей ИИ-индустрии и математики. Решение задач, по их словам, лишь инструмент для главной цели, концептуального понимания, а массовое производство решённых задач во всё более быстром темпе может «разрушить плодородную почву вместо того, чтобы вдохнуть жизнь в новые идеи». Подписанты также критиковали поспешные объявления ИИ-решений без нормальных write-up (оформленных текстов доказательств) и без ссылок на предшествующие работы: это порождает «серьёзные вопросы атрибуции и плагиата».

В Mastodon Тао идёт дальше. В традиционной математике доказательство давней открытой задачи влечёт доклады, семинары, новые коллаборации и включение в учебники, привлекает молодых исследователей. Теперь он видит обратное: задачи решают автономно пользователи ИИ, которым не интересна область и которые не понимают результат настолько, чтобы отвечать на вопросы или выступать, поэтому семинаров и сотрудничеств гораздо меньше. Исследователи прячут перспективные направления из страха, что конкуренты «снимут сливки». Ущерб, по Тао, необратим: решённую задачу нельзя сделать нерешённой, а даже знание о существовании решения может «загрязнить» (contaminate) поиск других подходов. Решения «собирают урожай» в масштабе, оставляя целые разделы математики менее плодородными. «Математика 2.0» должна перестать считать решение задач главной мерой прогресса и начать ценить объяснение, построение сообщества и открытие новых направлений исследований, а вместе с этим меняются и критерии оценки обучения, публикаций и карьерного роста. Это развитие идеи Тао об «индустриальной математике» 2024 года, где темп всё ещё задавали люди, а ИИ помогал, как движки шахматистам. Сейчас, считает Тао, роли поменялись: ИИ решает глубокие задачи, а люди потом разбирают результаты. По оценке издания, Тао, как и многие эксперты, заметно недооценил темпы развития ИИ.

Ааронсон показывает, как это выглядит для отдельного исследователя, на примере жены, Даны Мошкович, посвятившей всю карьеру гипотезе уникальных игр (Unique Games Conjecture), открытой проблеме теоретической информатики. В выпущенном пакете есть заявленное доказательство этой гипотезы. В ночь публикации она писала ему: «Такое ощущение, будто это написал человек под психоделиками». Многое в документе было неясно: статья ссылается на множество работ, не объясняя, почему они применимы, хотя прежние результаты, казалось, должны были это исключать. «Статья написана настолько ужасно, что без помощи ИИ её невозможно прочитать», сказала Мошкович; доказательство опирается на совершенно новую странную конструкцию, которую она назвала «какой-то инопланетной дикостью».

Ааронсон перечисляет и другие результаты из теории сложности, теории чисел и алгоритмов, включая частичный прогресс по нескольким оставшимся задачам тысячелетия Математического института Клэя; по его мнению, любой из них в одиночку вошёл бы в число главных результатов года. Заметно отсутствует криптография. Ссылаясь на неназванные источники, Ааронсон сообщает, что ИИ-компании сейчас негласно ищут слабые места в криптографических протоколах и примитивах. Всего, по тем же данным, проверили около 8 000 задач при доле успеха примерно пять процентов и в среднем трёх часах вычислений на уровне GPT-Pro на задачу. Использовалась, вероятно, нынешняя внутренняя модель OpenAI, которая в ближайшие месяцы может стать доступна платным клиентам ChatGPT.

Среди математиков нет единства по поводу бойкота. Часть комментаторов под постом Тао поддерживает его, предлагает исследователям отказаться от продуктов OpenAI и призывает лучше защитить препринт-серверы вроде arXiv от массового сбора обучающих данных. Другие считают позицию AHM нереалистичной: OpenAI не перестанет заниматься математикой, а публичные результаты лучше закрытых. Ещё один комментатор спрашивает, можно ли считать задачу решённой, если ни авторы, ни кто-либо другой не понимает доказательство до конца; в случае Навье, Стокса неясно, углубляет ли результат чьё-либо понимание гидродинамики. Сама AGMAI занимает более дипломатичную позицию, чем AHM: видит в публикации первый шаг, а математическое осмысление результатов только начинается. Но и она предупреждает, что будущее математических исследований не может сводиться к разбору результатов ИИ-лабораторий. Организация пишет: «Математики должны иметь возможность формулировать собственные вопросы, развивать собственные подходы и исследовать направления, не выбранные в качестве примеров возможностей ИИ-системы. Для этой свободы необходимы равный доступ к мощным исследовательским инструментам и достаточные вычислительные ресурсы».

Ключевые факты

Ассоциация человеческой математики (AHM) во главе с Теренсом Тао обвинила OpenAI в нарушении норм науки из-за разовой публикации более 700 файлов с ИИ-доказательствами и призвала математиков прекратить сотрудничество с компанией.
Среди заявленных результатов, доказательство гипотезы уникальных игр и частичный прогресс по нескольким задачам тысячелетия; Дана Мошкович назвала текст настолько плохо написанным, что без помощи ИИ его не прочитать.
Тао считает ущерб необратимым: решённую задачу нельзя сделать нерешённой, а решения «собирают урожай», оставляя разделы математики менее плодородными; «Математика 2.0» должна ценить объяснение и новые направления, а не только решение задач.
Ааронсон противопоставляет OpenAI «модель Anthropic» (оплачиваемое сотрудничество с двумя исследователями и читаемое доказательство); у обоих подходов, по оценке издания, есть изъяны.
Сообщество разделилось: одни поддерживают бойкот, другие называют его нереалистичным; AGMAI при Институте перспективных исследований занимает более мягкую позицию, чем AHM.

Почему это важно

Спор показывает, что поток результатов от ИИ упёрся не в вычисления, а в проверку и понимание: рукописей так много и они так плотно написаны, что даже ведущим специалистам нужна помощь ИИ, чтобы их прочитать. Встаёт вопрос, считать ли задачу решённой до того, как доказательство независимо разобрано и стало понятным людям. Для Тао это вопрос о самой цели математики: решение задач он называет лишь инструментом, а главным считает понимание. Профессиональная ассоциация, которую возглавляет лауреат Филдсовской премии, публично призывает прекратить работу с конкретной ИИ-компанией.

Кому это важно

Прежде всего математикам и теоретикам информатики: от темпа публикаций зависят приоритет, карьера и готовность делиться перспективными идеями (по словам Тао, исследователи уже придерживают направления из страха быть опережёнными). Также редакторам журналов и администраторам препринт-серверов вроде arXiv, о защите которых от массового сбора обучающих данных говорят комментаторы. Интересно всем, кто следит за отношениями ИИ-лабораторий с научным сообществом: в тексте сравниваются подходы OpenAI и Anthropic.

Как это применить

Прямого практического действия у новости нет. Читателю она полезна как ориентир при оценке громких заявлений вида «ИИ решил задачу»: стоит смотреть, есть ли внятная читаемая версия доказательства, независимая проверка и ссылки на прежние работы, именно этого, по критике подписантов, часто не хватает. Те, кто работает с ИИ в исследованиях, могут взять из «модели Anthropic», как её описывает Ааронсон, пример оплачиваемого сотрудничества и человекочитаемого изложения результата.

Можно ли доверять

Это пересказ The Decoder, а не первоисточник: позиции Тао, AHM и Ааронсона изложены через издание. Цифры про около 8 000 проверенных задач, около пяти процентов успеха и в среднем три часа вычислений на задачу, это слова Ааронсона со ссылкой на неназванные источники; какие компании проводили проверки, в тексте не сказано. Подтверждения, что хотя бы одно из 700+ доказательств верно и проверено, в материале нет. Ответ OpenAI на заявление AHM не приведён. Связь заявления с исками об авторских правах, прочтение самого издания, а не прямое утверждение заявления. Точная дата публикации и заявления не названа.

Риски и подводные камни

Число «700 файлов» из цитаты AHM и «сотни рукописей» из вводной части издание не сверяет, поэтому не стоит принимать его за точное число доказательств. Утверждения о том, что модель, вероятно, станет доступна платным клиентам ChatGPT «в ближайшие месяцы», поданы с оговорками («вероятно», «может»). Ожидаемые риски, о которых говорят участники спора: необратимость «объявленной» решённой задачи, ослабление коллективного понимания, утечка идей к конкурентам и несправедливый выбор частной компанией математиков-«посланников». Реалистичность бойкота оспаривается: комментаторы замечают, что OpenAI не перестанет заниматься математикой.

«Математики не просили делать эту работу.»

— из заявления Ассоциации человеческой математики (AHM)