Terence Tao предупредил: дешёвый ИИ-перебор грозит вернуть математику к секретности

На MathOverflow появился вопрос о том, как не допустить возврата математики к культуре секретности времён Средневековья. Автор напоминает: в Средние века знание метода было личным капиталом математика, а не общим достоянием. Scipione del Ferro открыл около 1510 года способ решать неполные кубические уравнения, но держал его в секрете 20 лет, потому что это давало ему профессиональную защищённость, и раскрыл метод только ученику на смертном одре. Похожая логика сработала и в споре Лейбница с Ньютоном: Лейбниц пожаловался в Королевское общество, что Ньютон присвоил его подход, просто сменив обозначения; комиссия общества (которое на тот момент возглавлял сам Ньютон) признала Ньютона единственным автором исчисления.

По мнению автора поста, этот социальный контракт, публиковать, а не прятать результаты, начал разрушаться с приходом крупных ИИ-компаний, которые берутся за известные проблемы ради пиара. Теоремы подешевели: люди с достаточными техническими навыками способны с помощью языковых моделей получать в целом верные доказательства для многих задач, включая нерешённые прежде, и даже получать от моделей полную формализацию доказательства в системе Lean. Кто-то уже назвал происходящее «падением экономики доказательств». Отдельная проблема, что делать с такими сгенерированными ИИ Lean-формализациями, которые ни один человек не в состоянии понять целиком, и с сомнениями в надёжности самого Lean. Но главный тезис поста в другом: у кого хватает денег на вычисления, тот может «натравить» на слух о скором решении известной проблемы целый рой языковых моделей и получить формальное доказательство раньше остальных, а такие вычислительные мощности по карману только компаниям с большим капиталом, а не отдельным исследователям.

В пример приводится недавний заявленный контрпример к уравнениям Навье, Стокса (сам контрпример и его авторы в посте не называются): по оценке Capital&Compute вычисления обошлись примерно в 6,5 млн долларов, по оценке TensorFeed, в 10, 15 млн долларов с учётом расходов помимо самих токенов, а по оценке Business Insider, в 10, 40 млн долларов в целом. Автор поста заключает: профессиональным математикам теперь приходится думать, что вводить в языковую модель и как публиковать результат, ведь возможность потратить миллионы долларов, чтобы первым получить формальное доказательство, есть только у компаний с большим капиталом.

Эту же тревогу на Mastodon выразил математик Terence Tao: по его словам, дефицитным и ценным ресурсом стала теперь не сама способность решить задачу, а умение распознать перспективную проблему. Даже слух о том, что кто-то работает над задачей, может спровоцировать массированный ИИ-штурм, который «выжмет» её раньше, чем оригинальный исследовательский проект успеет раскрыть свой потенциал полностью. По мнению Tao, стимулы теперь могут склонять исследователей вовсе перестать делиться перспективными направлениями с сообществом, что отменит многовековую традицию открытой науки и нанесёт долгосрочный ущерб всей области.

Автор поста предлагает два способа смягчить проблему. Первый, признавать автором результата только человека или группу людей: если за результатом нельзя с уверенностью назвать человека, его не следует засчитывать как решение с указанием автора; аналогия, норма авторского права США, по которой зарегистрировать можно только произведение, созданное человеком (в посте приводится пример: фотографии животных, включая случайные «селфи», авторским правом не защищены и переходят в общественное достояние). Второй способ, требовать публикации полной методологии получения результата: для роя языковых моделей это означает публикацию системных промптов и настройки агентной системы целиком, а поскольку такие настройки обычно охраняются как коммерческая тайна, это должно снижать стимул крупных ИИ-компаний присваивать себе авторство решения, полученного по слуху о задаче. Автор сравнивает это с тем, как современный сбор продуктовых пожертвований принимает не любые технически съедобные продукты, а только те, что соответствуют явно оговорённым стандартам, то есть предлагает установить подобные стандарты и для «сырых» ИИ-решений без анализа хода рассуждения.

Ключевые факты

Автор поста на MathOverflow проводит параллель между современным ИИ-перебором задач и средневековой культурой секретности в математике, когда математики скрывали методы ради заработка и статуса.
Компании с большим капиталом могут потратить миллионы долларов на вычисления, чтобы обогнать исследователей-людей и первыми получить формальное доказательство известной проблемы.
Оценки стоимости вычислений для недавнего заявленного контрпримера к уравнениям Навье, Стокса разошлись в разы: от ~6,5 млн долларов (Capital&Compute) до 10, 40 млн долларов (Business Insider).
Terence Tao на Mastodon предупредил, что дефицитным ресурсом стало не решение задачи, а её выявление как перспективной, и что даже слух о работе над проблемой провоцирует массированный ИИ-штурм.
Автор поста предлагает два ограничителя: признавать авторство только за людьми (по аналогии с нормой авторского права США) и требовать публикации полной методологии, включая системные промпты и настройку агентов.

Почему это важно

Пост описывает смену стимулов в математическом сообществе: столетиями результаты полагалось публиковать, а не прятать, но появление компаний, способных дёшево (по историческим меркам крупного капитала) забросать известную проблему ИИ-перебором ради пиара, может вернуть логику «кто первым получил формальный ответ, тот и получил признание». По мнению Terence Tao, это меняет саму суть дефицитного ресурса в науке: раньше им была способность решить задачу, теперь, способность вовремя опознать перспективную проблему, пока о ней не узнали конкуренты с большими вычислительными мощностями.

Кому это важно

В первую очередь, профессиональным математикам, которые работают над известными открытыми проблемами (в том числе премиальными, как задачи Тысячелетия) и теперь вынуждены думать, что вводить в языковую модель и когда публиковать промежуточные результаты. Также это касается компаний, развивающих ИИ-агентов для формальных доказательств, и организаторов премий и грантов, которым, по мысли автора поста, придётся пересматривать правила присуждения авторства.

Как это применить

Автор поста предлагает две меры. Первая, засчитывать результат только за человеком или группой людей, а не за системой, если за результатом нельзя однозначно назвать человека-автора; в качестве аналогии приводится норма авторского права США, по которой зарегистрировать можно только произведение, созданное человеком. Вторая, требовать публикации полной методологии получения результата: для ИИ-роя это системные промпты и настройка агентной системы целиком, что снижает стимул компаний скрывать эти детали как коммерческую тайну ради присвоения авторства.

Можно ли доверять

Это личное мнение и предложение одного автора на MathOverflow, а не решение сообщества или официальная позиция какой-либо организации; кто именно автор поста, в тексте не указано. Опора на авторитетное мнение, цитаты Terence Tao с его страницы на Mastodon, точная дата которых в посте не приведена. Оценки стоимости вычислений для заявленного контрпримера к уравнениям Навье, Стокса дают три источника (Capital&Compute, TensorFeed, Business Insider) с разбросом от ~6,5 до 40 млн долларов и без указания методологии подсчёта, к этим цифрам стоит относиться как к грубым прикидкам, а не точным данным.

Риски и подводные камни

Главный риск, который описывает пост, возврат к средневековой модели секретности, когда исследователи из страха потерять приоритет вовсе перестают делиться перспективными направлениями с коллегами, что, по словам Terence Tao, отменило бы многовековую традицию открытой науки. Отдельная проблема, доверие к самим ИИ-доказательствам: часть таких Lean-формализаций не способен понять целиком ни один человек, и пост упоминает сомнения в надёжности самой системы Lean. Наконец, заявленный контрпример к уравнениям Навье, Стокса, на который ссылается пост, сам по себе не назван и не привязан к конкретному автору или компании, это иллюстрация проблемы, а не подтверждённый математический результат.

«Дефицитным и ценным ресурсом стала теперь именно идентификация перспективной проблемы.»

— Terence Tao, Mastodon