Математики оспорили заявление OpenAI о решении задачи Навье, Стокса
В начале сентября OpenAI представила 166-страничное потенциальное решение задачи Навье, Стокса. Компания заявила, что доказательство следует подходу испанских математиков Диего Кордобы (Diego Córdoba) и Луиса Мартинеса-Сороа (Luis Martínez-Zoroa). По данным Scientific American, на которые ссылается The Decoder, теперь с этим не согласны несколько групп экспертов. Математик Гонсало Као-Лабора (Gonzalo Cao-Labora) из EPFL говорит: «Если вдаваться в детали, это другой подход». Сходство, по его словам, лишь поверхностное.
Доказательство написано на Lean, языке формальной верификации, который проверяет каждый логический шаг, но сам по себе не делает текст читаемым для людей. Математический институт Клэя (CMI) проверяет его с момента публикации. Ещё до публикации математик из NYU Тристан Бакмастер (Tristan Buckmaster) обвинил OpenAI в том, что она опирается на работу, которую он и Левент Алпёж (Levent Alpöge) из Anthropic выполнили с общедоступными моделями. OpenAI это отрицает: по её словам, данные Бакмастера не использовались. Определённый ответ, вероятно, невозможен, поскольку языковые модели, чёрные ящики, считает Камилло Де Леллис (Camillo De Lellis) из Института перспективных исследований (Institute for Advanced Study).
В начале октября OpenAI выложила ещё примерно 400 результатов, за которыми математическое сообщество едва успевает. По оценке The Decoder, публикация их россыпью на GitHub разозлила многих математиков, посчитавших, что это обесценивает их науку.
Есть и вторая претензия: OpenAI, как пишет издание, не до конца понимает и собственную работу. На потенциальное решение бросили много вычислений: около 10 000 экземпляров модели работали примерно 88 часов и израсходовали 130 млрд токенов. По словам исследователя OpenAI Ноама Брауна (Noam Brown), никто на самом деле не знает, что внёс этот огромный рой агентов. Поведение систем такого масштаба не изучено, потому что систематические сравнительные тесты с тысячами агентов слишком дороги. Никто не проверял, сколько времени потребовалось бы одному агенту на ту же задачу, и почти невозможно сказать, какое конкретное преимущество дают 10 000 агентов по сравнению с 1000.
Браун относит к мультиагентной схеме менее 10 процентов успеха. Такие системы новые и эффектные, поэтому им достаётся непропорционально большая доля заслуг, говорит он. Решает же базовая модель, способная долго работать над задачами и запускаться параллельно.
Ключевые факты
- OpenAI в начале сентября представила 166-страничное потенциальное решение задачи Навье, Стокса и заявила, что оно следует подходу Кордобы и Мартинеса-Сороа; несколько групп экспертов, по данным Scientific American, не согласны.
- Гонсало Као-Лабора из EPFL: сходство лишь поверхностное, в деталях подход другой.
- Доказательство написано на Lean; CMI проверяет его с момента публикации, Бакмастер ещё до публикации обвинил OpenAI в использовании наработок с общедоступными моделями, OpenAI это отрицает.
- Для результата задействовали около 10 000 экземпляров модели примерно на 88 часов и 130 млрд токенов; по словам Ноама Брауна, вклад роя агентов неизвестен, а мультиагентной схеме он приписывает менее 10 процентов успеха.
- В начале октября OpenAI выложила ещё примерно 400 результатов россыпью на GitHub, что разозлило многих математиков.
Почему это важно
Задача Навье, Стокса, одна из самых известных нерешённых в математике, и заявление о её потенциальном решении, подготовленном с помощью ИИ-агентов, привлекает внимание. Спор показывает, что при работе ИИ-систем трудно понять, откуда взялся результат: математики сомневаются в заявленной связи с известным подходом, а сам исследователь OpenAI признаёт, что вклад роя агентов неизвестен.
Кому это важно
Математикам и рецензентам, которым предстоит проверять поток результатов; тем, кто следит за применением ИИ-агентов в науке; разработчикам мультиагентных систем, которым важно понимать, что именно даёт масштабирование числа агентов.
Как это применить
Практический вывод для тех, кто строит агентные системы: прежде чем масштабировать число агентов, стоит сравнить результат с одним агентом, иначе непонятно, чем объясняется успех. По словам Брауна, решающую роль играет базовая модель, а не мультиагентная схема. Формальная проверка в Lean подтверждает логические шаги, но сама по себе не делает доказательство понятным людям.
Можно ли доверять
Источник, пересказ The Decoder, который ссылается на репортаж Scientific American; оригинал репортажа не приводится. Названы по именам лишь некоторые критики, остальные группы экспертов не уточняются. Решение везде называется потенциальным: корректность доказательства не установлена, CMI его проверяет. Оценочные формулировки о том, что публикация россыпью «обесценивает» науку и что OpenAI «не понимает» свою работу, принадлежат изданию и математикам, а не являются установленным фактом.
Риски и подводные камни
Определить, использовала ли OpenAI чужие наработки или какой подход реально лежит в основе, по словам Де Леллиса, вероятно, невозможно из-за природы языковых моделей как чёрных ящиков. Объём публикуемых результатов (около 400 только в октябре) создаёт нагрузку на математическое сообщество и вызывает недовольство. Приписывание успеха именно роям агентов может оказаться завышенным: Браун говорит, что такие системы получают непропорциональную долю заслуг.
«Если вдаваться в детали, это другой подход.»
— Гонсало Као-Лабора, математик из EPFL