OpenAI опубликовала математические результаты внутренней модели и доказательства в Lean
OpenAI публикует широкий набор новых математических результатов, полученных внутренней передовой моделью. Конкретная модель в тексте не названа, как и отдельные теоремы или решённые задачи: материал описывает порядок публикации, а не сами результаты.
При выборе формата компания опиралась на советы и публичные рекомендации независимой консультативной группы по математике и искусственному интеллекту при Институте перспективных исследований (Institute for Advanced Study), с которой консультировалась. Результаты выложены в репозитории на GitHub вместе с протоколами для пересмотра статей и цитирования. Компания продолжает искать другие площадки, которые ведёт сообщество и которые соответствуют рекомендациям комитета. В будущих выпусках она обещает повышать качество статей: ссылки, математическое изложение и подачу результатов.
В репозиторий входят формализации многих (но не всех) доказательств на Lean, языке программирования, позволяющем проверять математические доказательства на компьютере. Новые формализации компания будет добавлять по мере получения.
Для прозрачности опубликованы и подробности получения результатов: 10 кратких изложений рассуждений модели, оценки затраченных вычислений в пересчёте на использование ChatGPT Pro и статистика по числу задач, которые модель пыталась решить. Средний результат потребовал вычислений, эквивалентных примерно трём часам «размышлений» ChatGPT Pro.
OpenAI также обещает финансировать серию семинаров, конференций и специальных программ по осмыслению крупных результатов, полученных ИИ; подробности обещаны в ближайшее время. Наконец, компания заявляет, что работает над ответственным выпуском модели, давшей эти результаты, чтобы дать учёным передовые возможности. Для этого, по её словам, важно и дальше оценивать внутренние модели на математике и других науках. Дату выпуска модели текст не называет.
Ключевые факты
- OpenAI публикует широкий набор новых математических результатов внутренней передовой модели; модель по имени не названа.
- Результаты лежат в репозитории на GitHub с протоколами для пересмотра статей и цитирования; формат выбран с учётом рекомендаций независимой консультативной группы при Институте перспективных исследований.
- Для многих доказательств есть формализации на Lean, их пообещали пополнять по мере получения.
- В репозитории также 10 кратких изложений рассуждений модели, оценки вычислений в терминах ChatGPT Pro и статистика по числу попыток решить задачи; средний результат занял вычисления, эквивалентные примерно трём часам работы ChatGPT Pro.
- OpenAI обещает финансировать семинары и конференции по крупным результатам ИИ и работает над ответственным выпуском модели.
Почему это важно
Публикация показывает, как крупная лаборатория пытается раскрывать математические результаты ИИ так, чтобы их можно было проверить: через формальные доказательства на Lean, сводки рассуждений и данные о затратах вычислений. Сами результаты в тексте не описаны, поэтому об их научной значимости по этому материалу судить нельзя. Важен именно подход к раскрытию и ориентация на рекомендации независимой группы при Институте перспективных исследований.
Кому это важно
Математикам и тем, кто следит за применением ИИ в науке: в репозитории лежат материалы, на которых можно проверять заявления. Специалистам по формальной верификации интересны формализации на Lean. Разработчикам и исследователям ИИ полезны данные о затратах вычислений в пересчёте на ChatGPT Pro.
Как это применить
Сами результаты и материалы доступны в репозитории на GitHub: там статьи, формализации на Lean, краткие изложения рассуждений, оценки вычислений и статистика попыток. Адрес репозитория в тексте источника не приведён. Информации о том, когда и на каких условиях выйдет модель, в источнике нет: компания лишь говорит, что работает над её ответственным выпуском.
Можно ли доверять
Источник, заявление самой компании на сайте openai.com, а не независимая проверка. В тексте не сказано, прошли ли результаты рецензирование или независимую проверку. Консультативная группа названа источником советов, но текст не утверждает, что она одобрила или проверила именно эти результаты. Часть доказательств формализована на Lean, что даёт возможность машинной проверки, однако не все.
Риски и подводные камни
Формализации есть только для многих доказательств, не для всех. Текст не называет число результатов и число задач, поэтому масштаб оценить трудно; не уточнено и то, среднее или медиана стоят за словами «средний результат». Модель остаётся внутренней и безымянной, сроки её выпуска, а также семинаров и новых формализаций не названы. Часть обещаний относится к будущим релизам.
«Мы хотим, чтобы этот прогресс продвигал границы человеческого знания и способствовал дальнейшему прогрессу в математике.»
— OpenAI, заявление о публикации математических результатов