Альтман, Маск и Хассабис поддержали призыв Амодея к независимому надзору внутри ИИ-лабораторий
Глава OpenAI Сэм Альтман, Илон Маск и бывший CEO DeepMind Демис Хассабис хотя бы отчасти поддержали инициативу главы Anthropic Дарио Амодея: все трое согласны, что ИИ-лабораториям нужен независимый надзор изнутри. Источник не приводит прямых слов кого-либо из троих, показывающих, как именно выразилась их поддержка, формулировка «хотя бы отчасти поддержали» принадлежит самому изданию. Позиция Маска, который годами предупреждает об опасностях ИИ, выглядит ожидаемой; какую должность или организацию он представляет в этой связи, текст не уточняет. Что конкретно должен собой представлять такой независимый надзор, структуру, полномочия, сроки внедрения, источник тоже не раскрывает.
Отдельно Альтман рассказал Fortune, что в этом году OpenAI не станет публичной компанией, и объяснил это заботой о безопасности; внутри компании о таком решении он сообщил ещё в июне (конкретный год источник не называет). Издание предлагает и более приземлённое объяснение: возможно, финансовые показатели OpenAI пока не дотягивают до уровня, нужного для IPO, особенно на фоне Anthropic, и обе причины, безопасность и финансы, могут быть верны одновременно.
Согласны не все. Исследователь Google Пейман Миланфар возразил: рекурсивное самоулучшение (RSI), наивное допущение, потому что обратные связи в такой системе по своей природе нестабильны. Чем упорнее система оптимизирует саму себя, тем глубже она проваливается в собственные слепые зоны, а надёжные подтверждения даёт только реальный мир, а не бенчмарки. Из этого, по мнению Миланфара, следует, что предложенный Амодеем «скоростной лимит» не нужен: «Системы, которые надёжно совершенствуют сами себя, будут управляемыми, демпфированными, медленными и ограниченными запасами прочности, которые выглядят расточительными. Потому что стабильность и есть скоростной лимит».
Ключевые факты
- Сэм Альтман, Илон Маск и бывший CEO DeepMind Демис Хассабис хотя бы отчасти поддержали предложение Дарио Амодея о независимом надзоре внутри ИИ-лабораторий.
- Маск давно предупреждает о рисках ИИ, поэтому его позиция ожидаема; должность или организацию, которую он представляет в этой связи, источник не называет.
- Альтман сообщил Fortune, что OpenAI не выйдет на IPO в этом году из соображений безопасности, решение он озвучил внутри компании ещё в июне.
- Есть и другое объяснение: финансовые показатели OpenAI могут просто не дотягивать до уровня для IPO прямо сейчас, особенно на фоне Anthropic, и обе причины не исключают друг друга.
- Исследователь Google Пейман Миланфар возразил: рекурсивное самоулучшение (RSI), наивное допущение из-за нестабильности обратных связей, поэтому предложенный Амодеем «скоростной лимит» не нужен.
Почему это важно
Сразу несколько заметных фигур ИИ-индустрии, Альтман из OpenAI, Хассабис, ранее возглавлявший DeepMind, и давний критик темпов развития ИИ Маск, хотя бы отчасти поддержали публичную инициативу Амодея из Anthropic о независимом надзоре внутри лабораторий. Это заметный сигнал сближения позиций, даже если источник не приводит ни одной прямой цитаты, показывающей, в чём именно выразилась поддержка. Отдельно Альтман публично увязал решение не выводить OpenAI на биржу в этом году с заботой о безопасности.
Кому это важно
Регуляторам и политикам, которые ищут сигналы о готовности индустрии к саморегулированию, прежде чем писать обязательные правила. Инвесторам и всем, кто следит за возможным IPO OpenAI, заявление Альтмана отодвигает ожидаемые сроки выхода на биржу. Самой Anthropic и Амодею, публичная, пусть и частичная, поддержка со стороны конкурентов повышает вес их инициативы. Исследователям ИИ, которые спорят о реальности угрозы рекурсивного самоулучшения, позиция Миланфара показывает, что скепсис по этому вопросу есть даже внутри Google.
Как это применить
Конкретной инструкции здесь нет: статья не раскрывает, что именно будет означать независимый надзор на практике, нет ни структуры, ни полномочий, ни сроков внедрения. Практический вывод для тех, кто следит за темой, не принимать заявления о поддержке за факт создания надзорного органа: пока это только слова руководителей отрасли, и стоит дождаться конкретики, устава, состава наблюдателей, полномочий, прежде чем считать инициативу реализованной. Тем, кто следит за OpenAI, стоит держать в уме обе версии причины паузы с IPO, и безопасность, и финансовые показатели, они не исключают друг друга.
Можно ли доверять
Материал, пересказ The Decoder, в части цитаты Альтмана ссылающийся на Fortune; прямых слов Альтмана, Маска или Хассабиса, показывающих их поддержку тезиса Амодея, в тексте нет, только обобщающая формулировка издания «хотя бы отчасти поддержали». Источник не называет год, когда именно «в июне» Альтман сообщил о решении по IPO, не указывает площадку или дату возражения Миланфара и не называет документ или выступление, где Амодей сформулировал «скоростной лимит». Это не повод сомневаться в самом факте истории, но повод не додумывать за источник детали, которых он не приводит.
Риски и подводные камни
Заявления о поддержке независимого надзора остаются словами, пока не оформлены в структуры с реальными полномочиями, в условиях конкурентной гонки между лабораториями это легко превращается в жест для прессы, а не в действующее ограничение. Объяснять паузу с IPO исключительно заботой о безопасности удобно для имиджа OpenAI, но та же статья сразу предлагает менее выигрышную для компании версию, слабые финансовые показатели, и со стороны проверить ни одну из причин нельзя. Наконец, возражение Миланфара напоминает: тезис о необходимости «скоростного лимита» для ИИ остаётся предметом спора даже среди специалистов, а не общепризнанным фактом, из которого можно исходить как из данности.
«Системы, которые надёжно совершенствуют сами себя, будут управляемыми, демпфированными, медленными и ограниченными запасами прочности, которые выглядят расточительными. Потому что стабильность и есть скоростной лимит.»
— Пейман Миланфар, исследователь Google