IEEE Spectrum: специалист по информатике сомневается в сверхинтеллекте

Эссе в IEEE Spectrum начинается с эпизода прошлого лета: исследователь Anthropic Джейкоб Коксон объявил об уходе и предупредил, что его работодатель и OpenAI «мчатся прямо к самоулучшающемуся сверхинтеллекту и играют нашими жизнями». Глава направления alignment science в Anthropic Эван Хубингер ответил: «Джейкоб прав: мы действительно искренне верим, что ИИ может убить всех людей!» Гендиректор Anthropic Дарио Амодеи позже сказал CNN: «Я согласен с Джейкобом гораздо больше, чем не согласен».
Эти страхи, пишет автор, вырастают из давней идеи: как только инженеры создадут ИИ, способный улучшать сам себя, запустится ускоряющийся цикл автономных улучшений, рекурсивное самоулучшение (RSI). Итогом станет искусственный сверхинтеллект (ASI), чьи способности настолько превосходят человеческие, что он выйдет из-под контроля и, возможно, уничтожит человечество. ASI, гораздо более амбициозная цель, чем AGI (ИИ, сопоставимый с человеком в широком круге когнитивных задач). Реакции на эти идеи разные: одни считают, что понятие ASI используют для маркетинга или для регулирования, выгодного действующим лабораториям; другие обсуждают конкретные сценарии вроде созданных ИИ супервирусов; третьи уверены, что согласовать ASI с интересами людей возможно, и торопят его появление. Меньше всего внимания, по словам автора, получает вопрос: возможен ли сверхинтеллект с инженерной точки зрения?
Автор вёл докторский семинар по информатике в Джорджтаунском университете (Вашингтон) и вынес из него несколько возражений против осуществимости ASI, а также более глубокий страх: даже если обещанный «взрыв интеллекта» не случится, погоня за ним способна причинить реальный вред.
Возражение №1: RSI спекулятивно. Идею высказал статистик И. Дж. Гуд в статье 1965 года; в 1990-е её подхватили экстропианцы (футуристическая группа из района залива Сан-Франциско), затем Элиезер Юдковский и Ник Бостром. Сегодня тема перешла из мысленного эксперимента в практическую инженерию: в июньской записи «When AI Builds Itself» Anthropic описала, как агенты на основе больших языковых моделей ускоряют написание, отладку и оптимизацию кода и автоматизируют часть исследований (запуск экспериментов, ведение записей результатов). Внутренние данные, по выводу отчёта, показывают, что ИИ уже ускоряет разработку ИИ. OpenAI в сентябрьском отчёте объявила цель создать автоматизированного исследователя к марту 2028 года.
Но автор называет три препятствия. Первое, данные. До 2023 года прогресс давал рост размера моделей: у GPT-1 было 117 млн параметров, у GPT-2, 1,5 млрд, у GPT-3, 175 млрд, у GPT-4 при выходе три года назад, по всей вероятности, больше триллиона. После GPT-4 дальнейшее масштабирование стало давать убывающую отдачу, и инженеры переключились на дообучение с подкреплением, которому нужны массивы примеров «вход, правильный ответ». Такие наборы относительно легко делать в программировании и математике, что объясняет быстрый прогресс именно там. Это, возможно, объясняет, почему ИИ решает сложные теоремы, но с трудом разбирает почтовый ящик. Автор приводит гипотезу Франсуа Шолле: что, если «рваная граница» возможностей, это в основном математика и код, а всё остальное упрётся в потолок из-за нехватки данных, созданных людьми? Автоматические кодирующие агенты и исследователи на базе LLM, утверждает автор, это ограничение не снимут.
Второе, объём научной работы. Обратное распространение ошибки (backpropagation) возникло не на пустом месте: статья Румельхарта, Хинтона и Уильямса 1986 года опиралась на десятилетия открытий в математике и информатике. «Взрыв интеллекта» потребовал бы длинной цепочки нововведений сопоставимой важности, которые ещё не случились; ИИ-агентам пришлось бы смоделировать, упорядочить и оценить десятилетия мировой научной работы, по словам автора, невероятно амбициозная задача. Недавнее исследование под руководством учёных Принстона показало, что современные ИИ-инструменты с трудом продвигаются самостоятельно даже на жёстко ограниченных исследовательских вопросах: сегодняшние агенты умеют инженерную часть ИИ-исследований, но пасуют в важных частях жизненного цикла исследования.
Третье, ресурсы. Десятки тысяч человеческих мозгов десятилетиями работали с всё более мощными компьютерами, чтобы создать нынешний ИИ. Что если каждый следующий уровень интеллекта потребует вдвое больше ресурсов, чем предыдущий? Тогда не хватит ни чипов, ни дата-центров. Это именно вопрос-допущение, а не измеренная величина. Вывод автора: идея RSI, ведущего к взрыву интеллекта, крайне спекулятивна и опирается на множество недоказанных допущений. RSI нельзя назвать окончательно невозможным, но он заслуживает куда большего технического скепсиса, чем получает; к нему применим афоризм Карла Сагана о том, что экстраординарные утверждения требуют экстраординарных доказательств.
Возражение №2: сверхинтеллект может оказаться невычислимым. В разговорах о ASI неявно предполагается, что компьютеры теоретически способны на любое мыслимое вычисление, если найти достаточно умный алгоритм и достаточно мощные процессоры, а RSI, лишь способ быстро найти такие алгоритмы. Но специалисты по информатике так не думают. В статье «On Computable Numbers» 1937 года Алан Тьюринг доказал, что большинство задач не решается никаким алгоритмом: пространство задач несчётно бесконечно, а пространство алгоритмов, лишь счётно бесконечно. Теория вычислительной сложности добавила, что многие технически решаемые задачи потребовали бы астрономического времени и ресурсов, то есть практически нерешаемы. Нельзя просто считать, что любой фантастический сценарий о мощном ИИ осуществим, если дать машинам достаточно времени на самоулучшение. На этом месте доступный текст обрывается, поэтому остальные возражения и рассуждение о вреде самой погони за ASI здесь не пересказаны.
Ключевые факты
- Автор эссе в IEEE Spectrum, преподаватель докторского семинара по информатике в Джорджтаунском университете; он считает идею «взрыва интеллекта» через рекурсивное самоулучшение крайне спекулятивной, но не называет её окончательно невозможной.
- Возражение №1: данные, объём научной работы и ресурсы. После GPT-4 масштабирование стало давать убывающую отдачу, а дообучение с подкреплением нуждается в наборах «вход, правильный ответ», которые легко делать лишь в коде и математике.
- Исследование под руководством учёных Принстона: современные ИИ-инструменты с трудом самостоятельно продвигаются даже на жёстко ограниченных исследовательских вопросах.
- Возражение №2: по Тьюрингу большинство задач не решается алгоритмами, а многие решаемые требуют астрономических ресурсов, поэтому осуществимость любого сценария о мощном ИИ нельзя принимать как данность.
- Контекст: Anthropic в июне описала, как ИИ ускоряет разработку ИИ, а OpenAI в сентябре объявила цель создать автоматизированного исследователя к марту 2028 года.
Почему это важно
Споры о сверхинтеллекте обычно идут вокруг рисков и этики, а автор переводит их в инженерную плоскость: возможен ли ASI вообще и какие технические препятствия стоят на пути рекурсивного самоулучшения. Повод для разговора дали сами лаборатории: Anthropic пишет, что ИИ уже ускоряет разработку ИИ, а OpenAI объявила цель создать автоматизированного исследователя к марту 2028 года. Автор считает, что ответ на вопрос о возможности ASI помогает соразмерить тревоги и выбрать наиболее подходящие меры.
Кому это важно
Тем, кто следит за дискуссией об экзистенциальных рисках ИИ и за заявлениями лабораторий, а также разработчикам и исследователям, которым важно понимать, где упирается прогресс: в данные, в научные идеи или в вычислительные ресурсы. Полезно и тем, кто принимает решения о регулировании: автор отдельно упоминает мнение, что разговоры об ASI используют для маркетинга или для регулирования в интересах действующих лабораторий.
Как это применить
Это эссе-мнение, а не инструмент или методика, поэтому применять в прямом смысле нечего. Практическая польза, набор вопросов, которые можно задавать к любому заявлению о скором сверхинтеллекте: откуда возьмутся данные для улучшения вне кода и математики, какие научные прорывы для этого нужны и сколько ресурсов потребует каждый следующий уровень. Автор также обозначает три возможных будущего: взрыв интеллекта, опасный ИИ без сверхинтеллекта и полезный ИИ из мощных специализированных инструментов с предсказуемым поведением.
Можно ли доверять
Это авторская позиция, а не новый эксперимент или измерение: выводы принадлежат автору эссе, имя которого в доступном тексте не указано. Часть доводов подкреплена внешними данными (Принстонское исследование, гипотеза Шолле), но они приведены в изложении автора, а гипотеза об удвоении ресурсов на каждый уровень прямо названа вопросом «что если». Число параметров GPT-4 автор сам называет вероятным, а не подтверждённым. Доступный текст обрывается в середине второго возражения, так что полной аргументации мы не видели.
Риски и подводные камни
Автор не утверждает, что сверхинтеллект доказуемо невозможен: он пишет, что RSI не исключён окончательно и заслуживает большего скепсиса. Довод про невычислимость в доступной части лишь намечен общими результатами Тьюринга и теории сложности, а применение их именно к ИИ-системам остаётся рассуждением автора. Сроков появления или непоявления ASI в тексте нет. Кроме того, сам автор признаёт, что даже без взрыва интеллекта погоня за ним может причинить реальный вред, и этот довод здесь не раскрыт.
«Хотя RSI не исключён окончательно, эта идея требует больше технического скептицизма, чем получает сейчас.»
— автор эссе, IEEE Spectrum