Тим О'Райли: крупные ИИ-лаборатории не понимают, чего хотят люди

Wired (рубрика Backchannel Стивена Леви) опубликовал интервью с Тимом О'Райли, издателем, интернет-пионером, венчурным инвестором и организатором конференций. О'Райли много лет измеряет ценность компании, человека или общества по правилу «создавай больше ценности, чем присваиваешь», и теперь прикладывает этот критерий к тому, как индустрия строит и использует ИИ.

Основной тезис О'Райли: крупные лаборатории неверно читают будущее. Они исходят из того, что обладание самой большой и мощной моделью, ключ к успеху, но такие модели оптимизированы под конкретные сценарии использования, которые не обязательно совпадают с тем, что нужно людям. По его словам, важнее всего чёткое разделение между моделью, «харнессом» (инструментальной обвязкой, которая связывает модель с окружением) и приложением, а сейчас индустрия к этому не пришла. Вместо «архитектуры свободы и участия» крупные лаборатории построили «архитектуру контроля», которая позволяет им отслеживать пользователей. О'Райли сравнивает это с поведением Microsoft в 1990-х и опасается, что сегодняшние гиперскейлеры так же пытаются привязать пользователей к своим продуктам.

При этом О'Райли уточняет: когда большинство людей говорят об «открытом ИИ», они имеют в виду только открытые веса нейросети. Ему же важнее открытость всего стека, доступ не только к техническим деталям вроде весов модели, но и контроль над архитектурой в целом, которая должна давать разработчикам и пользователям возможность участвовать в системе, а не просто ей пользоваться.

Он приводит и геополитический довод: крупные модели вроде Claude раньше были лучше почти во всём, а сейчас, лучше в одних задачах и хуже в других. По его словам, люди отмечают, что топовые модели (Fable и Sol) хуже справляются с написанием текстов, чем модели менее высокого уровня; издание в скобках уточняет, что Anthropic и OpenAI с этим бы не согласились. О'Райли предупреждает: США могут выиграть гонку за лидерство во frontier AI (передовых, самых мощных моделях) и всё равно проиграть Китаю, потому что там модели более низкого уровня широко распространены по всему обществу. Задача, по его мнению, дать людям возможность свободно создавать своё, «выходить за рамки».

На вопрос о рисках безопасности открытых моделей (что злоумышленники смогут обходить защитные ограничения) О'Райли отвечает, что все зафиксированные до сих пор киберинциденты и риски вроде разработки патогенов связаны именно с frontier-моделями, а не с открытыми, и это, по его мнению, аргумент за то, чтобы притормозить именно передовые модели, а не ограничивать открытые.

О'Райли не берётся предсказывать будущее, но говорит, что мир движется в желаемом им направлении. Он допускает, что крупные frontier-модели в итоге станут чем-то вроде мейнфреймов или суперкомпьютеров, инструментом для по-настоящему сложных задач, а не тем, что распространится по всему обществу. Он упоминает разработку открытых агентных «харнессов» вроде Pi и проект своей некоммерческой организации AI Disclosures Project, идею «консорциума открытой памяти» (open-memory consortium). По его словам, тезис Марка Цукерберга в том, чтобы привязать пользователей к себе через ИИ Meta, который лучше всех знает пользователя; открытый ИИ должен противостоять этому и дать людям возможность свободно менять модели и провайдеров, сохраняя весь накопленный контекст.

О'Райли также ссылается на свою колонку в The Economist о том, что технологические лидеры вроде Илона Маска обладают такой властью в своих компаниях, что их личные желания, а не рынок, определяют стратегию, и в этом смысле, по его выражению, Кремниевая долина стала «антикапиталистической». Он приводит пример: примерно с 2010 года модель, при которой венчурные инвесторы за счёт миллиардов субсидий выбирали победителя рынка вместо самого рынка, отработали на Uber и Lyft, и это стало шаблоном. В сфере ИИ, по его словам, все деньги стекаются в несколько компаний, но ни одна пока не получила безоговорочного лидерства, потому что сама модель «купить рынок деньгами» неработоспособна, а настоящее движение идёт в open source, как в начале 1990-х, когда все считали, что битва идёт за господство на рынке ПК, а тем временем «из ниоткуда» появился веб, почти не финансировавшийся венчурным капиталом.

Отдельная часть разговора, про собственный бизнес О'Райли, построенный на книгах и обучающем контенте. По его словам, книжный бизнес компании находится в упадке уже 25 лет: на пике выручка составляла около $70 млн в год, сейчас, около $30 млн. По мере падения выручки от книг компании пришлось искать способ вознаграждать людей за то, что они делятся знаниями, это и есть её основной бизнес, а теперь ИИ «пылесосит» весь этот контент. О'Райли говорит, что размышляет, какие инструменты можно построить, чтобы помочь людям монетизировать экспертизу в новых условиях, и что способность обращаться к знаниям экспертов, это своего рода суперспособность.

При этом сам О'Райли говорит, что при редактировании этого интервью он не станет использовать ИИ для сокращения текста и точно не станет доверять ИИ написание вступления, по его словам, это принципиальная политика компании. При этом он считает такой подход «пережитком», который со временем исчезнет, и признаёт, что ИИ как «партнёр по мышлению» при письме, очень мощный инструмент лично для него: он использует ИИ для брейнсторминга и для рутинной работы вроде расшифровки часовых интервью в связный текст, но не для написания текста «за себя».

На вопрос, не боится ли он, что ИИ в итоге вытеснит человеческое письмо, О'Райли отвечает, что ИИ, это в буквальном смысле медиум, такой же, как письменное слово, краска или музыка: разные люди получают из общения или творчества с ИИ разное, как Микеланджело и Ван Гог получали разное из работы с краской. По его мнению, идея о том, что «нельзя писать с помощью ИИ», со временем будет выглядеть так же странно, как в своё время идея о том, что нельзя сделать хороший портрет или пейзаж с помощью фотокамеры; появятся мастера, умеющие выражать свои идеи, «вызывая» нужные слова из языковых моделей. Он сравнивает этот переход с тем, как раньше почти все ездили верхом, а сейчас, почти никто.

Ключевые факты

Тим О'Райли: крупные ИИ-лаборатории гонятся за самой мощной моделью, но это не совпадает с тем, что реально нужно людям, они построили «архитектуру контроля» вместо «архитектуры свободы».
Открытость, по О'Райли, это не только открытые веса модели, а разделение всего стека на модель, харнесс (инструментальную обвязку) и приложение, чтобы пользователи и разработчики могли участвовать, а не просто потреблять.
О'Райли утверждает, что все известные киберинциденты и риски разработки патогенов связаны с frontier-моделями (самыми мощными, передовыми), а не с открытыми, и считает это аргументом за то, чтобы притормозить именно передовые модели.
Геополитический довод: США могут выиграть гонку за самую мощную модель и всё равно проиграть Китаю, если тот шире распространит по обществу модели более низкого уровня.
Собственный книжный бизнес О'Райли упал с $70 млн до $30 млн за 25 лет; сам он использует ИИ для брейнсторминга и расшифровки интервью, но принципиально не отдаёт ИИ написание финального текста.

Почему это важно

О'Райли переворачивает привычную рамку спора об ИИ: вопрос не «какая модель самая мощная», а «какая архитектура даёт пользователю контроль». Он утверждает, что крупные лаборатории строят системы, которые привязывают пользователя и позволяют его отслеживать, по аналогии с тем, как Microsoft в 1990-х пыталась запереть пользователей в своей экосистеме. Если этот тезис верен, конкуренция в ИИ смещается с вопроса «чья модель умнее» на вопрос «чья архитектура открытее», а это меняет, куда стоит смотреть инвесторам, регуляторам и разработчикам.

Кому это важно

Разработчикам и компаниям, которые строят продукты поверх чужих моделей и опасаются зависимости от одного поставщика; пользователям, которых беспокоит слежка и привязка к экосистеме конкретного вендора (пример с Марком Цукербергом и памятью ИИ Meta); политикам и регуляторам, которые формируют политику вокруг открытых и закрытых моделей и оценивают риски безопасности; и самому О'Райли, как главе издательского бизнеса и некоммерческой организации AI Disclosures Project, продвигающей идею открытого ИИ.

Как это применить

Ключевая практическая рекомендация О'Райли, архитектурно разделять модель, харнесс (обвязку, которая связывает модель с окружением и инструментами) и приложение, а не полагаться на монолитную закрытую систему одного вендора. Он ссылается на открытые агентные харнессы вроде Pi и на собственную инициативу «консорциума открытой памяти» (open-memory consortium) при AI Disclosures Project, идею, позволяющую пользователю переключаться между моделями и провайдерами, сохраняя весь накопленный контекст. Сам он использует ИИ прицельно: для брейнсторминга и для превращения расшифровок часовых интервью в связный текст, но не для написания финального текста «за себя», это, по его словам, принципиальная редакционная политика.

Можно ли доверять

Это интервью-мнение, а не исследование: все тезисы, личная позиция Тима О'Райли, авторитетного и давно известного в индустрии человека (издатель O'Reilly Media, ранний идеолог термина «открытый код» и «Web 2.0»), но не подкреплённая в тексте данными, ссылками на источники или цифрами по конкретным киберинцидентам. У него есть и прямой интерес в теме: он руководит некоммерческой организацией, продвигающей открытый ИИ, и его собственный книжный бизнес страдает от того, как крупные ИИ-модели используют контент без прямой компенсации авторам. Само издание (Wired) в тексте прямо уточняет, что с одним из тезисов О'Райли, про то, что топовые модели хуже пишут, чем модели попроще, не согласны компании Anthropic и OpenAI.

Риски и подводные камни

Главный тезис про геополитику («США выиграют гонку и всё равно проиграют Китаю») не подкреплён в тексте ни названием конкретных «моделей более низкого уровня», которые якобы широко распространены в Китае, ни источником данных, это утверждение О'Райли, а не установленный факт. Аналогично не назван и не описан подробно упомянутый открытый харнесс Pi и его авторы, а сроки для «консорциума открытой памяти» не раскрыты. Стоит учитывать и то, что у О'Райли есть личная заинтересованность в успехе открытого ИИ, как у главы связанной некоммерческой организации и как у издателя, чей бизнес страдает от того, как большие модели используют контент.

«Нет-нет, дело в архитектуре системы. Даёт ли она возможность участвовать?»

— Тим О'Райли, интервью Wired

Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.