Карпати: разрыв в понимании возможностей нейросетей растёт, как воронка

Автор твита (аккаунт karpathy) заново публикует свой апрельский твит и объясняет зачем: разрыв в общем понимании возможностей больших языковых моделей, по его словам, растёт. Раньше это были «две группы людей, говорящие мимо друг друга», теперь это, как он пишет, чёткая воронка из четырёх уровней.

Первый уровень: по его прикидке («napkin math», расчёт на салфетке), около 6 млрд человек (~75% населения) почти не сталкивались с большими языковыми моделями. Второй: 1-2 млрд (~20%), эпизодические пользователи бесплатных версий вроде ChatGPT. Они видят «нелепых чат-ботов» и воспринимают их как более удобный поиск или помощника для письма. Автор отмечает, что у него есть далёкие от технологий друзья, которые, по его мнению, резонно говорят, что им такие системы почти не нужны; к этому уровню он относит и многих профессионалов вне математики и программирования, например руководителей, чья работа, в основном разговоры с людьми: они понимают происходящее умом, но из вторых рук.

Третий уровень: около 20 млн человек (0,2%), профессиональные пользователи передовых моделей в математике и программировании. Они на собственном опыте видят, что большие сложные проекты, которые раньше занимали недели или месяцы, теперь агенты выполняют по запросу: создание приложений, их копирование, перевод, декомпиляция из бинарных файлов. По словам автора, всё это случилось быстро и недавно: меньше года назад он сам писал код вручную.

Четвёртый уровень: примерно 5000 человек (~0,00006%) с внутренним доступом к системам передового уровня. Внешний мир, пишет автор, видел лишь превью: рои из тысяч агентов, неделями совместно работающие над огромными программными проектами, находящие уязвимости нулевого дня, ведущие кибератаки и защиту со скоростью машин, делающие научные открытия и продвигающие математику. При этом человеческая проверка и понимание, как он считает, начинают отставать: люди всё ещё занимаются «археологией» инцидента OpenAI-HF многомесячной давности, а математики, возможно, ещё долго будут разбирать 722 рукописи по передовой математике.

Воронку, по мнению автора, формируют три фактора. Первый, масштаб амбиций: эффект растёт с размером и горизонтом задачи, а вопрос с ответом в абзац систему почти не нагружает; этот фактор задаёт границу между потребительским и профессиональным использованием. Второй, «неровность» (jaggedness) возможностей: они достигают пика в областях цифровых, проверяемых и экономически ценных, потому что способности моделей возникают из обучения с подкреплением на проверяемых наградах в подобранной смеси сред, управляемой потенциальной выручкой; этот фактор в основном задаёт разделение по областям, например математика и программирование. Третий, доступ: бесплатный, платный и внутренний уровни.

Итог автор называет «странностью момента»: широкая публика в основном не взаимодействовала с этими системами, а когда взаимодействовала, видела нелепого чат-бота; большинство профессионалов видят лишь умеренный прирост, а небольшая доля испытывает «головокружение» от того, что кривая уходит вертикально вверх, и всё это происходит одновременно. Первую причину недопонимания он видит в давности и уровне использования: многие, по его мнению, пробовали бесплатную версию ChatGPT в прошлом году и слишком сильно позволили этому опыту сформировать их взгляд на ИИ. На этом месте доступный текст обрывается.

Ключевые факты

Автор утверждает, что разрыв в понимании возможностей больших языковых моделей растёт и превратился из «двух групп, говорящих мимо друг друга» в чёткую воронку.
Прикидки по уровням: ~6 млрд человек (~75%) почти не знакомы с моделями; 1, 2 млрд (~20%), эпизодические пользователи бесплатных версий; ~20 млн (0,2%), профессионалы в математике и программировании; ~5000 (~0,00006%), люди с внутренним доступом к передовым системам.
Три фактора воронки: масштаб задач и амбиций, «неровность» возможностей (пик в цифровых, проверяемых и ценных областях) и уровень доступа (бесплатный, платный, внутренний).
По мнению автора, у профессионалов в математике и программировании крупные проекты, занимавшие недели или месяцы, теперь выполняются агентами по запросу, а человеческая проверка и понимание начинают отставать.
Все цифры названы «расчётом на салфетке» без указания источников и методики; материал, авторское мнение, не исследование.

Почему это важно

Тред описывает ситуацию, в которой разные группы людей по-разному оценивают возможности ИИ, потому что видят разные системы: бесплатный чат-бот и передовой агентный инструмент дают совершенно разный опыт. Автор предлагает простую рамку из четырёх уровней, объясняющую, почему споры об «ИИ» так часто идут мимо друг друга. Рамка, авторская интерпретация, но она называет конкретные причины: масштаб задачи, неровность возможностей и уровень доступа.

Кому это важно

Тем, кто пытается понять, почему коллеги, руководители или знакомые оценивают ИИ совсем иначе, чем они сами. Разработчикам и математикам, которые, по описанию автора, находятся на третьем уровне воронки. Тем, кто принимает решения о внедрении ИИ и опирается на собственный опыт общения с бесплатными версиями: автор считает, что такой опыт сильно искажает картину.

Как это применить

Практический вывод, следующий из текста автора, проверять, на каком уровне доступа и давности основаны ваши собственные представления о возможностях ИИ. Опыт с бесплатной версией годичной давности, по мысли автора, плохо отражает то, что делают передовые модели в проверяемых областях вроде программирования и математики. Спорить об «ИИ вообще» полезнее, уточнив, о каких системах, каких задачах и каком масштабе идёт речь. Готовых инструкций или инструментов в тексте нет.

Можно ли доверять

Это авторское мнение в тред-формате, а не исследование. Все цифры по уровням воронки автор называет прикидками («napkin math»), источники и методика не указаны. Утверждения о внутренних системах передового уровня и о числе людей с доступом к ним ничем не подкреплены в тексте: компании и системы не названы. Инцидент OpenAI-HF упомянут без объяснений, происхождение 722 рукописей не раскрыто. Автор в тексте не назван по имени: атрибуция опирается на адрес аккаунта karpathy. Доступный текст обрывается на полуслове, поэтому вывод автора о причинах недопонимания дан не полностью.

Риски и подводные камни

Главный риск, принять красивую схему за измеренные данные: доли населения и размеры групп не подтверждены. Деление людей на «видящих» и «не видящих» может быть слишком грубым: автор сам оговаривает, что большинство профессионалов видят лишь умеренный прирост. Утверждения об агентах, совместно работающих неделями, и о машинной скорости атак и защиты даны без конкретных примеров и проверяемых деталей. Тред также ничего не говорит о том, как воронка или разрыв будут меняться дальше.

«Судя по моей ленте, разрыв в понимании возможностей ИИ растёт.»

— автор треда (аккаунт karpathy)