Терренс Тао показал: экспертиза решает в разговорах с ChatGPT

Раньше технический пробел, например, неумение писать CSS, заставлял человека либо звать знающего коллегу, либо искать готовый ответ в интернете. Сегодня LLM позволяют любому получить более-менее сносный результат в незнакомой теме, и из-за этого распространилось мнение: раз все общаются с одними и теми же моделями, «умелые промптеры» получают тот же результат, что и новички, а значит, никакого особого навыка в работе с LLM нет. Автор эссе с этим не согласен: по его мнению, главный навык промптинга, это экспертиза именно в той предметной области, о которой идёт разговор с моделью.

Центральная иллюстрация, переписка математика Терренса Тао с ChatGPT о недавно найденном контрпримере к гипотезе Якобиана. Автор прямо признаёт: «Это не тот ChatGPT, с которым говорю я! Я не добрался бы туда, куда добирается Тао, даже с неограниченным числом токенов». Он выделяет несколько черт переписки Тао: сообщения короткие и по существу, реагируют на суть, а не разбирают ответ модели построчно; ответы модели заметно лаконичнее, чем когда сам автор обсуждает с GPT-5.6 Sol математические вопросы, сигнализируя о своей экспертизе, Тао переводит модель в режим «разговора с математиком», а не «объяснения дилетанту»; Тао возражает не прямой критикой, а формулировками вроде «это выглядит сложнее, чем я надеялся»; и сам предлагает большинство следующих шагов, почти никогда не следуя советам модели о том, куда двигаться дальше.

Но, по мнению автора, скопировать манеру Тао как набор приёмов не получится: за этой манерой стоит реальное понимание математики, умение вытащить нужную идею из многоабзацного ответа модели, предложить альтернативную формулировку, распознать, что «выглядит неправильно». Автор проводит параллель с собственной работой программиста: хорошее понимание устройства кодовой базы позволяет «давить» на модель сильнее, чем при полном незнании, говорить «нет, тут можно проще», «а разве мы это уже не делаем», «можно ли сформулировать задачу в этих знакомых терминах». По его мнению, задачи проектирования систем определяются конкретными деталями, а не общими принципами, поэтому знание конкретной кодовой базы полезнее общего понимания программных систем.

Без знания предмета от LLM всё равно можно что-то получить, и это неплохо, пишет автор. Но с экспертизой из той же модели удаётся выжать намного больше пользы, направляя её жёстче. Отсюда вывод: полезность экспертизы означает, что человеческие знания останутся востребованными и по мере усиления моделей, для многих задач узким местом является не модель, а человек, потому что сложность в том, чтобы точно сообщить модели, какое решение нужно. Информация «уже есть в модели», но вытащить её оттуда способен только достаточно грамотный человек.

Пост вызвал большое обсуждение на Hacker News (642 балла, 265 комментариев). Автор в добавленной приписке отмечает: часть комментаторов делится анекдотами о том, как экспертиза помогала или её нехватка мешала; другие соглашаются с тезисом, но с оговоркой, сама идея удобно успокаивает людей рассказом об их незаменимости, и это подозрительно; третьи указывают, что математические подсказки самого OpenAI были непрофессиональными, и потому экспертиза якобы не обязательна. На это автор возражает: у OpenAI есть команда экспертов-математиков, которая проверяет и отсеивает предложенные моделью открытия, и этот шаг пока нельзя пропустить.

Ключевые факты

Главный тезис: не общий навык промптинга, а экспертиза в предметной области определяет, сколько пользы человек извлекает из LLM.
Иллюстрация, переписка математика Терренса Тао с ChatGPT о контрпримере к гипотезе Якобиана; автор эссе признаёт, что не добрался бы до такого результата даже с неограниченными токенами.
Паттерны Тао: короткие точные сообщения, косвенные возражения («это выглядит сложнее, чем я надеялся»), собственные догадки вместо советов модели, но без реального понимания математики этот стиль не воспроизвести.
Параллель из программирования: хорошее знание кодовой базы позволяет жёстче направлять модель, чем общее понимание софтверных систем.
В обсуждении на HN часть комментаторов считает, что раз математические подсказки самого OpenAI были непрофессиональными, экспертиза не обязательна; автор возражает: находки модели проверяет и отсеивает команда экспертов-математиков OpenAI, этот шаг пока обязателен.

Почему это важно

Эссе спорит с расхожим мнением, что LLM «уравнивают» всех, стирая разницу между новичком и опытным промптером, раз все общаются с одной и той же моделью. Автор утверждает обратное: разница не исчезает, а перемещается, она теперь не в умении формулировать запросы вообще, а в экспертизе по теме запроса. На примере переписки Терренса Тао с ChatGPT о контрпримере к гипотезе Якобиана показано, что глубокое знание предмета позволяет вести модель туда, куда обычный пользователь попасть не может.

Кому это важно

Тезис адресован всем, кто использует LLM в профессиональной работе, программистам, исследователям, аналитикам, и решает, куда вкладывать усилия: в изучение общих приёмов промптинга или в углубление знаний собственной предметной области. Автор, по собственному описанию, применяет ту же логику к разработке: знание конкретной кодовой базы, по его наблюдению, ценнее общих знаний о софтверной архитектуре.

Как это применить

Из разбора переписки Тао выведены практические черты работы с экспертизой: сообщения короткие и по существу, а не построчный разбор ответа модели; возражения, не прямая критика, а мягкая формулировка («это выглядит сложнее, чем я надеялся»); следующие шаги предлагает сам пользователь, а не модель. Автор переносит это на свою работу: имея понимание кодовой базы, можно говорить модели «нет, тут можно проще» или «а разве мы это уже не делаем», опираясь на собственное чувство того, как должно выглядеть хорошее решение.

Можно ли доверять

Это авторское эссе (мнение), а не эмпирическое исследование: основной аргумент строится на разборе одного публичного случая, переписки Терренса Тао с ChatGPT, и на личном опыте автора-программиста. Материал вызвал широкое обсуждение на Hacker News (642 балла, 265 комментариев), и автор сам честно приводит возражения комментаторов, включая подозрение, что тезис удобно успокаивает людей относительно их собственной незаменимости.

Риски и подводные камни

Аргумент опирается на единственный яркий пример (Тао, математик мирового уровня), который может не обобщаться на менее выдающихся экспертов или на другие области. Сами комментаторы на HN указывают на риск мотивированного рассуждения: идея о незаменимости экспертизы приятна тем, кто эту экспертизу уже имеет. Кроме того, даже там, где модель совершает математические находки, их всё ещё проверяет и отсеивает команда экспертов-людей, то есть полностью полагаться на модель без экспертной проверки пока нельзя.

«это выглядит сложнее, чем я надеялся»

— Терренс Тао