Учёные доказали: естественный язык не может полностью заменить языки программирования

Рост популярности больших языковых моделей породил тезис: раз ИИ понимает обычные фразы, естественный язык может полностью заменить формальные языки, в первую очередь языки программирования, при разработке софта и других артефактов. Авторы новой позиционной статьи с этим тезисом спорят: по их мнению, он игнорирует фундаментальное свойство естественного языка, тот изначально «заточен» под недосказанность (underspecification) в открытых, неформальных контекстах, а не под точную и полную спецификацию.

Чтобы обосновать позицию формально, авторы вводят понятие «специфичности задачи» (task specificity), информационно-теоретическую меру того, насколько конкретные требования пользователя сужают пространство возможных результатов (например, множество всех возможных изображений или программ) по сравнению с ситуацией, когда требования не заданы вовсе. Чем детальнее и строже требования, тем выше специфичность задачи.

Центральный результат статьи, «теорема о пересечении специфичности» (specificity crossover theorem). Авторы доказывают: существует порог специфичности, после которого затраты на то, чтобы выразить точные формальные требования словами естественного языка, превышают затраты на то, чтобы сразу записать их на формальном языке напрямую. До этого порога естественный язык эффективнее, он компактно описывает нечёткие, открытые запросы; после порога он становится избыточным и более трудоёмким способом сказать то же самое, что формальный язык выражает короче и однозначнее.

Теорему иллюстрируют кейсами из трёх разных модальностей, генерации изображений, синтеза кода и производства аудио. Во всех трёх случаях наблюдается одна и та же картина: на задачах с низкой специфичностью (общий, приблизительный запрос) естественный язык работает хорошо и удобен; на задачах со строгими, детальными требованиями формальный язык, код, DSL, точная спецификация параметров, оказывается выгоднее естественного описания.

Вывод авторов: естественный и формальный языки, не конкуренты, а взаимодополняющие инструменты, у каждого своя зона эффективности. Вместо того чтобы делать ставку на естественный язык как универсальную замену коду, они призывают развивать гибридные системы, которые позволяют пользователю свободно перемещаться по всему спектру специфичности, начинать с расплывчатого текстового запроса и по мере уточнения требований переходить к формальной спецификации, не теряя при этом преимуществ обоих подходов.

Ключевые факты

Позиционная статья на arXiv возражает распространённому тезису, что LLM и естественный язык полностью заменят формальные языки (в первую очередь, языки программирования) в разработке софта.
Аргумент авторов: естественный язык изначально «заточен» под недосказанность (underspecification) в открытых контекстах, а не под точную спецификацию требований.
Введено понятие «специфичности задачи», информационно-теоретическая мера того, насколько требования пользователя сужают пространство возможных результатов.
Доказана «теорема о пересечении специфичности»: после определённого порога точности выразить требования на естественном языке дороже, чем сразу записать их на формальном языке.
На кейсах из генерации изображений, синтеза кода и производства аудио показано: естественный язык выигрывает на нечётких задачах, формальный язык, на задачах со строгими требованиями; авторы призывают к гибридным системам, сочетающим оба подхода.

Почему это важно

Последние пару лет в индустрии активно звучит тезис: раз большие языковые модели понимают обычную человеческую речь, программирование как ремесло отмирает, достаточно описать словами, что нужно, и ИИ сделает всё остальное сам. Эта статья, редкий случай, когда подобный тезис проверяют не интуицией и не маркетингом, а формальным математическим аппаратом. Доказательство «теоремы о пересечении специфичности» даёт принципиальную, а не вкусовую причину, почему код, DSL и другие формальные языки не исчезнут даже по мере роста возможностей языковых моделей: дело не в ограничениях конкретной модели, а в самой природе естественного языка, который эволюционно оптимизирован для недосказанности, а не для точности.

Кому это важно

Прежде всего, разработчикам инструментов для генерации кода и no-code/low-code продуктов на основе LLM: статья даёт теоретическую рамку, где именно проходит граница между «спросить у ИИ словами» и «написать точную спецификацию». Полезна исследователям языков программирования и специалистам по проектированию пользовательских интерфейсов, которые создают гибридные системы «текст + код». Пригодится и продуктовым командам, строящим ИИ-инструменты для генерации изображений, аудио или кода: статья прямо разбирает эти три направления как кейсы.

Как это применить

Практический вывод, не пытаться заменить формальную спецификацию естественным языком целиком, а проектировать системы, которые ведут пользователя по спектру специфичности: на старте, пока требования расплывчаты, работать через диалог на естественном языке (черновой запрос, набросок, уточнение идеи), а по мере прояснения деталей, переходить к явной формальной записи (код, конфиг, DSL, точные параметры), где недосказанность уже вредит, а не помогает. Для инструментов «текст → код» это значит закладывать понятный путь ручной правки сгенерированного кода, а не полагаться только на естественноязыковой запрос как единственный интерфейс.

Можно ли доверять

Это позиционная статья (в оригинале, position paper): жанр, в котором авторы открыто отстаивают точку зрения и приводят аргументы, а не публикуют результаты контролируемого эксперимента; сами кейсы (генерация изображений, синтез кода, аудио), иллюстрации к теории, а не бенчмарк с измеримыми метриками. При этом центральное утверждение, «теорема о пересечении специфичности», не мнение, а математическое доказательство внутри введённой авторами формальной модели, что даёт позиции более строгую опору, чем обычному мнению. Материал, препринт на arXiv, издание/конференция и факт рецензирования в исходном тексте не указаны, поэтому статью стоит воспринимать как аргументированную теоретическую позицию, а не как окончательно подтверждённый рецензентами результат.

Риски и подводные камни

Главный риск, сама модель «специфичности» является идеализацией: реальные задачи не всегда чисто раскладываются на шкалу от «расплывчатого запроса» до «строгой формальной спецификации», а информационно-теоретическое определение может плохо стыковаться с тем, как люди реально формулируют требования. Есть и практический риск для индустрии: если разработчики ИИ-инструментов проигнорируют эту границу и продолжат продавать естественный язык как универсальную замену коду для задач высокой специфичности, это приведёт к системам, которые плохо держат точные требования, с багами и рассинхроном между тем, что просили, и тем, что получили. Обратный риск, гибридные системы, которые пытаются одновременно поддерживать и естественный язык, и формальную спецификацию, рискуют оказаться сложнее и запутаннее для пользователя, чем любой из двух подходов по отдельности.

«Мы доказываем теорему о пересечении специфичности: существует порог, после которого затраты на то, чтобы выразить формальные требования на естественном языке, превышают затраты на прямую формальную спецификацию.»

— авторы статьи (arXiv 2607.20432)