Основы инженерии ПО важнее хайпа вокруг ИИ-агентов
Эссе на личном блоге (имя и профессиональная роль автора в тексте не раскрыты, конкретная ИИ-компания, модель или продукт не названы ни разу) открывается личным признанием: синдром самозванца у автора сегодня сводится к вопросу, что вообще значит быть инженером-программистом, пока агентные ИИ-инструменты берут на себя всё больше написания кода. Автор отмечает, что в интернете сейчас куда больше шума, чем сигнала о том, что умеет агентная разработка и что это значит для будущего профессии. Здесь же автор жёстко отзывается о поведении отрасли: знания человечества были использованы для обучения моделей «без разрешения и уважения», а рискованные финансовые манёвры части игроков, по мнению автора, маскируют в целом слабеющую экономику США.
По наблюдению автора, за последний год связка «модель + агентная обвязка» (harness, программная прослойка, которая превращает модель в самостоятельного агента) перешла порог «можно ли это вообще сделать»: то, что ещё недавно было экспериментом, стало рабочим инструментом. Но это лишь начало, а не основная часть работы инженера, настаивает автор, так же как в двадцать с небольшим, ещё только осваивая сварку, можно было быстро сварить вещь, которую потом было не поднять и не вынести из мастерской: способность что-то сделать ещё не значит сделать это хорошо. Экономика больших моделей, признаёт автор, не окупается ни по одному известному автору отчёту, но сама возможность никуда не денется, а быстро дешевеет: модели с открытыми весами делают достаточно мощные персональные компьютеры способными на то же самое, пусть и с небольшим отставанием по эффективности.
Дальше начинается то, что агенты пока не тянут: сделать код отлаживаемым, поддерживаемым, слоистым и составным, с понятными «швами» между частями системы, задача в равной мере творческая и инженерная, требующая вдумчивого рассуждения. Именно здесь спотыкаются даже топовые модели: они не «рассуждают», а предсказывают текст, потому что по сути представляют собой сжатые записанные человеческие знания. В подкрепление автор ссылается на исследовательскую работу «The Illusion of Thinking» («Иллюзия мышления») о слабостях LLM в рассуждении и на выступления Яна Лекуна о моделях мира и архитектуре JEPA, направлении, которое пытается научить системы предсказывать результат действий, но, по словам автора, к сегодняшним агентам для написания кода это пока не относится.
Что при этом реально работает уже сегодня, по опыту автора: подавать модели точные и лаконичные данные ровно в нужный момент и подключать детерминированные инструменты проверки, которые возвращают агенту обратную связь на естественном языке для самокоррекции. Автора больше впечатляет не столько способность модели предсказывать код, сколько то, насколько эффективно агент вызывает инструменты и следует инструкциям. Но у этой же покорности инструкциям есть обратная сторона: то, что Саймон Уиллисон назвал «смертельной триадой» (lethal trifecta), модели в принципе не умеют стабильно отличать хорошие инструкции от вредоносных и не защищены от атак через внедрение промптов (prompt injection). Работа над выравниванием моделей (alignment), защитные барьеры и песочницы, по словам автора, снижают этот риск, но не закрывают его полностью, а нечто, что беспрекословно следует инструкциям без способности рассуждать, для автора, форменный кошмар.
Автор надеется, что в перспективе дообучение моделей после базового обучения (RLHF) будет учитывать не только правильность кода, но и чистоту интерфейсов, отлаживаемость и поддерживаемость как часть критериев вознаграждения. А пока внимательный разбор, планирование и починка «швов» программной системы, по мнению автора, остаются одним из ключевых навыков инженера, независимо от использования агентных ИИ-помощников. В финале автор отдельно уточняет: тире в тексте расставлены вручную, а не ИИ, отсылка к расхожему подозрению, что обилие тире выдаёт машинный текст.
Ключевые факты
- За последний год связка «модель + агентная обвязка» перешла порог «можно ли это вообще сделать», но, по мнению автора, это только начало работы инженера, а не её основная часть.
- LLM не рассуждают, а предсказывают текст, потому что по сути представляют собой сжатые записанные человеческие знания, поэтому агенты справляются с генерацией кода, но не с проектированием отлаживаемых, поддерживаемых и «слоистых» систем.
- Экономика больших моделей не окупается ни по одному отчёту, известному автору, но сами возможности не исчезают, а дешевеют и переходят на локальные устройства через открытые веса.
- Модели не умеют надёжно отличать хорошие инструкции от вредоносных, Саймон Уиллисон называет это «смертельной триадой» (lethal trifecta), а работа над выравниванием моделей, защитные барьеры и песочницы закрывают этот разрыв лишь частично.
- Что реально работает уже сегодня, по словам автора: подавать модели точные и лаконичные данные в нужный момент и подключать детерминированные инструменты проверки с обратной связью на естественном языке, чтобы агент сам себя поправлял.
Почему это важно
Материал спорит с расхожим тезисом, что раз агентные ИИ-инструменты научились писать рабочий код, инженерная профессия исчерпана. Автор возражает: за последний год связка модели и агентной обвязки действительно перешла порог «можно ли это вообще сделать», но это лишь малая часть работы инженера. Настоящая сложность, сделать систему отлаживаемой, поддерживаемой и слоистой, с понятными «швами» между частями, область, где решает вдумчивое рассуждение человека, а не предсказание текста моделью. Автор напоминает: LLM не «рассуждают», а предсказывают на основе сжатых человеческих знаний, поэтому там, где нужно спроектировать архитектуру и жить с ней годами, модель пока проигрывает инженеру.
Кому это важно
В первую очередь, разработчикам и техническим лидерам, которые уже встроили агентные инструменты в рабочий процесс и решают, где им можно доверять, а где нет. Также, инженерным руководителям, которые формируют практики работы команды с ИИ-агентами, и всем, кто задаётся вопросом профессиональной идентичности: что теперь значит быть программистом, если часть написания кода берёт на себя модель.
Как это применить
Автор делится двумя рабочими приёмами. Первый, просить агента разрабатывать в стиле red/green TDD (сначала падающий тест, затем код, который его исправляет): это даёт не только «работает», но и «проверено тестами». Второй, подавать модели точные и лаконичные данные ровно в тот момент, когда они нужны, и подключать детерминированные инструменты проверки, которые возвращают агенту обратную связь на естественном языке для самокоррекции. По наблюдению автора, ценность агента не столько в способности предсказывать код, сколько в том, насколько эффективно он вызывает инструменты и следует инструкциям, а проектирование «швов» системы, планирование и ревью по-прежнему требуют участия инженера.
Можно ли доверять
Это личное эссе на блоге, а не исследование: ни имя автора, ни профессиональная роль в тексте не раскрыты, конкретная ИИ-компания, продукт или модель не названы ни разу. Аргументация опирается на источники, которые можно проверить самостоятельно, исследовательскую работу «The Illusion of Thinking» о слабостях LLM в рассуждении, введённый Саймоном Уиллисоном термин «смертельная триада» для риска атак через внедрение промптов (prompt injection) и выступления Яна Лекуна о моделях мира и архитектуре JEPA. Цифр, статистики или финансовых показателей об ИИ в тексте нет, это аргументированное личное мнение практикующего инженера, а не эмпирическое исследование.
Риски и подводные камни
Главный риск назван в тексте прямо: «смертельная триада» (lethal trifecta) Саймона Уиллисона, модели в принципе не умеют стабильно отличать хорошие инструкции от вредоносных и не защищены от атак через внедрение промптов (prompt injection); работа над выравниванием моделей, защитные барьеры и песочницы снижают этот риск, но не закрывают его полностью. Второй риск, переоценка готового результата: агент выдаёт код, который «работает» и даже «протестирован», но не обязательно отлаживаем, поддерживаем и хорошо спроектирован, это вскрывается только позже, когда со «швами» системы приходится жить месяцами. Экономика крупных моделей, по словам автора, тоже не окупается ни по одному известному автору отчёту, но это не довод в пользу того, что сама возможность исчезнет: скорее она продолжит дешеветь и переходить на локальные модели с открытыми весами.
«LLM не «рассуждают». Они предсказывают, а сами модели, по сути, сжатые записанные человеческие знания.»
— автор эссе