Влияет ли чистота кода на производительность ИИ-агентов? Контролируемое исследование

Учёные из Google DeepMind и других организаций провели контролируемое исследование влияния чистоты кода на работу автономных ИИ-агентов (на примере Claude Code).

Методология основана на минимальных парах: репозиториях, идентичных по архитектуре, зависимостям и поведению, но отличающихся по качеству кода (нарушениям правил статического анализа и когнитивной сложности). Пары создавались в обе стороны: путём либо деградации чистого кода, либо улучшения грязного. На 6 парах авторы разработали 33 задачи, оцениваемые скрытыми тестами.

На 660 испытаний с Claude Code выявлены два ключевых результата:

Успешность задач не меняется: чистота кода никак не влияет на процент решаемых агентом задач.
Зато меняется вычислительный след: при работе с чистым кодом агент использует на 7, 8% меньше токенов и на 34% меньше переоткрывает файлы.

Вывод: архитектурная и стилистическая чистота кода остаётся актуальна в эпоху ИИ-разработки. Она не влияет на то, сможет ли агент решить задачу, но напрямую снижает затраты на вычисления и улучшает навигационную эффективность. Чистота кода входит в список факторов, которые материально влияют на поведение ИИ-агентов: выбору модели, архитектуре промптов и конструкции инструмента.

Ключевые факты

Чистота кода не влияет на успешность выполнения задач ИИ-агентом, но существенно экономит вычислительные ресурсы
На чистом коде агент использует на 7, 8% меньше токенов и на 34% меньше переоткрывает файлы
Исследование проведено на 660 испытаниях в 6 минимальных парах с использованием Claude Code
Принципы традиционной поддерживаемости кода остаются критичны для оптимизации работы ИИ-разработчиков
Качество кода влияет на поведение агентов наравне с выбором модели и стратегией промптинга

Почему это важно

По мере внедрения автономных ИИ-агентов встаёт вопрос: является ли код чистоты (архитектурное качество, низкая когнитивная сложность) просто внутренним благоустройством или она реально влияет на то, как ИИ с этим кодом работает. Это исследование прямо отвечает на этот вопрос, показывая, что кроме очевидных преимуществ для людей, чистота кода оптимизирует вычислительное поведение ИИ-агентов.

Кому это важно

Разработчикам, которые пишут код для агентов или ожидают работать с ними; командам, оптимизирующим расход токенов в LLM-приложениях; организациям, вводящим ИИ-разработку и планирующим бюджет на вычисления; исследователям в области AI engineering и человеко-машинной разработки.

Как это применить

Соблюдайте традиционные стандарты чистоты кода: понизьте когнитивную сложность, следуйте правилам статического анализа, упростите архитектуру. Это не только улучшает человеческий код-ревью, но и снижает расход токенов, когда с этим кодом работает ИИ-агент. При внедрении ИИ-разработки включайте чистоту кода в метрики качества, это прямо экономит вычислительные ресурсы.

Можно ли доверять

Исследование построено на контролируемом методе минимальных пар, что исключает конфаундеры (смешивающие факторы). Тестирование проведено на 660 испытаниях с одной моделью (Claude Code) и скрытыми тестами на публичном интерфейсе приложения. Результаты статистически обоснованы, но ограничены одной моделью и одной организацией, обобщаемость на другие агенты требует воспроизведения.

Риски и подводные камни

Исследование оценивает только одну модель (Claude Code), результаты могут не перенестись на другие ИИ-агенты с иной архитектурой или стратегией промптинга. Выборка из 33 задач относительно небольшая. Нет данных о реальных production-сценариях с долгоживущими агентами. Тенденция к улучшению навигации при чистом коде может быть специфична для типов задач, использованных в исследовании.

«Чистота кода наравне с выбором модели, инструментами и стратегией промптинга становится фактором, который материально влияет на поведение ИИ-агентов.»

— Исследование 'Does Code Cleanliness Affect Coding Agents?', arXiv