Человек должен вести, а не наблюдать: переосмысляем работу с ИИ-агентами
Джон Удел критикует распространённую фразу «human in the loop» (человек в цикле), потому что она передаёт инициативу машинам, оставляя человека в зависимой роли. Он предлагает принципиально другой подход: это НАША работа, мы работаем как обычно, и теперь мы приглашаем ИИ-агентов присоединиться к команде. Вместо абстрактного цикла, в который мы включены, должен быть цикл, который мы контролируем и в который мы сами приглашаем агентов.
Удел подчёркивает, что агентский процесс разработки не обязательно должен быть чёрным ящиком: берёшь готовый промпт → получаешь готовый результат. Наоборот, это должно оставаться обозримым и управляемым человеком. Его формулировка в названии статьи предельно ясна: «Врач, больно, когда агенты создают нереецензируемые пулл-реквесты. Не делайте так». Суть в том, что агенты должны создавать код, который человек может прочитать, понять и проверить на каждом этапе, а не генерировать несмотря на голову разработчика.
Ключевые факты
- «Human in the loop», неправильная метафора, которая отдаёт инициативу машинам. Правильный подход: цикл принадлежит человеку, он сам приглашает в него агентов.
- Агентская разработка не должна быть чёрным ящиком. Результаты должны быть рецензируемы и понятны человеку.
- Сила агентов в том, что они становятся членами команды разработчика, работая внутри контролируемого им процесса, а не заменяют его.
- Проблема в реальности: агенты часто создают пулл-реквесты, которые невозможно проверить или понять; это противоположно тому, что нужно.
- Переосмысление власти: не вопрос о количестве участия человека, а о том, кто держит инициативу и контроль.
Почему это важно
По мере интеграции ИИ-агентов в разработку растёт риск потерять контроль над процессом. Распространённая фраза «human in the loop» легитимирует такую потерю, она предполагает, что цикл работает своей жизнью, а человек просто в нём участвует. Удел предлагает перевернуть власть: цикл ВСЕГДА должен оставаться человеческим, а агенты, только средства внутри него. Это крайне важно, потому что от этой философии зависит, будет ли разработка оставаться понимаемой и управляемой или превратится в противоречивый чёрный ящик.
Кому это важно
В первую очередь, разработчикам, которые уже используют или планируют использовать ИИ-агентов для создания кода (особенно для автоматизации пулл-реквестов). Также важно для лидов и архитекторов, выбирающих инструменты и процессы. Менеджерам проектов, которые решают, можно ли доверить агентам критические части разработки. И шире, всей IT-индустрии, которая сейчас пережёвывает риск «потерять контроль» над AI.
Как это применить
При внедрении агентов в разработку ставить требование: весь генерируемый код ДОЛЖЕН быть читаем и рецензируем человеком. Агент не должен иметь права мержить код сам; он создаёт пулл-реквест, который разработчик проверяет и утверждает. При использовании многошаговых агентов предусмотреть checkpoints, на которых человек может вмешаться. В промптах для агентов явно указывать: «твоя задача, помощь в процессе, который контролирует человек, а не автоматизация самого процесса». Это требует дополнительных шагов, но гарантирует, что качество и безопасность остаются в руках человека.
Можно ли доверять
Джон Удел, известный специалист по гипермедиа и интеграции технологий, его взгляды базируются на многолетнем опыте. Его критика фразы «human in the loop» логична и подкреплена реальной проблемой, когда агенты действительно создают нереецензируемый код. Однако это философский аргумент, а не техническое исследование с данными. Авторитет Удела высок, но само предложение требует проверки в конкретных проектах.
Риски и подводные камни
Требование рецензируемости может замедлить процесс: если агент каждый раз создаёт пулл-реквест, который нужно вручную проверять, выигрыш от автоматизации может быть меньше ожидаемого. Риск: разработчики устанут проверять и начнут мержить вслепую, что вернёт нас к чёрному ящику. Также есть сложность в практике: далеко не все агентские инструменты поддерживают полную прозрачность, некоторые всё равно работают как чёрный ящик. Нужна целенаправленная работа с инструментами, чтобы выстроить такой контроль.
«Мне не нравится фраза «человек в цикле», потому что она отдаёт власть машинам. Давайте перевернём повествование. Это НАШ цикл, мы работаем так, как всегда работали, только теперь мы приглашаем агентов присоединиться к команде. Процесс с помощью агентов не обязательно должен быть чёрным ящиком, который берёт промпты и выдаёт результаты.»
— Джон Удел