Преподаватель переделал курс после того, как ИИ-агенты стали сами делать все домашние задания

Преподаватель университетского курса «Machine Learning in Production» (100, 170 студентов на потоке) описал, как за несколько лет переделал почти все формы оценивания после того, как ИИ-агенты стали способны выполнять домашние задания целиком без участия студента. Ещё в 2021 году, до появления ChatGPT, коллега Винсент Хелендорн предложил проверить GPT-3 на тестах по прочитанным статьям, модель давала убедительные ответы, даже не «видя» саму статью; тогда автор ничего не изменил. К осени 2025 года Claude Code смог полностью решить первое домашнее задание курса (доработку клона Instagram на кодовой базе в 12 тысяч строк, где правильное решение занимало около 20 строк кода) без единой подсказки, включая письменный отчёт и рефлексию, и это стало последней каплей.

Основной принцип новой системы: перестать оценивать то, что делается дома, и перенести оценку на очные форматы, встречи с ассистентами преподавателя (TA), экзамены и видеодемонстрации. Письменные рефлексии по заданиям заменены 15-минутными устными встречами с TA после каждого задания: студент должен ответить на вопросы вживую, встреча оценивается по системе «зачёт/незачёт» и составляет 20% баллов за задание, при провале можно пересдать без штрафа. Курс работает при соотношении 20 студентов на одного TA, ассистенты тратят на это около 10 часов в неделю, а сами встречи, около 300 минут на TA раз в две недели. Пересдачи заданий теперь облагаются штрафом 10%, чтобы студенты не сдавали сырое ИИ-решение «на удачу», а исправляли его только после разбора ошибок. Онлайн-тесты по прочитанным статьям с открытыми вопросами отменены полностью, задания на чтение оставили, но без баллов и вдвое реже, обсуждая материал устно на занятиях. Доля экзаменов в итоговой оценке выросла с 15% до 25%, а очные разборы (дебрифинги) с командами после этапов группового проекта дают ещё 10, 20% оценки за домашние и групповые работы.

Чтобы разгрузить ассистентов, курс внедрил автоматическую проверку кода и отчётов через связку «ИИ как судья» по чётким критериям: модель ставит «зачёт» или «на проверку», при этом баллы никогда не снимаются без ручной проверки человеком. Это сократило время TA на проверку на 50, 80% (объём вручную проверяемого материала упал на 80%), а высвободившееся время ушло на очное общение со студентами. Толчком к внедрению стал случай, когда один из TA пожаловался, что чувствует себя глупо, проверяя решение с сообщением коммита «Authored by Claude Code». Похожий подход, бот в Slack, который через тот же принцип «ИИ-судьи» даёт студентам автоматическую обратную связь по ответам на обсуждениях в классе.

Сами задания при этом усложнили: первое задание про клон Instagram заменили на доработку функций мессенджера Zulip с кодовой базой более 500 тысяч строк, где современные агенты уже не справляются без участия человека. Автор подчёркивает, что умение эффективно пользоваться ИИ-агентами не входит в цели курса и сознательно не преподаётся, предполагается, что студенты этим уже владеют. Отдельно разобран вопрос равенства доступа: студентам ожидаемо нужна платная подписка на ИИ, но автор считает это сопоставимым с покупкой учебника ($100 против $20 в месяц за три месяца семестра), а не поводом советовать более дешёвые открытые модели.

Автор приводит примеры того, как студенты «обжигаются» на уверенных ошибках ИИ: до ChatGPT на классической ошибке в интерпретации статьи Джексона про разграничение «мира и машины» попадались около 20% студентов, после ChatGPT, 80%, а даже прямое предупреждение снижало долю ошибающихся лишь до 50%. Похожая история, с предложенным Claude Code небезопасным «протоколом двухфазного подтверждения» для защиты финансовых MCP-транзакций: на эту неудачную идею изначально попадались 80% студентов и большинство TA. Более новые модели эту ошибку почти не допускают, так что эффект как учебный пример постепенно исчезает.

Автор честно признаёт, что часть изменений противоречит доказательным практикам преподавания, эффективнее частые оценивания с низкими ставками и обратной связью, а не редкие высокостатусные экзамены, но именно низкостатусные форматы легче всего отдать ИИ на аутсорс, и курс вынужденно смещается к экзаменам. При этом автор не хочет возвращаться к модели немецких университетов его студенчества, где итоговая оценка на 100% зависела от одного экзамена в конце семестра, а доля неуспевающих и отчислившихся составляла 50, 80%. Прямых данных о том, как изменения повлияли на реальное качество обучения, у автора нет, он опирается на впечатления студентов, которые в целом одобряют новый формат.

Ключевые факты

• Преподаватель курса «Machine Learning in Production» (100, 170 студентов) переделал систему оценивания после того, как осенью 2025 года Claude Code полностью решил домашнее задание без подсказок
• Письменные рефлексии заменены 15-минутными устными встречами с ассистентом после каждого задания (20% баллов, зачёт/незачёт, пересдача без штрафа); пересдачи самих заданий теперь штрафуются на 10%
• Доля экзаменов выросла с 15% до 25% итоговой оценки, задания на чтение отменены как оцениваемый формат
• Автопроверка кода и отчётов через «ИИ-судью» сократила время ассистентов на проверку на 50, 80%, но баллы никогда не снимаются без проверки человеком
• Студенты систематически попадаются на уверенно неверных ответах ИИ: 80% ошиблись, поверив небезопасному решению Claude Code по защите транзакций, и 80% (против 20% до ChatGPT), в интерпретации статьи Джексона

Почему это важно

Это один из самых подробных публичных отчётов о том, как реальный университетский курс перестраивает всю систему оценивания под возможности ИИ-агентов, а не просто вводит запрет на их использование. Автор прямо признаёт, что часть изменений идёт вразрез с доказательными практиками преподавания (частые низкостатусные задания эффективнее редких экзаменов), но иначе оценивать домашнюю работу стало бессмысленно, это конкретный кейс того, как способности агентов меняют институты, а не только рабочие процессы отдельных людей.

Кому это важно

Прежде всего преподавателям и методистам, которые сталкиваются с той же проблемой в собственных курсах; также руководству вузов, продумывающему политику по ИИ и экзаменам, и разработчикам образовательных ИИ-инструментов (автогрейдеры, ИИ-судьи для обратной связи), которым интересен реальный опыт внедрения таких систем при соотношении 20 студентов на одного ассистента.

Как это применить

Из текста можно вынести конкретные приёмы: заменять письменные рефлексии короткими устными проверками с случайными уточняющими вопросами; штрафовать повторные попытки, чтобы не поощрять сдачу сырого ИИ-решения; переносить вес оценки на очные форматы (экзамены, дебрифинги, видеодемо); использовать связку «ИИ как судья» для черновой проверки с обязательной ручной верификацией перед снятием баллов; специально увеличивать масштаб и сложность заданий (например, работа с кодовой базой в сотни тысяч строк вместо тысяч), чтобы задание оставалось непосильным для агента без участия человека.

Можно ли доверять

Материал, первоисточник от практикующего преподавателя, написанный от первого лица, с конкретными цифрами по нагрузке TA, доле баллов и датам изменений (2021, год назад, осень 2025, 2026); в тексте не названы ни имя автора, ни точный вуз (только косвенная отсылка к стоимости обучения в Карнеги-Меллон), что ограничивает независимую проверку, но не противоречит содержанию и характерно для формата личного блога на Substack.

Риски и подводные камни

Сам автор признаёт: у него нет данных о том, как изменения повлияли на реальное качество обучения, а средние оценки за годы немного снизились ещё до этих реформ по не до конца понятным причинам; смещение веса к экзаменам противоречит принципам частой обратной связи; требование платной ИИ-подписки поднимает вопросы равенства доступа между студентами; а эффект от «ловушек» с уверенно неверными ответами ИИ (ошибка Джексона, небезопасный протокол MCP) быстро исчезает по мере того, как новые модели перестают допускать эти конкретные ошибки, так что учебные приёмы приходится обновлять почти каждый семестр.

«ИИ активно подрывает несколько доказательных практик преподавания»

— автор курса «Machine Learning in Production»

Компания Meta Platforms признана экстремистской организацией, её деятельность на территории РФ запрещена.