Оценки упали с 96 до 48 процентов, когда профессор Университета Брауна заставил студентов сдавать экзамен без ИИ
Роберто Серрано, профессор экономики Университета Брауна, заподозрил, что большинство из 86 студентов его курса списывали с помощью ИИ на экзамене. Экзамен проходил в формате домашней работы без контроля, и средний балл по группе составил 96%, при том что исторически этот показатель находился в диапазоне 65, 80%.
Серрано прогнал вопросы экзамена через ChatGPT и получил почти идентичные ответы. Многие студенты использовали одно и то же запутанное математическое доказательство, которое выбрал и ChatGPT, вместо более очевидного прямого способа решения.
Серрано предупредил студентов и сделал итоговый экзамен очным и контролируемым. Результат подтвердил его опасения: 18 студентов бросили курс, ещё 9 не явились на экзамен вовсе. Средний балл упал до 48,6%, худшего результата за всю историю курса, сообщает издание Inside Higher Ed. Лишь единицы студентов показали результат, близкий к их баллам за домашний экзамен; 19 студентов провалили экзамен полностью. Серрано аннулировал результаты промежуточного экзамена и назначил итоговому экзамену вес 80% от итоговой оценки за курс.
Реакцию университета Серрано назвал «робкой»: администрация посоветовала ему сообщать о каждом случае списывания по отдельности. Он назвал такой подход «нелепым» и настаивает на более жёсткой позиции руководства. По его словам, дальнейшие обсуждения продолжаются.
Случай Серрано не единичный, его подтверждают два недавних исследования, показывающих одну и ту же картину: высокие оценки за домашние задания сочетаются с плохими результатами на контролируемых экзаменах. Первое исследование провели в центральном Китае: в течение 30 месяцев отслеживали более 26 000 учеников с 7 по 12 класс. Через шесть месяцев после начала использования ИИ оценки за домашние задания выросли на 18%, а время их выполнения сократилось с 64 до 45 минут, но результаты экзаменов при этом упали на 20%. На вступительных экзаменах долгосрочные потери составили от 18 до 24%, при этом полный эффект проявляется примерно через два года. Около 81% учеников, долго использовавших ИИ, показали одинаковую картину: более быстрое выполнение домашних заданий, высокие оценки за них и низкие результаты экзаменов. Сильнее всего пострадали лучшие ученики, потерявшие до 24% результата.
Второе исследование, Калифорнийского университета в Беркли, охватило более 500 000 оценок в крупном исследовательском университете Техаса. В курсах с большой долей письменных и программистских заданий доля оценок «отлично» выросла на 13 процентных пунктов после запуска ChatGPT. Эффект сосредоточен в неконтролируемых домашних заданиях: в курсах с большой долей домашней работы рост оказался на 16 процентных пунктов выше, чем в курсах, которые больше полагаются на контролируемые экзамены.
Ключевые факты
- Профессор экономики Университета Брауна Роберто Серрано заподозрил, что большинство из 86 студентов списывали на домашнем экзамене с помощью ИИ: средний балл составил 96% против обычных 65, 80%.
- После перевода итогового экзамена в очный контролируемый формат средний балл рухнул до 48,6%, худшего результата в истории курса; 18 студентов бросили курс, 9 не явились, 19 получили неудовлетворительную оценку.
- Университет отреагировал «робко», предложив разбирать случаи списывания по отдельности; Серрано считает такой подход недостаточным и требует более жёсткой политики.
- Исследование в центральном Китае (более 26 000 учеников, 30 месяцев) показало: использование ИИ подняло оценки за домашние задания на 18%, но снизило результаты экзаменов на 20%, а долгосрочные потери на вступительных экзаменах достигли 18, 24%.
- Исследование Калифорнийского университета в Беркли (более 500 000 оценок, вуз в Техасе) показало, что после запуска ChatGPT доля оценок «отлично» в письменных и программистских курсах выросла на 13 процентных пунктов, в основном за счёт неконтролируемых домашних заданий.
Почему это важно
Кейс показывает системный разрыв между оценками за домашние задания, где легко использовать ИИ без контроля, и реальными знаниями, которые проявляются только на экзаменах под наблюдением. Это ставит под сомнение достоверность значительной части оценок, выставленных в школах и вузах за последние годы, часть студентов может получать высокие баллы и дипломы, не соответствующие их фактическому уровню знаний.
Кому это важно
Преподавателям и профессорам, нужно менять формат контроля знаний; администрации школ и вузов, нужна политика реагирования на массовое списывание с помощью ИИ; самим студентам, риск обесценивания собственных навыков и проблемы на контролируемых экзаменах или при последующем трудоустройстве; родителям школьников; будущим работодателям выпускников, чьи оценки могут не отражать реальные знания.
Как это применить
Резкий и подозрительный рост оценок за домашние задания выше исторической нормы, сигнал для перехода на очный контролируемый формат проверки знаний или для увеличения веса контролируемых экзаменов в итоговой оценке, как сделал Серрано, подняв вес финального экзамена до 80%. Дополнительный признак списывания, совпадение нестандартного, «кружного» хода решения у большого числа студентов; проверить это можно, прогнав те же задания через ChatGPT и сравнив ответы.
Можно ли доверять
История Серрано описана изданием Inside Higher Ed, а сам профессор проверил свою гипотезу экспериментально, сравнив результаты домашнего и очного экзаменов на одной и той же группе студентов. Два независимых исследования, по Китаю (более 26 000 учеников за 30 месяцев) и Калифорнийского университета в Беркли (более 500 000 оценок в вузе Техаса), показывают тот же паттерн на большой выборке, что усиливает доверие к выводу. При этом в тексте не названы конкретные публикации и источники этих двух исследований, поэтому для проверки исходных данных потребуется искать оригиналы отдельно.
Риски и подводные камни
Совпадение хода решения с ответом ChatGPT не является стопроцентным доказательством списывания, возможны ложные обвинения. Реакция университета на массовое списывание в кейсе Серрано была слабой (предложение разбирать случаи по отдельности), то есть системного решения проблемы вуз пока не предложил. Долгосрочный риск, часть студентов теряет реальные навыки и знания, но получает завышенные оценки за домашние работы, что обесценивает диплом и может создать проблемы при трудоустройстве. Резкий переход к жёстким контролируемым экзаменам также имеет цену для самих учащихся: в кейсе Серрано 18 студентов бросили курс, а 19 не сдали экзамен.
«Мы не можем позволить себе общество, в котором значительная часть наших лучших молодых умов считает, что списывать, это нормально. Это ведёт к деградации общества, к обществу, потерпевшему крах… Мы не можем позволить себе превратиться в глупцов.»
— Роберто Серрано, профессор экономики Университета Брауна