TutorMoments: тест показал, что ИИ-репетиторы слишком много подсказывают ученикам

Авторы представили превью TutorMoments, методику оценки, которая проверяет, умеют ли современные языковые модели соблюдать один из самых сложных балансов в обучении: когда подсказать ученику, а когда придержать помощь и дать ему самому додумать решение. В основе методики лежат реальные расшифровки индивидуальных занятий по математике: опытные учителя размечают в них ключевые моменты, где репетитор должен выбрать между тем, чтобы упростить задачу (скаффолдинг, то есть подсказка-опора), и тем, чтобы подтолкнуть ученика к более сложному самостоятельному рассуждению (требование строгости). Затем TutorMoments берёт расшифровку до этого момента, передаёт её языковой модели, которая доигрывает сессию за репетитора пять ходов подряд, а роль ученика играет другая языковая модель. Такой прогон называется «реплеем».

Датасет TutorMoments-Preview состоит из 462 обезличенных текстовых расшифровок реальных индивидуальных занятий по математике с американскими учениками 2, 7 классов, преимущественно из школ программы Title I (для районов с низким доходом семей). В нём больше 1500 размеченных учителями ключевых моментов и несколько тысяч текстовых комментариев от 27 американских учителей-аннотаторов. Данные предоставлены программой репетиторства с высокой интенсивностью занятий по исследовательскому соглашению с родителями и опекунами и дважды очищены от идентифицирующих деталей, сначала провайдером, затем дополнительным пайплайном, учитывающим математический контекст. Итоговая оценка репетитора в каждом ключевом моменте складывается так: несколько учителей независимо размечают, что было нужно, подсказка или требование строгости, и берётся мнение большинства; отдельный классификатор на основе языковой модели, провалидированный по учительской разметке, затем определяет, совпал ли реальный ход репетитора (подсказка, требование строгости или чрезмерная подсказка) с тем, что предписывал этот эталон.

Авторы прогнали через TutorMoments семь языковых моделей при двух вариантах инструкции: простой, где модели только говорят «будь хорошим репетитором» без пояснений, и «осведомлённой об оценке», где явно расписан компромисс между подсказкой, чрезмерной подсказкой и требованием строгости. При простой инструкции модели систематически переусердствуют с помощью и редко подталкивают ученика думать глубже. Осведомлённая инструкция улучшает результат, по ней каждая из семи моделей набрала больше баллов, чем при простой, но не закрывает разрыв с репетиторами-людьми, которые последовательнее подбирают реакцию под момент, а сами модели заметно расходятся между собой в том, насколько надёжно они делают этот выбор.

Для сравнения авторы оценили по той же методике самих репетиторов-людей из расшифровок: 0,458 по уместной подсказке, 0,182 по уместному требованию строгости и 0,496 по избеганию чрезмерной подсказки, это ниже, чем у моделей на осведомлённой инструкции, и примерно на уровне моделей на простой инструкции. Авторы подчёркивают, что это не повод считать людей эталоном или что ИИ-репетиторы превосходят учителей: аннотаторы специально искали моменты, где занятие могло пройти лучше, поэтому датасет смещён в сторону упущенных возможностей, а не образцовой практики. Также отмечено, что требование строгости размечено и оценивается менее надёжно, чем подсказка: в исходной разметке всего 260 моментов, требующих строгости, против 738 моментов, требующих подсказки. При этом модели, даже при осведомлённой инструкции, используют меньше разных приёмов, чем люди, чаще всего ограничиваясь просьбой объяснить свой ответ, тогда как репетиторы-люди применяют более разнообразные стратегии и заметно чаще просто дают ученику поработать самостоятельно.

Авторы называют TutorMoments ранней стадией разработки и перечисляют ограничения: автоматическая оценка показывает, как модель действует в конкретный момент, но не заменяет исследования с настоящими учениками и реальными результатами обучения, в реплеях ученика играет другая модель, а не живой человек. Датасет узкий: только математика для начальной и средней школы США, размечена одной группой учителей, поэтому выводы могут не переноситься на другие предметы, классы или страны. Проект поддержан Gates Foundation и Learning Commons. Авторы называют это превью первым шагом к более крупному мультимодальному датасету, более надёжному пайплайну оценки и более глубокому анализу.

Ключевые факты

TutorMoments, методика оценки языковых моделей в роли репетитора: реплей реальной сессии репетиторства по математике до ключевого момента, где нужно выбрать между подсказкой и требованием строгости
Датасет TutorMoments-Preview: 462 обезличенные расшифровки занятий с учениками 2, 7 классов США, свыше 1500 размеченных ключевых моментов от 27 учителей-аннотаторов
Семь языковых моделей протестированы при простой инструкции и при инструкции, явно описывающей компромисс между подсказкой и строгостью; вторая инструкция подняла результат каждой модели, но не закрыла разрыв с людьми
Репетиторы-люди на той же методике набрали 0,458 по подсказке, 0,182 по строгости и 0,496 по избеганию чрезмерной подсказки, это ориентир, а не идеал: датасет смещён к моментам, которые могли пройти лучше
В исходной разметке 260 моментов требуют строгости против 738 моментов, требующих подсказки; модели используют меньше разных приёмов, чем люди, и реже дают ученику работать самостоятельно

Почему это важно

Языковые модели обучены быть полезными, а полезный ассистент склонен сделать за пользователя самую трудную часть работы, объяснить понятие, расписать шаги, довести до ответа. В репетиторстве это обрывает продуктивную борьбу с задачей, тот самый трудозатратный, иногда фрустрирующий процесс решения, с которым исследования обучения давно связывают более прочное понимание материала. Большинство существующих тестов для моделей-репетиторов этот компромисс не улавливают: они поощряют одно фиксированное поведение (никогда не выдавать ответ или всегда давать подсказку), не учитывая, было ли это правильным решением именно для этого ученика в этот момент. TutorMoments явно фиксирует, что хорошее репетиторство, это не одна и та же реакция на все случаи, а решение по ситуации.

Кому это важно

Датасет и код адресованы преподавателям, исследователям и командам, которые строят продукты с ИИ-репетиторами, им нужен более точный способ спрашивать, как модель справляется именно с этим педагогическим выбором, а не только с фактической правильностью ответа.

Как это применить

Авторы выложили в открытый доступ сам датасет расшифровок, код пайплайна для прогона реплеев и записи реплеев моделей по ключевым моментам, то есть команды, разрабатывающие обучающих ИИ-ассистентов, могут прогнать через методику собственную модель и сравнить её баланс между подсказкой и требованием строгости с результатами семи протестированных моделей и с ориентиром по людям-репетиторам, а также проверить, помогает ли явное описание компромисса в системном промпте.

Можно ли доверять

Источник, официальный блог-пост на площадке Hugging Face с полным текстом методологии, числами и явно описанными ограничениями, что говорит в пользу достоверности изложенных фактов. Сама методика при этом честно называет себя превью на раннем этапе: оценка меряет поведение модели в конкретный момент диалога с симулированным «эталонным» учеником, а не реальное обучение живого человека; классификатор, определяющий соответствие хода репетитора эталону, отдельно провалидирован по учительской разметке, но по требованию строгости работает менее надёжно, чем по подсказке.

Риски и подводные камни

Датасет узкий: только математика, только США, только 2, 7 классы, размечен одной группой из 27 учителей, выводы могут не переноситься на другие предметы, возраста или страны. Автоматизированная оценка не заменяет исследования с настоящими учениками и реальными результатами обучения. Разметка сама по себе асимметрична: моментов, требующих строгости, почти втрое меньше (260), чем моментов, требующих подсказки (738), и авторы прямо пишут, что оценка строгости шумнее и менее надёжна.

«Что тебе известно о том, что спрашивается в задаче?»

— иллюстративный пример реплики хорошего репетитора-человека из текста поста (не цитата конкретного человека)