Успех нейросетей-репетиторов по математике: 42,1% или 81,3%, зависит от оценки
Авторы препринта на arXiv задаются двумя вопросами: может ли одна языковая модель обнаружить ошибку ученика, выяснить, какое заблуждение за ней стоит, и исправить его в многоходовом диалоге, и можно ли доверять цифрам, которые сообщают, насколько хорошо она это делает. Для ответа они построили MisconceptDialogue, полностью автоматизированный фреймворк, который прогоняет весь этот путь целиком.
В эксперименте участвовали пять репетиторов, языковых моделей с открытыми весами размером от 7B до 14B, которые общались с учениками, смоделированными другими языковыми моделями. Всего получилось более 5 000 диалогов. Авторы подчёркивают, что протокол намеренно симулированный (парные условия, контрольная группа с неверным диагнозом, небезопасная для реальных учеников, масштаб), поэтому результаты не доказывают, что реальные школьники чему-то научатся.
Главный результат касается измерения. Оценка в стиле бенчмарков, строгое сравнение с эталоном (exact-match), распространённое в математических задачах обработки языка и названное авторами проверкой «по нижней границе», показывает долю успешного исправления заблуждения (Remediation Success Rate) 42,1%. На тех же самых диалогах LLM-судья, откалиброванный по оценкам людей, даёт 81,3%. Разница в 39,2 процентного пункта больше, чем совокупный эффект выбора модели-репетитора, педагогической стратегии и переданной репетитору диагностической информации.
Авторы утверждают, что это не артефакт одного судьи: четыре независимых LLM-судьи и 200 оценок людей сходятся с разбросом в несколько пунктов (коэффициент согласия каппа, до 0,91).
Второй результат, о возможностях. Оценка почти не меняется, говорят ли репетитору настоящее заблуждение ученика или намеренно подменённое. В проверенном формате подачи диагноза эти репетиторы, по словам авторов, почти не показывают признаков того, что надёжно опираются на выданную им диагностику.
Вывод статьи: чтобы оценка ИИ-репетиторов созрела, многокритериальная оценка с согласием нескольких судей и привязкой к людям должна стать стандартной практикой, а вопрос об измерении заслуживает такого же внимания, как вопрос о возможностях, на который оно якобы отвечает.
Ключевые факты
- MisconceptDialogue, автоматизированный фреймворк: ошибка ученика, диагноз заблуждения, исправление в диалоге; пять репетиторов с открытыми весами (7B, 14B) и более 5 000 диалогов с учениками, смоделированными языковыми моделями.
- Одни и те же диалоги дают долю успеха 42,1% при оценке в стиле бенчмарков (exact-match) и 81,3% у LLM-судьи, откалиброванного по людям.
- Разрыв в 39,2 п.п. больше совокупного эффекта модели-репетитора, стратегии обучения и переданной диагностики.
- Четыре независимых LLM-судьи и 200 оценок людей сходятся в пределах нескольких пунктов (каппа до 0,91).
- Результат почти не меняется, если репетитору сообщить подменённое заблуждение вместо настоящего; протокол симулированный и не доказывает обучение реальных школьников.
Почему это важно
Нейросети всё чаще используют как репетиторов по математике, и их успехи оценивают цифрами. Статья показывает, что сама цифра сильно зависит от способа подсчёта: на одних и тех же диалогах доля успеха составляет 42,1% или 81,3%. Разрыв в 39,2 процентного пункта, по утверждению авторов, больше совокупного влияния выбора модели, стратегии обучения и диагностической информации. То есть сравнения репетиторов между собой могут значить меньше, чем выбор метода оценки.
Второй тревожный сигнал: оценка почти не меняется, если репетитору дать вместо настоящего заблуждения подменённое. Авторы осторожно оговаривают, что это относится к проверенному формату подачи диагноза.
Кому это важно
Исследователям и разработчикам ИИ-репетиторов и образовательных нейросетей, которые сравнивают модели и публикуют показатели успеха. Также тем, кто выбирает такие продукты и читает заявления об их эффективности: цифра без описания способа оценки малоинформативна.
Как это применить
Авторы рекомендуют сделать стандартом многокритериальную оценку с согласием нескольких судей и привязкой к человеческим оценкам. На практике это значит не ограничиваться одной метрикой, сверять результаты нескольких LLM-судей и калибровать их по оценкам людей. В статье сама калибровка проверена на 200 человеческих аннотациях. Данных о выпуске кода или набора данных в тексте аннотации нет, поэтому предложенный подход пока можно использовать как методическую идею.
Можно ли доверять
Это препринт на arXiv, и приведённые выше выводы, утверждения самих авторов. Сильная сторона: результат сверен с четырьмя независимыми LLM-судьями и 200 оценками людей (каппа до 0,91), то есть авторы сами проверяют версию «один судья ошибся». Из аннотации не видно, какие именно модели и стратегии тестировались и какое правило сверки использовалось, поэтому проверить детали можно только по полному тексту статьи.
Риски и подводные камни
Ученики в эксперименте смоделированы языковыми моделями, и авторы прямо пишут, что результаты не доказывают обучение реальных школьников. Тестировались только репетиторы с открытыми весами размером 7B, 14B, так что переносить выводы на более крупные модели нельзя. Оценка по строгому совпадению названа авторами проверкой «по нижней границе», поэтому 42,1% нельзя считать «настоящим» результатом, как и 81,3%. Наконец, вывод о слабой опоре на диагноз сделан для конкретного формата его подачи и может не распространяться на другие.
«Вопрос об измерении заслуживает не меньшего внимания, чем вопрос о возможностях, на который оно якобы отвечает.»
— из аннотации статьи о MisconceptDialogue (arXiv)