StudentBench: ИИ-репетиторы не уступают экспертам-людям в подготовке к GRE
Исследователи представили StudentBench, набор тестов для оценки ИИ-репетиторов и публичную платформу, на которой собрано свыше 175 000 сообщений между студентами и ИИ. На основе этой платформы провели эксперимент с 2383 участниками: одни готовились к количественной и вербальной частям экзамена GRE с помощью ИИ-репетитора, другие, с репетитором-человеком, третьи занимались без репетитора вовсе. Итог: прирост знаний от ИИ-репетиторов статистически эквивалентен приросту от экспертных репетиторов-людей (p = .015), а в пяти из семи доменов GRE лучший ИИ-репетитор в среднем даже превзошёл человека.
Во втором эксперименте эксперты-люди сравнили планы уроков и практические задачи, сгенерированные языковыми моделями, проведя 2028 попарных оценок по рубрике. Вместе два эксперимента позволили сравнить ИИ-репетиторов по пяти параметрам: планированию уроков, созданию практических задач, педагогике в диалоге, стоимости и вовлечённости учеников.
Отдельно отмечен неожиданный результат: один из ИИ-репетиторов добился прироста знаний, статистически равного человеческому (p = .044), при цене 0,0052 доллара за процентный пункт прироста против 4,81 доллара у репетитора-человека, то есть в 918 раз дешевле. Также для занятий по количественной части GRE обнаружена связь: чем быстрее отвечал ИИ, тем больше сообщений писал студент, чем больше сообщений, тем больше правильно решённых практических задач, а чем больше правильных решений, тем выше итоговый прирост знаний (во всех случаях p < .002). Платформа StudentBench находится в свободном доступе на studentbench.org. Имена авторов, названия конкретных ИИ-моделей, дата исследования и состав контрольной группы «без репетитора» в тексте не раскрываются.
Ключевые факты
- Платформа StudentBench собрала свыше 175 000 сообщений между студентами и ИИ-репетиторами.
- В эксперименте участвовали 2383 человека: группы с ИИ-репетитором, с репетитором-человеком и без репетитора, готовившиеся к GRE.
- Прирост знаний от ИИ статистически равен приросту от экспертов-людей (p = .015); в 5 из 7 доменов GRE лучший ИИ-репетитор в среднем обошёл человека.
- Один ИИ-репетитор показал результат, равный человеческому (p = .044), при цене 0,0052 доллара за процентный пункт прироста против 4,81 доллара у человека, дешевле в 918 раз.
- Во втором эксперименте эксперты-люди провели 2028 попарных сравнений планов уроков и задач, сгенерированных языковыми моделями.
Почему это важно
Это одно из первых крупномасштабных строгих исследований, напрямую сравнивающих обучающий эффект ИИ-репетиторов и экспертов-людей на реальном экзамене (GRE), а не на синтетических метриках. Полученный статистический паритет по приросту знаний при огромной разнице в стоимости показывает, что персональное репетиторство с помощью ИИ может масштабироваться там, где человеческие ресурсы ограничены.
Кому это важно
Абитуриентам и студентам, готовящимся к стандартизированным экзаменам вроде GRE; edtech-компаниям и разработчикам обучающих ИИ-продуктов; исследователям в области образования, которые получают открытую платформу и бенчмарк для дальнейших тестов.
Как это применить
Платформа StudentBench доступна бесплатно на studentbench.org и может использоваться для оценки собственных ИИ-репетиторов по пяти параметрам, планированию уроков, созданию задач, диалоговой педагогике, стоимости и вовлечённости. В источнике не названы конкретные модели, использованные в тестах, поэтому напрямую выбрать «лучшего» ИИ-репетитора по бренду не получится.
Можно ли доверять
Выводы подкреплены статистической значимостью (p = .015 и p = .044) на выборке из 2383 участников и более 2000 экспертных попарных оценок, методология выглядит основательной. При этом в доступном тексте не указаны авторы, их институциональная принадлежность, дата исследования, конкретные названия протестированных ИИ-моделей и точное содержание контрольной группы «без репетитора», это стоит учитывать при оценке независимости и воспроизводимости результатов.
Риски и подводные камни
Результаты получены на узкой задаче, подготовке к GRE, и могут не переноситься на другие предметы или форматы обучения. Экономия в 918 раз относится только к одному конкретному ИИ-репетитору из нескольких протестированных, а не ко всем ИИ-инструментам в среднем. Отсутствие раскрытых моделей и авторов затрудняет независимую проверку и воспроизведение результатов.
«Мы показываем, что ИИ-репетиторство статистически эквивалентно экспертному человеческому репетиторству по приросту знаний на GRE.»
— авторы исследования StudentBench