ИИтог

Новый AI-репетитор показал эффект 0,71, 1,30 сигма в курсе Дартмута

исследованияРедакция ИИтогHacker News🔥67Рейтинг ИИтог · значимость 63 · 146 баллов · 13/ч · 89 коммент.

Группа исследователей внедрила платформу Phosphor (AI-система оценивания тестов) в курс статистики на Дартмуте и отчиталась о значительных эффектах для студентов, которые активно использовали сервис: улучшение на 0,71, 1,30 стандартного отклонения. Платформа обеспечила добровольное участие в 90% случаев, превышив типовые показатели для дополнительных вмешательств.

Исследование подчёркивает зависимость результата от интенсивности: полное вовлечение (регулярное выполнение тестов) дало наибольший прирост. Однако методология вызвала серьёзные возражения экспертов: отсутствует рандомизация, основным потенциальным смешивающим фактором остаётся самоотбор (мотивированные студенты делают больше тестов и учатся лучше независимо от платформы). Из всех участников лишь 11% (около 16 студентов) достигли уровня "полного вовлечения". Преподаватели изменяли формат тестов по ходу исследования на основе промежуточных результатов, что создаёт проблему обратной причинности. Улучшение на 0,7 сигма трансформируется в 3 балла из 24 на финальном экзамене, величина, уязвимая для множества конкурирующих объяснений. Авторы исследования возражают, что зависимость "доза-результат" (dosage-performance) проявляется и у студентов с низкой мотивацией, что указывает на эффект платформы, а не только на селекцию.

Ключевые факты

  • AI-платформа Phosphor показала эффект 0,71, 1,30 SD в статистическом курсе, но только среди активных пользователей (11% от выборки)
  • Добровольное участие достигло 90%, что значительно выше типовых показателей для дополнительных образовательных вмешательств
  • Критическая проблема: отсутствие рандомизированного контроля и возможность смещения отбора (мотивированные студенты учатся лучше в принципе)
  • Фактическое улучшение эквивалентно 3 баллам на 24-балльном экзамене, величина, чувствительная к конфаундингу и совпадению вопросов на экзамене
  • Исследование решает практическую проблему низкого использования учебников (базовый уровень 10, 15%), но методологические вопросы снижают убедительность выводов

Почему это важно

Образование давно ищет способ преодолеть известный эффект "двух сигм" (two sigma problem), разницу в результатах между индивидуальным обучением и групповым. Параллельно существует хронический вызов: студенты редко читают учебники добровольно (базовый показатель 10, 15%). Phosphor атакует обе проблемы одновременно: AI-система оценивания делает обратную связь автоматической, снижает барьер к практике, и 90% добровольного участия указывает на высокий спрос. Если методология подтвердится, это может изменить масштабируемость дополнительных вмешательств в высшем образовании.

Кому это важно

В первую очередь, преподавателям статистики и других дисциплин с практической компонентой, которые борются с невниманием студентов к учебному материалу. Учебные заведения видят в подобных технологиях способ повысить результативность при ограниченных ресурсах на преподавателей. Исследователи в области EdTech отслеживают инструменты, которые достигают высокой естественной адоптации (90%, редкость для добровольных вмешательств). Технологические компании анализируют, какой реальный эффект даёт AI-система оценивания в реальном курсе.

Как это применить

Модель предполагает минимальное трение: платформа интегрируется в существующий курс, студенты используют её добровольно (без принуждения), получают мгновенную обратную связь на каждый ответ. Высокий процент участия (90%) может быть результатом удобства или мотивирующего дизайна. Для внедрения в других контекстах требуется воспроизведение условий: возможно, платформа сработала благодаря качеству тестов или интеграции с экзаменом. Масштабирование потребует отлаживания для разных дисциплин и когорт.

Можно ли доверять

Методология имеет серьёзные ограничения, которые сильно снижают доверие к причинному выводу. Главная проблема, отсутствие рандомизированного контроля: студенты, которые активно пользуются платформой, могут быть изначально более мотивированными или способными, чем те, кто её избегает. Авторы пытаются контролировать смешивающие факторы (например, баллы на промежуточном тесте), но это неполная защита. Вторая проблема: преподаватели меняли формат тестов по результатам, что создаёт обратную причинность. Третья: вопросы на платформе и финальном экзамене могут пересекаться. Авторы приводят доказательство (доза-результат коррелирует даже в группе с низкой мотивацией), но это косвенное, а не прямое опровержение смещения отбора.

Риски и подводные камни

Главный риск, эффект новизны. Студенты часто охотнее участвуют в экспериментах, потому что это ново и интересно, а не потому что технология эффективна. На масштабе эффект может ослабнуть. Вторая опасность: реальное улучшение (3 балла из 24) может быть объяснено совпадением вопросов между платформой и экзаменом, а не глубоким усвоением материала. Третий риск: 11% полного вовлечения означает, что большинство студентов использовали платформу эпизодически, и для них эффект неясен, это ограничивает применимость. Также нужно учитывать, что данные, один курс, один университет, одна дисциплина (статистика).

«Вывод по сути сводится к тому, что люди, которые выполняют практические тесты, будут лучше писать экзамены»

— Комментарий на Hacker News об исследовании Phosphor