ИИ-репетитор Khanmigo дал скромный прирост в математике: эксперимент в школах Теннесси

Опубликована научная работа (рабочий доклад) с одними из первых, по словам авторов, крупных экспериментальных данных об ИИ-репетиторстве. Генеративный ИИ часто называют технологией, способной дать каждому ученику личного репетитора; эксперимент проверил, так ли это на практике.

Это двухлетнее кластерное рандомизированное исследование в 18 средних школах штата Теннесси. Случайно выбранные ученики занимались на Khan Academy с ИИ-репетитором Khanmigo, который был настроен не выдавать готовые ответы, а подсказывать и направлять. Занятия шли в рамках уже существующих ежедневных коррекционных уроков математики.

Результат скромный. Назначение в группу с Khanmigo повышает успеваемость по математике на 1,3 национального процентильного ранга за семестр (term), что соответствует примерно 0,06, 0,08 стандартного отклонения за учебный год. Если пересчитать на полный год активного участия (а не просто назначения в группу), подразумеваемый эффект достигает 0,14 стандартного отклонения. Авторы отмечают, что эти приросты похожи на те, что даёт практика на Khan Academy без помощи ИИ.

Одно из объяснений, которое предлагают авторы, низкая вовлечённость. 96% учеников хотя бы раз попробовали Khanmigo, но медианный ученик писал ему лишь в трети дней, когда занимался, и лишь в 17% упражнений, в которых допустил ошибку. Сообщения, которые ученики всё-таки отправляли, в основном были голыми ответами или нажатиями на готовые подсказки-кнопки, а не содержательным математическим диалогом.

Вывод авторов: ограничивающим фактором, по-видимому, служит вовлечённость. Чтобы реализовать потенциал ИИ-репетиторства, нужно добиться, чтобы ученики им пользовались, а не просто дать им доступ.

Ключевые факты

Двухлетнее кластерное рандомизированное исследование в 18 средних школах Теннесси; ученики занимались на Khan Academy с ИИ-репетитором Khanmigo на ежедневных коррекционных уроках математики.
Khanmigo был настроен тренировать, а не давать готовые ответы.
Эффект назначения: +1,3 национального процентильного ранга за семестр, около 0,06, 0,08 стандартного отклонения за учебный год; при полном годе активного участия подразумеваемый эффект, 0,14 стандартного отклонения.
Приросты сходны с теми, что даёт практика на Khan Academy без ИИ.
96% учеников пробовали Khanmigo, но медианный ученик писал ему лишь в трети дней занятий и в 17% упражнений с ошибкой; сообщения в основном были голыми ответами или кликами по подсказкам.

Почему это важно

ИИ-репетитор для каждого ученика, одно из главных обещаний генеративного ИИ в образовании. Авторы называют работу одним из первых крупных экспериментальных свидетельств на эту тему. Результат охлаждает ожидания: эффект положительный, но умеренный и по описанию похож на эффект обычной практики на Khan Academy без ИИ. Главная причина, которую называют авторы, не в возможностях модели, а в том, что ученики мало ею пользуются.

Кому это важно

Школам и управленцам в образовании, которые решают, закупать ли ИИ-репетиторов. Разработчикам образовательных продуктов, которым важно, как устроено взаимодействие ученика с ИИ. Исследователям образования и всем, кто следит за реальной, а не рекламной эффективностью ИИ в обучении.

Как это применить

Практический вывод авторов: одного доступа к ИИ-репетитору недостаточно, нужно добиваться, чтобы ученики им действительно пользовались. Данные показывают, где именно проседает использование: ученики редко пишут репетитору после ошибки, а когда пишут, чаще отправляют голые ответы или нажимают на готовые подсказки, чем ведут диалог. Это ориентир для настройки внедрения и интерфейса: важна не только модель, но и то, как мотивировать ученика обращаться к ней.

Можно ли доверять

Источник, аннотация научной работы (EdWorkingPaper), то есть авторское описание собственных результатов. Эксперимент рандомизированный и двухлетний, что сильная схема для такого вопроса. Вместе с тем в доступном тексте не названы авторы и организации, не указаны число учеников, классы и учебные годы, не приведены доверительные интервалы и p-значения. Не сказано и то, было ли сравнение с Khan Academy без ИИ отдельной группой эксперимента или внешним ориентиром. Объяснение низкой вовлечённостью подано авторами как одно из возможных объяснений («one explanation»), а не как доказанная причина.

Риски и подводные камни

Не стоит читать результат как вердикт всему ИИ-репетиторству: проверялся один продукт, настроенный подсказывать, а не давать ответы, в конкретных условиях коррекционных уроков математики в средних школах Теннесси. Не стоит путать цифры: 0,06, 0,08 стандартного отклонения, эффект назначения в группу за учебный год, а 0,14, подразумеваемый эффект полного года активного участия. Без полного текста работы нельзя судить о статистической значимости и о том, как менялась бы картина при другой настройке или при более высокой вовлечённости учеников.

«Ограничивающим фактором, по-видимому, является вовлечённость: чтобы реализовать потенциал ИИ-репетиторства, нужно добиться, чтобы ученики им пользовались, а не просто дать им доступ.»

— из аннотации работы