Симулируя обучение учеников, можно улучшить ИИ-тьюторов

В исследованиях проверяют, как ИИ-тьюторы могут объяснять математические задачи, предлагать правки к письменным работам и помогать разбирать шахматные позиции. Но качество преподавания нельзя оценить только по ответу тьютора: нужно понять, что происходит после его подсказки. Исправил ли ученик ошибку? Помогла ли подсказка рассуждать или раскрыла ответ? Нужна ли другому ученику иная помощь? Сейчас для этого часто проводят исследования с реальными учащимися. Они полезны, но требуют времени и денег, поэтому обратную связь от учеников трудно учитывать при быстрой доработке моделей.

StudentSim создаёт персональные ИИ-симуляторы отдельных учеников. Они воспроизводят, как те отвечают на вопросы и как меняют ответы после рекомендаций тьютора. Система призвана сделать обратную связь доступнее при разработке ИИ-тьюторов. В работе также представлены StudentSimEval — бенчмарк и протокол оценки для шахмат, письма на английском как втором языке и математики.

StudentSim не предназначена для замены учителей или занятий в классе. Она помогает исследователям оценивать и улучшать ИИ-тьюторов на этапе разработки, до испытаний с реальными учащимися. Для исследования использовали только открытые учебные наборы данных, опубликованные для научных работ и обезличенные. Персональные данные не применялись ни на одном этапе.

Как оценивать симулятор ученика

Простой способ создать симулятор — попросить большую языковую модель сыграть роль ученика. Например, промт может предлагать ей представить младшего школьника, которому трудно даётся математика. Модель способна изменить тон ответа и выражать неуверенность. Сложнее сохранить реальный предел знаний ученика: модель может говорить голосом ребёнка, но при этом использовать знания и рассуждения, недоступные ему. Тогда обратная связь для обучения тьютора окажется обманчивой: симулируемый ученик слишком способный, и тьютор выглядит эффективнее, чем есть на самом деле.

У традиционных методов моделирования учеников другая проблема. Модели отслеживания знаний и предсказания поведения опираются на реальные учебные записи и позволяют оценивать знания, навыки и привычки ученика. Однако многие из них не умеют учитывать рекомендации тьютора на естественном языке. Такие модели описывают, что ученик уже сделал, но не всегда предсказывают, как он ответит на конкретное объяснение, подсказку или сократический вопрос.

StudentSim задаёт две цели оценки, опираясь на исследования в области образования. Педагоги различают то, что ученик умеет делать самостоятельно, и то, что ему удаётся с помощью. Зона ближайшего развития Льва Выготского описывает разрыв между этими двумя уровнями. В StudentSim эта идея превращена в две метрики:

Источник: microsoft.com

Эти цели дополняют друг друга. Симулятор, который лишь воспроизводит прошлое поведение ученика, может быть полезен для предсказаний, но не показывает, помогло ли обучение. А симулятор, который всегда следует рекомендациям тьютора, может отвечать связно, но не отражать сильные и слабые стороны конкретного ученика и его вероятные ошибки. Для обучения ИИ-тьютора нужны оба вида обратной связи: исходный уровень ученика и то, как рекомендации влияют на его результат.

Как обучают персональные симуляторы

StudentSimEval полностью построен на открытых учебных наборах данных, опубликованных для исследований и обезличенных. В них нет персональных данных, а каждый персональный симулятор обучается только на записях того ученика, которого он представляет.

Данных об отдельном ученике часто мало: он может оставить лишь несколько эссе, ответов или записей взаимодействия. Если обучать для каждого отдельный симулятор с нуля, модель рискует переобучиться и будет заново осваивать общие закономерности предметной области.

StudentSim использует двухэтапный дата-пайплайн. Сначала модель обучают на записях многих учеников в одной области. На этом этапе она усваивает типичные формы ответов, распространённые ошибки и способы, которыми ученики меняют работу после рекомендаций. Затем модель дополнительно обучают на записях одного ученика и получают персональный симулятор.

StudentSimEval оценивает, насколько симулятор воспроизводит самостоятельное поведение ученика и реагирует на подсказки

Источник: microsoft.com

Оценка охватывает три области с разными типами ответов:

Во всех трёх областях StudentSimEval сравнивает методы на одних и тех же учебных записях каждого ученика и на одинаковых отложенных данных.

StudentSim сначала обучается общему поведению учеников на объединённых записях, а затем адаптируется к данным каждого ученика

Источник: microsoft.com

StudentSim превзошла ведущие базовые модели во всех трёх областях. В шахматах её показатель поведенческого соответствия составил 0,5150, а показатель реакции на помощь — 0,9067. У GPT-5.4 результаты составили соответственно 0,2316 и 0,7186. Maia2 — модель, предсказывающая ходы людей в шахматах, — получила 0,4535 и 0,2721.

Сравнение показывает разницу между двумя типами базовых моделей. GPT-5.4 может реагировать на рекомендации, но не всегда точно воспроизводит поведение конкретного ученика. Maia2 лучше предсказывает ходы людей, но не умеет учитывать рекомендации на естественном языке.

В шахматах StudentSim точнее воспроизводит поведение и лучше реагирует на подсказки, чем ведущие базовые модели

Источник: microsoft.com

Как симулируемая обратная связь улучшает тьюторов

Исследователи также проверили, можно ли использовать обученный симулятор ученика для настройки тьютора. В эксперименте с обучением шахматного тьютора с подкреплением тьютор получает позицию и предыдущий ошибочный ход реального ученика, а затем предлагает ему рекомендацию. Параметры симулятора во время этого процесса остаются неизменными. Он читает рекомендацию и выдаёт исправленный ход. Награда зависит от того, насколько качество хода улучшилось по сравнению с предыдущим ходом ученика; оценку даёт Stockfish, независимый шахматный движок.

В исследовании сравнили три варианта:

Во всех вариантах использовались одна политика тьютора, одинаковая начальная модель после обучения с учителем и одинаковая схема обучения с подкреплением. Затем шахматные эксперты оценивали ответы тьюторов, не зная, к какому варианту они относятся.

StudentSim может обеспечивать обратную связь при обучении ИИ-репетитора с подкреплением, оценивая, как меняется ответ ученика после подсказки

Источник: microsoft.com

Тьютор, обученный с вознаграждением от StudentSim, получил самые высокие оценки по всем опубликованным показателям. Его точность составила 90,5% против 75,7% у варианта без обучения с подкреплением и 71,6% у варианта с вознаграждением от GPT-5.4. Он также получил более высокие оценки за качество рекомендаций и их соответствие потребностям ученика. Результат показывает, что симуляторы, обученные на реальных учебных данных, могут давать полезную обратную связь для улучшения ИИ-тьюторов.

Что дальше

StudentSim не отменяет необходимость проводить исследования с реальными учащимися. Такие исследования по-прежнему нужны, чтобы оценивать результаты обучения, безопасность, удобство использования и соответствие занятий условиям класса. Симуляторы нужны на более раннем этапе: с их помощью исследователи могут проверять стратегии тьюторов, сравнивать модели и уточнять сигналы для обучения до более дорогих испытаний с учениками.

Более широкая задача — создавать ИИ-тьюторов, которые учатся на реакции учеников, а не только на объяснениях, написанных экспертами, или на статичных метках правильности. StudentSim предлагает один из подходов: обучать персональные симуляторы на реальных учебных записях, оценивать их по самостоятельным ответам и реакции на рекомендации, а затем использовать как масштабируемый источник обратной связи для обучения тьюторов. В дальнейшей работе авторы планируют расширить подход на более длинные траектории обучения, дополнительные предметы, более подробные профили учеников и исследования, которые свяжут симулируемую обратную связь с результатами реального обучения.

Статья, код обучения и оценки StudentSim, а также протокол StudentSimEval доступны публично.

Авторы

Области исследований