Двухлетнее исследование: запрет ИИ в вузах ухудшает результаты студентов

Тибо Шрепель из Свободного университета Амстердама случайным образом разделил студентов курса «Право ИИ» на три группы. Все получили одинаковое задание: работая командами по четыре–пять человек, за 20 минут улучшить одно из положений Закона ЕС об ИИ. Работу оценивали по содержанию, ясности, соразмерности и новизне.

Первая группа не могла пользоваться ChatGPT. Вторая получила встроенные в текст предложения по редактированию, сгенерированные ChatGPT, и могла продолжать пользоваться инструментом, но не получила инструкций по работе с ним. Третья прошла практическое обучение составлению юридических промтов и проверке предложений ИИ на последовательность и точность.

Все студенты сдавали одинаковые экзамены: тест с вариантами ответа и экзамен на дом, где требовалось переработать другое положение Закона ЕС об ИИ. Эксперимент провели в 2024 году с 66 студентами, а в 2025-м повторили с 164 участниками.

Группа без ИИ быстро исчерпала идеи

Участники без ИИ в основном ограничивались небольшими правками: делали формулировки понятнее и убирали повторы. Лишь несколько подгрупп попытались внести содержательные изменения в юридическую норму. Через 10–15 минут многие команды регулярно переставали находить новые идеи — этот эффект Шрепель называет «истощением идей». При этом отсутствие ИИ заставляло участников глубже обсуждать задачу между собой.

Вторая группа в основном принимала предложения ИИ без проверки, рассуждая, что они просто «звучат лучше». Некоторые студенты заменяли слова «shall» и «individual» на предложенные ChatGPT варианты, не показывая, что понимают юридические последствия такой замены. В каждой подгруппе в итоговом тексте оставалось как минимум одно вводящее в заблуждение или юридически лишнее слово из ответа ChatGPT.

Только третья, обученная группа действительно вела диалог с ИИ: проверяла разные формулировки и разбирала содержательные вопросы, лежавшие в основе задания.

Преимущество обучения почти исчезло за год

В 2024 году обученная группа заметно опередила две другие, особенно на более сложном экзамене на дом. Через год разрыв почти исчез: в 2025 году все три группы показали примерно одинаковые результаты.

Шрепель связывает это с тем, что студенты стали лучше знакомы с чат-ботами. Многие уже используют такие инструменты в повседневной жизни, поэтому формальное обучение в 2025 году дало меньший прирост, чем годом ранее. При этом, добавляет исследователь, этическому использованию ИИ и юридической ответственности всё равно нужно учить.

Один результат сохранялся оба года: группа без ИИ занимала последнее место. По выводу Шрепеля, запрет ИИ даёт худшие средние результаты, чем разрешение пользоваться им. Остаётся неясно, связано ли преимущество с систематическим обучением или достаточно практического опыта работы с инструментом.

Исходное предположение автора оказалось ошибочным

Результаты второй группы удивили Шрепеля. Он ожидал, что некритичные ошибки, допущенные во время работы в классе, повторятся на экзамене. Произошло обратное: ошибки не воспроизвелись, а группа даже набрала немного больше баллов, чем участники без ИИ. По мнению исследователя, наиболее вероятное объяснение заключается в том, что студенты учатся замечать слабые стороны ИИ благодаря собственному опыту — особенно когда от точности зависит результат.

После этого Шрепелю пришлось отказаться от первоначальной позиции. Раньше он был убеждён, что ИИ приносит пользу только при структурированном обучении и без него должен оставаться за пределами аудитории. Теперь исследователь признаёт, что ошибался. Пропуск обучения работе с ИИ лишает студентов полезной возможности, но не приводит к образовательному краху, которого ожидали некоторые критики.

Университетам стоит пересмотреть запреты

Шрепель считает, что руководителям факультетов следует отказаться от безусловных запретов на ИИ и дать преподавателям возможность экспериментировать. Университетам также нужно вкладываться в обучение сотрудников работе с ИИ: многие преподаватели считают, что им не хватает необходимых навыков.

Переосмысления требует и традиционная магистерская диссертация. Её основная ценность — длительная работа с исследованием и аргументацией — теперь может быть выполнена с помощью ИИ за несколько минут. По мнению Шрепеля, одного обзора литературы уже недостаточно. Учебные программы должны требовать практические или эмпирические исследования, где продуманное использование ИИ входит в оценку работы.

Однако все университеты движутся в другом направлении. Berkeley Law при Калифорнийском университете запретила ИИ почти во всех оцениваемых заданиях. Руководство объясняет это тем, что будущим юристам сначала нужно развить базовые навыки мышления и только потом использовать ИИ с пользой. Такая позиция прямо расходится с результатами Шрепеля: они показывают, что исключение ИИ из учебного процесса ухудшает результаты студентов независимо от причин запрета.

Исследователь признаёт ограничения своей работы:

Последний фактор особенно важен, поскольку другие исследования показывают наиболее заметное влияние ИИ на работу без контроля. Исследование Калифорнийского университета в Беркли, охватившее более 500 000 оценок, показало: после запуска ChatGPT доля оценок A на курсах с большим объёмом письменных заданий и программирования выросла на 13 процентных пунктов. На экзаменах под наблюдением сопоставимого изменения не было.

Продольное исследование более 26 000 школьников K–12 в центральном Китае дало похожий результат с другой стороны. ИИ повысил оценки за домашние задания, но результаты экзаменов снизились — максимум на 24%. Наибольший вред наблюдался там, где ИИ заменял самостоятельное мышление, а не помогал ему.