ИИ при проверке работ: спасение для перегруженных преподавателей или халтурный обходной путь?

Армин Алимардани — преподаватель права и технологий в Западном Сиднейском университете. У него синие волосы, он выглядит молодо, носит умные часы и называет себя энтузиастом технологий. При этом именно он предупреждает, что распространение генеративного ИИ при проверке заданий может стать угрозой для высшего образования.

Алимардани уже несколько лет изучает ИИ и экспериментирует с ним. Сейчас он находится в Палермо, где участвует в университетских семинарах о технологиях. По его словам, в последнее время коллеги спрашивают, поможет ли ИИ снизить нагрузку от проверки работ. Алимарадани считает такие разговоры крайне тревожными и призывает университеты осторожно выбирать дальнейший путь: он опасается, что высшее образование может рухнуть.

Использование ИИ для проверки заданий — уже не отвлечённая идея: университеты внезапно оказались перед выбором. Западный Сиднейский университет — один из нескольких австралийских вузов, разрешающих преподавателям применять ИИ при оценке работ и подготовке отзывов студентам.

Критики предупреждают, что даже ограниченное использование ИИ может привести к замене работы преподавателей алгоритмами в центрах обработки данных. Кроме того, может возникнуть замкнутый круг: студенты сдают задания, созданные ИИ, а преподаватели проверяют их с помощью ИИ.

Алимардани отмечает, что студенты и без того испытывают финансовые трудности. Если они не получают содержательных отзывов, сомневаются, что диплом будет ценен для работодателей, и не верят, что он поможет найти работу, у них возникает вопрос, зачем вообще поступать в университет.

Такие же разрешения, как Западный Сиднейский университет, действуют в Университете Ньюкасла в Новом Южном Уэльсе, Университете Дикина и RMIT в штате Виктория, а также в Университете Аделаиды в Южной Австралии. Везде это условное разрешение. Например, в Университете Ньюкасла студенты могут отказаться от использования ИИ, а Университет Дикина разрешает преподавателям применять его, чтобы повысить эффективность и поддержать оценивание и административную работу, но не для выставления оценок.

Представитель Западного Сиднейского университета сообщил, что вуз придерживается человекоцентричного подхода к использованию генеративного ИИ при оценивании. По его словам, преподаватели могут применять инструменты ИИ для отдельных этапов проверки и подготовки отзывов, но академические решения, выставление баллов и оценок, а также обратная связь всегда должны оставаться ответственностью преподавателей.

Алимардани признаёт, что ИИ способен повысить качество проверки, если использовать его как «вторую пару глаз». Он работает над созданием моделей, которые находят несоответствия в оценках преподавателей. Возможная помощь ИИ появляется на фоне серьёзной перегрузки сотрудников университетов: многие из них, по словам Алимардани, работают на пределе, а проверка занимает значительную часть их времени.

Однако предполагаемая польза ИИ при проверке работ в основном не подтверждена испытаниями. Алимардани считает, что из-за возможных рисков такие заявления нужно проверять медленно и тщательно. Он сомневается, что ИИ вообще можно масштабно использовать для ускорения проверки без серьёзных последствий.

Представим, говорит он, что 100 преподавателей получили инструмент для проверки с помощью ИИ и должны перепроверять его оценки. Даже если 80 человек будут выполнять это требование, оставшиеся 20 могут этого не делать.

Алимардани называет такой процесс «дрейфом проверки»: после нескольких работ, которые ИИ оценил без видимых ошибок, преподаватель, сам часто перегруженный, постепенно перестаёт внимательно контролировать результаты. В итоге галлюцинации ИИ могут принять за факты.

По словам Алимардани, подобные скандалы почти неизбежны. Они могут испортить репутацию университетов и вызвать у студентов чувство несправедливости, заставив их усомниться в ценности высшего образования. Возможно, поэтому некоторые крупные вузы — Университет Нового Южного Уэльса, Мельбурнский университет и Сиднейский университет — не разрешают использовать генеративный ИИ для проверки работ, хотя охотно допускают его в других аспектах обучения.

Решения пока нет

Некоторые университеты уже определились с позицией, а другие всё ещё рассматривают, как использовать ИИ для проверки работ.

Представитель Университета Монаша заявил, что сейчас ИИ не применяют при оценивании. При этом вуз преобразует систему оценивания в рамках комплексной программы, которая предполагает внедрение ИИ в преподавание и оценивание для поддержки обучения студентов.

Похожие ответы дали университеты Вуллонгонга и Джеймса Кука. Некоторые другие вузы, похоже, напрямую на вопрос не ответили.

Представитель Университета Квинсленда заявил, что преподаватели обязаны подтверждать достижение всех заявленных результатов обучения и соответствие оценок уровню знаний студентов. По его словам, университет ожидает, что работы будут оценивать преподаватели, и разрабатывает правила, которые сохранят это требование в эпоху ИИ.

В конце августа Квинслендский технологический университет разослал сотрудникам письмо о «проекте по совершенствованию оценивания». В нём говорилось, что это общевузовская инициатива по преобразованию системы оценивания, чтобы она оставалась достоверной, заслуживающей доверия, масштабируемой и готовой к будущему в образовательной среде, где всё шире применяется ИИ. Проект находится на начальном этапе, а университет собирает мнения о текущем опыте, сложностях и возможностях на всех этапах оценивания.

Один из преподавателей Квинслендского технологического университета пошутил, что корпоративный язык письма звучит так, будто ИИ сообщает сотрудникам, что собирается отнять у них работу.

Старший коллега, также попросивший не называть его имени, рассказал, что преподаватели отреагировали на письмо с широкой тревогой. По его мнению, хотя формулировки письма вызывают опасения своей расплывчатостью, оно, похоже, даёт понять, что университет будет сокращать долю ручной проверки, если это окажется возможным. При этом преподаватели на временных контрактах часто зависят от проверки работ как основного источника дохода в и без того нестабильной сфере. Сотрудники опасаются, что их должности могут сократить.

Зачем проверять работы ИИ, если студентам нельзя им писать?

Некоторые сотрудники также беспокоятся об экологических и этических последствиях использования ИИ. Многие сомневаются, что он способен надёжно и точно оценивать работы, особенно с учётом низкого качества текстов, созданных ИИ, которые некоторые студенты пытаются выдать за собственные.

Один из преподавателей Квинслендского технологического университета говорит, что студентам постоянно объясняют: использование ИИ при выполнении заданий связано с проблемами академической честности. По его мнению, университетам стоит задуматься, какое послание они отправят студентам, если сами начнут применять ИИ для оценки их работ.

Алекс Кэмерон, студент творческого и профессионального письма в Квинслендском технологическом университете, считает, что посыл будет очевиден: тогда можно поручить ИИ вообще всё — написать задания и получить диплом.

Кэмерон редактирует журнал Glass Magazine при университете. Он рассказывает, что три года учёбы в вузе стали для него прекрасным временем: он был окружён интересными людьми со схожими взглядами. По его словам, именно в этом и заключается смысл университета.

При этом Кэмерон говорит, что не заплатил бы 1000 долларов за диплом, если бы его работы оценивал ИИ, и сомневается, что многим его однокурсникам понравилась бы такая перспектива. Он был бы в ярости: студентам важно писать для людей, получать отзывы от людей и знать, что их работы читали люди.