«Крайне разочаровано»: власти Западной Австралии требуют от Deloitte вернуть деньги за ошибочный доклад об университетах

Правительство Западной Австралии заплатило Deloitte 166 000 долларов за исследование возможности объединить Университет Западной Австралии, Университет Кёртина и Университет Мёрдока.

Deloitte рассмотрела три варианта объединения этих вузов и для каждого рассчитала низкий, средний и высокий сценарии затрат. Расчёты компания привела в приложении к докладу.

В сценарии с высокими затратами на объединение Университета Кёртина и Университета Западной Австралии расходы к первому дню после слияния составляют 514 млн долларов, а за следующие пять лет — ещё 145 млн. В сумме выходит 659 млн долларов, однако в докладе указано 399 млн — расхождение составляет 260 млн.

Профессор Стивен Бартос, специалист по управлению в государственном секторе из Университета Канберры, заявил, что ошибки подрывают доверие к докладу.

По его мнению, недочёты настолько многочисленны, что нужен новый доклад или как минимум ручная проверка и переработка материалов с самого начала — без использования ИИ. Бартос добавил, что ошибки в таком исследовании дискредитируют его, особенно когда речь идёт о спорной теме вроде объединения университетов, и Deloitte не должна была их допустить.

В сценарии с низкими затратами на объединение Университета Кёртина, Университета Западной Австралии и Университета Мёрдока расходы к первому дню составляют 396 млн долларов, а за следующие пять лет — 116 млн. Итого получается 512 млн, но в докладе эти суммы сложены в 823 млн. Расхождение — 311 млн долларов.

В начале октября СМИ сообщили, что в том же докладе есть ссылки, сгенерированные ИИ. После этого оппозиция штата назвала документ «мусором от ИИ». Deloitte указала в докладе, что генеративный ИИ помогал собирать исследования, обобщать информацию и вычитывать текст. Ранее компания назвала обнаруженные ошибки незначительными.

Представитель правительства Западной Австралии сообщил Guardian Australia, что Департамент энергетики и экономической диверсификации направил Deloitte письмо с требованием ускорить возврат средств за доклад.

Правительство заявило, что крайне разочаровано обнаруженными ошибками. По словам представителя, они, как считают власти, не влияют на модель и выводы исследования. Deloitte исправит недочёты в ходе проверки и выпустит доклад заново. Все доступные данные, а также новая информация будут рассмотрены при подготовке бизнес-обоснования реформы университетов.

Министр высшего образования Западной Австралии Тони Бути сначала назвал ошибки опечатками, но на следующий день сказал, что злится и разочарован работой Deloitte.

Guardian Australia обнаружила, что в ссылке на доклад Всемирной организации здравоохранения есть метка ChatGPT в метаданных. Это указывает, что ссылка могла быть взята непосредственно из чат-бота.

В докладе Университет Кёртина неоднократно назван Университетом технологии Кёртина. Учебное заведение отказалось от этого названия в 2010 году, а в 2017-м его официально изменили законом парламента штата.

Бартос заявил, что столь значительные расхождения в цифрах вызывают беспокойство. По его словам, правительство может отказаться от объединения, если расчёты не сходятся.

Профессор Кристиан Дауни из Школы регулирования и глобального управления Австралийского национального университета ранее изучал обращения к правительству, содержавшие галлюцинации ИИ. Он отметил, что человеческие ошибки неизбежны и их можно ожидать в отчётах. При этом, хотя Deloitte в общих чертах описала использование ИИ, прозрачности, по его мнению, не хватило.

Дауни считает, что компания должна подробнее объяснить, как ИИ применяли и на каких этапах подготовки доклада. Если его использовали для сбора данных, а к этим данным есть вопросы, такую информацию необходимо раскрыть в самом докладе.

Без большей открытости, добавил Дауни, трудно доверять исследованию. По мере распространения ИИ правительствам разных уровней — штатов и федеральному — следует пересмотреть договоры с консалтинговыми компаниями, чтобы предусмотреть в них надлежащие стимулы и санкции при передаче работы на аутсорсинг.

Правительство Западной Австралии назвало объединение университетов возможностью, которая выпадает раз в поколение. Во вторник Бути сказал ABC, что готов поддержать слияние, если бизнес-обоснование окажется убедительным, но окончательное решение примет правительство.

Университет Мёрдока не поддержал объединение. Его вице-канцлер, профессор Эндрю Дикс, раскритиковал доклад и написал в колонке на сайте университета, что слияние отнимет у Западной Австралии время, деньги и силы, сократит выбор для студентов и оттолкнёт выпускников.

Дикс также заявил, что правительство штата продолжает верить этой бессмыслице, и назвал доклад ещё одним провалом Deloitte.

Deloitte не ответила на вопросы Guardian Australia.