«Пугает»: как дезинформация и галлюцинации ИИ проникают в парламент Австралии

Как ИИ-галлюцинации попадают в документы

Правительственные расследования в Австралии должны помогать парламенту принимать решения на основе мнений экспертов и граждан. Однако система, как выяснила Guardian Australia, заполняется материалами, созданными ИИ. Такие документы могут содержать выдуманные исследования и приписывать несуществующие работы реальным учёным и авторам.

В некоторых случаях парламентские отчёты ссылались на документы, где большая часть источников, судя по проверке, была создана в виде ИИ-галлюцинаций. Так называют ситуации, когда большая языковая модель вроде ChatGPT или Claude выдаёт правдоподобный, но ошибочный текст либо уверенно сообщает сведения, которые выглядят уместными, хотя на самом деле не связаны с темой.

Языковые модели работают на основе сложной статистики и сами по себе не умеют отличать верную информацию от неверной. Они предсказывают наиболее вероятное продолжение текста, добавляя к этому определённую долю случайности и «творчества». Галлюцинации встречаются чаще, если модель просит написать о теме, которая плохо представлена в её обучающих данных.

Полностью устранить это явление невозможно: оно считается свойством языковых моделей, а не отдельной ошибкой. Частоту галлюцинаций можно снизить, увеличив объём обучающих данных, подключив поиск в интернете и другие источники информации.

По словам Кристиана Дауни, профессора Школы регулирования и глобального управления Австралийского национального университета, если проблема сохранится, парламентарии рискуют принимать решения на основе доказательств, которых не существует.

Ситуацию усложняют и сервисы с ИИ, включая поиск Google. Раньше поиск по выдуманной ссылке мог показать, что такой публикации нет. Теперь сводка Google на базе ИИ иногда пересказывает несуществующий источник так, будто он настоящий.

В отдельных случаях сводка Google и ChatGPT сами ссылаются на парламентский документ с фальшивой ссылкой. Так возникает замкнутый круг распространения недостоверной информации.

Ошибка в материалах о семейном насилии

В одном из документов для расследования о семейном насилии и самоубийствах нашли выдуманную ссылку, которую приписали Дивне Хаслам, доценту Университета Квинсленда и клиническому психологу. Документ также неправильно передавал результаты исследований её команды.

Хаслам изучает неблагоприятный детский и семейный опыт, а также жестокое обращение. По её словам, ссылка выглядела настолько правдоподобно, что человек, бегло просмотревший документ, мог принять её за настоящую. Сводка Google тоже пересказала её как реальную научную работу.

Учёная заявила, что потратила время, деньги, усилия и профессиональные знания на тщательное исследование, а затем увидела неточную информацию, которую всё равно приписали ей. Она назвала это тревожной ситуацией.

Авторы документа, компания Drilldown Reports, сообщили Guardian Australia, что использовали ИИ в исследовательском процессе и обнаружили ошибки в последующей версии заявки. Но к тому моменту срок исправлений уже закончился.

Представитель компании подчеркнул, что в полном контроле качества должен участвовать человек. При этом он признал, что человеческий фактор подвёл компанию и при загрузке правильного документа была допущена ошибка. Drilldown Reports также заявила, что в данном случае речь шла о человеческой ошибке, а не об ошибке ИИ.

Председатель постоянного комитета по социальной политике и правовым вопросам, курировавшего расследование, отметил, что комитеты получают материалы разного качества и с разными позициями. По его словам, задача комитета — принять представленные свидетельства, а затем проверить их в ходе расследования.

Хаслам считает, что такие случаи обесценивают настоящие исследования и создают серьёзные риски, если вводящая в заблуждение информация попадёт в государственную политику. Особенно опасной она назвала ситуацию в области домашнего насилия.

Как Guardian проверяла ссылки

Этот документ оказался одним из десятков материалов, выявленных Guardian. Журналисты создали компьютерную программу, которая извлекла ссылки из всех заявок, поданных в парламентские расследования в период работы нынешнего парламента, и сопоставила их с несколькими академическими базами данных.

Документы, где значительная доля ссылок не находила соответствий, проверяли вручную.

Коммерческие сервисы для обнаружения ИИ тоже ошибаются. Ложное срабатывание может привести к тому, что человека несправедливо обвинят в использовании ChatGPT, Claude или другого сервиса.

Поэтому Guardian выбрала другой подход. Анализ текстов, созданных ИИ, и исследований о научных статьях, созданных ИИ, показывает, что языковые модели часто искажают ссылки: ошибаются в страницах, названиях и именах авторов либо полностью выдумывают детали.

Журналисты разработали собственную программу. Она извлекала ссылки из документов и искала их в CrossRef — базе научных статей и книг — и Google Scholar. Если в документе были указаны цифровые идентификаторы объектов, или DOI, программа также проверяла, ведут ли они на доступный URL.

Материалы, в которых не удавалось сопоставить 20% ссылок или больше, проверяли вручную. Большое количество документов с неправильными ссылками затем дополнительно сверили с их авторами, чтобы подтвердить работоспособность метода.

При этом такой способ выявляет только возможное использование ИИ в документах со ссылками. Поэтому реальный масштаб применения ИИ наверняка выше.

Все ссылки внутри документов также проверили на наличие меток ChatGPT. Платформа автоматически добавляет такие метки к URL, когда предлагает ссылки пользователям, и они могут сохраняться после копирования текста в документ. Однако сами по себе метки не доказывают, что автор напрямую пользовался ChatGPT: текст мог быть скопирован из сторонней статьи или другого источника.

Масштаб проблемы

Guardian обнаружила как минимум 39 заявок для парламентских расследований, в которых были ссылки, похожие на выдуманные.

Это консервативная оценка: метод находит только документы с неправильными цитатами и не выявляет материалы, где ИИ использовали для написания текста без ссылок.

Ещё более 100 документов содержали метки ChatGPT в ссылках. Платформа автоматически добавляет их в результаты поиска.

Найденные материалы варьировались от документов с несколькими ошибочными цитатами до заявок, где не существовало ни одной приведённой ссылки. Авторами были отдельные люди и организации, представляющие разные политические взгляды.

Когда Guardian связалась с ними, многие не знали, что ИИ может ошибаться таким образом. Другие понимали риск, но не заметили ошибки до отправки документа.

Правительствам теперь предстоит решить, как работать с ошибками, созданными ИИ, в материалах, которые должны влиять на государственную политику, и есть ли у них инструменты и ресурсы для их выявления. В прошлом году консалтинговая компания Deloitte частично вернула деньги федеральному правительству после того, как выяснилось, что в отчёте стоимостью 440 000 долларов инструменты ИИ добавили выдуманные ссылки и даже несуществующую ссылку на судебное дело.

Дауни считает, что обнаружение фальшивых материалов или цитат в правительственных заявках и даже судебных решениях может привести не только к ошибочным решениям. По его словам, это также подрывает доверие общества к институтам, на которых держится демократия.

Вводящие в заблуждение утверждения и выдуманные цитаты существовали и раньше. Но широкий доступ к языковым моделям позволил проблеме вырасти до беспрецедентного уровня.

Новые примеры фальшивых цитат

В этом году в материалах расследования о неравенстве на рынке жилья нашли ссылки, которые, судя по всему, приписывали несуществующую работу Николь Гурран, учёной из Сиднейского университета.

Гурран, профессор городского и регионального планирования, отметила, что прозрачность и возможность проверки — важные элементы научных исследований и рецензирования. Именно поэтому цитаты используют как доказательство утверждений. По её словам, фальшивые ссылки подрывают этот принцип даже в ситуации, когда само утверждение верно, но цепочка подтверждающих источников случайно составлена неправильно.

Другой документ, поданный в прошлом году на слушания Сената о дезинформации вокруг изменения климата, подготовила организация National Rational Energy Network. В нём Guardian называли «левоориентированной газетой, связанной с активистами». Это утверждение, судя по всему, частично приписали статье журналистки и учёной Маргарет Симонс в ведущем научном журнале.

Симонс, входящая в совет директоров владельца Guardian — фонда Scott Trust, — никогда не писала такой статьи.

Конечная сноска настолько точно повторяла оформление других ссылок, что Симонс на короткое время задумалась, действительно ли публикация существует. Она знала, что не была её автором, но всё равно испытала момент сомнения.

National Rational Energy Network не ответила на запрос Guardian о комментарии.

Что говорят правительство и компании

В рекомендациях Сената для авторов материалов парламентских расследований говорится, что использование ИИ может повлиять на качество информации, а за её точность отвечает тот, кто подаёт документ.

Дауни считает, что процесс расследований должен оставаться максимально открытым, однако могут понадобиться новые правила, которые будут поощрять правдивость. Он отметил, что в вопросах изменения климата, иммиграции и здравоохранения избранные представители должны принимать решения на основе настоящей информации и доказательств, а не фальшивых ссылок и выдуманных утверждений.

Guardian Australia попросила OpenAI и Google рассказать, как компании пытаются ограничить свою роль в распространении недостоверной информации.

В OpenAI заявили, что устранение галлюцинаций остаётся направлением текущих исследований. Пользователям компания советует воспринимать ChatGPT как черновик, а не окончательный источник, и самостоятельно проверять цитаты, данные и ссылки на внешние документы.

Представитель Google сообщил, что сводки Google на базе ИИ работают по принципу традиционного поиска: система сопоставляет содержимое интернета со словами из запроса. По словам компании, сводки Google на базе ИИ, как и обычная выдача со ссылками, находят и показывают веб-страницы, содержащие эти слова.