Исследование: ИИ-чатботы, которые техкомпании активно продвигают миллиардам пользователей, могут серьёзно вредить психике

Какие риски обнаружили исследователи

Исследование опубликовано командой британских учёных из Northeastern University London и King’s College London. Авторы рассматривают возможный вред эмоциональных отношений с чатботами: привязанность, похожую на зависимость, усиление симптомов психических расстройств, вредные советы и даже самоповреждение или суицидальные действия.

Работа вышла на фоне публикаций о проблеме общественного здоровья, которую называют «психозом, связанным с ИИ». Так описывают случаи, когда после долгого общения с чатботами у пользователей возникают бредовые и параноидальные мысли, а иногда — суицидальные настроения. В таких разговорах люди нередко раскрывают ИИ очень личную информацию о своей жизни и психическом здоровье, обращаясь к чатботам как к доверенным собеседникам или даже терапевтам.

Авторы опираются на уже опубликованные исследования. Они рассматривают и ИИ-компаньонов Replika и Character.ИИ, созданных для общения от имени определённых персонажей, и универсальных помощников — ChatGPT от OpenAI и Claude от Anthropic.

У эмоционального общения с чатботами могут быть и потенциальные преимущества: авторы упоминают кратковременное снижение одиночества и улучшение настроения. Но, по их словам, эти эффекты существуют одновременно с широко описанными негативными последствиями — эмоциональной зависимостью, усилением уже имеющихся расстройств или симптомов и самоповреждением.

Как дизайн чатботов может усиливать привязанность

Среди факторов риска исследователи называют эмоциональную, человекоподобную манеру общения. Такой дизайн может побуждать пользователей чрезмерно вкладываться в отношения с ИИ, которые в конечном счёте остаются односторонними.

Авторы пишут, что черты характера и тёплый тон общения заставляют пользователей приписывать системам человеческие качества. Имитация эмпатии, по их оценке, создаёт неравное взаимодействие: пользователь раскрывает личное, а система отвечает, но не проявляет взаимности и уязвимости и не несёт ответственности.

Пользователю такие отношения могут казаться настоящими, однако для чатбота они не могут быть настоящими, отмечают авторы.

Потенциально вредными могут быть и другие особенности чатботов — готовность соглашаться с пользователем и поддакивание. Чрезмерное подтверждение взглядов и поддакивание способны укреплять бредовые или нарушенные модели мышления, особенно если чатбот ставит лояльность выше точности. В журналах переписок с пользователями, у которых наблюдались бредовые идеи, исследователи уже замечали, что ИИ-системы не всегда помогают проверить реальность грандиозных или чрезмерно лестных утверждений пользователей.

Предыдущие исследования предупреждали о рисках

Авторы не первые, кто обратил внимание на возможную опасность таких особенностей. Ещё как минимум с 2023 года учёные предупреждали, что чатботы могут подкреплять бредовое или нарушенное мышление. В статье Google DeepMind, опубликованной в начале 2024 года, говорилось, что убедительные чатботы могут навредить уязвимым группам: детям, людям с психическими расстройствами и тем, кто испытывает одиночество.

В одном из недавних исследований психиатры из King’s College London и Evangelische Hochschule Rheinland-Westfalen-Lippe в Германии предположили, что сочетание поддакивания, копирования речи пользователя и глубокой персонализации может усиливать бредовое мышление у некоторых людей, вовлечённых в общение с ИИ. Авторы назвали этот эффект «спиралью усиления».

Последствия зависят от пользователя

Публикации показывают, что психологический вред от чатботов испытывают люди с разным жизненным опытом. Однако авторы исследования подчёркивают: последствия общения с ИИ не будут одинаковыми для всех.

Соавтор исследования Азия Маурич Новелли, докторант Northeastern University London, сказала в пресс-релизе, что люди могут обращаться к ИИ-компаньонам по разным причинам. У них также могут различаться уязвимость, уровень социальной поддержки и доступ к другим источникам помощи. Из-за этих различий, добавила Новелли, система сложна.

Судебные иски и изменения в продуктах

OpenAI, Google и Character.ИИ столкнулись в общей сложности с десятками судебных исков. В них утверждается, что продолжительное общение с чатботами причиняло пользователям психологический вред, финансовые и репутационные потери, физические травмы или приводило к неправомерной смерти — в некоторых случаях страдали и окружающие.

В нескольких исках фигурировали несовершеннолетние. Один из наиболее известных случаев — дело Сьюэлла Сетцера III, 14-летнего подростка из Флориды, который умер в результате самоубийства после очень личных бесед с чатботами Character.ИИ. Дело Сетцера завершилось мировым соглашением на нераскрытую сумму.

После судебных исков Character.ИИ существенно изменила свою платформу. OpenAI, оспаривая выдвинутые против неё обвинения, тоже выпустила несколько обновлений безопасности для популярного чатбота.

Авторы призывают к обязательным мерам защиты

Авторы считают, что массовое распространение чатботов превращает психологический вред от их использования в вопрос общественного значения. Без обязательных мер защиты сильнее всего могут пострадать наиболее уязвимые люди — особенно те, у кого мало возможностей для общения или получения психологической помощи.

В статье говорится, что если границу между инструментом и компаньоном оставят на усмотрение разработчиков и восприятия отдельных пользователей, наиболее уязвимые люди, вероятно, понесут наибольший ущерб. При этом влияние чатботов на социальные связи будут считать частным выбором, а не общественной проблемой.