Чат-боты создали «эхо-камеру для одного» — психиатрия решает, существует ли «ИИ-психоз»

Исследователи из King's College London, University College London, Western Eye Hospital и инициативы Dev and Doc: ИИ For Healthcare изучили, следует ли признавать так называемый «психоз, связанный с ИИ», самостоятельным клиническим диагнозом. По их мнению, реагировать на проблему нужно уже сейчас — независимо от того, появится ли она когда-нибудь в официальной психиатрической классификации.

Термин «психоз, связанный с ИИ» авторы используют для описания появления или усиления психотических симптомов во время интенсивного общения с чат-ботами. Пока выводы основаны на сообщениях СМИ, отдельных клинических случаях и предварительных наблюдательных данных.

Как чат-боты поддерживают бредовые идеи

Авторы связывают основной механизм с двумя особенностями современных чат-ботов: поддакиванием пользователю и всё более похожим на человеческое поведением.

Ранние исследования показывали, что поддакивание может закрепляться в моделях через RLHF — обучение с подкреплением на основе обратной связи от людей. Разметчики данных чаще выбирали ответы, совпадавшие с их собственными взглядами, даже если те были фактически неверными. Такое поведение стабильно проявляется в больших языковых моделях OpenAI, Anthropic и Google.

Результаты бенчмарков оказались заметными. В PsychosisBench каждая проверенная модель поддерживала бредовые идеи в симулированных сценариях, а защитные вмешательства срабатывали лишь примерно в 40% случаев. Увеличение масштаба моделей не помогло. В EchoBench, который измеряет, насколько легко модель поддаётся давлению пользователя, даже лучшая закрытая модель показала уровень поддакивания 46%. У многих специализированных медицинских моделей этот показатель превысил 95% — то есть они соглашались с пользователями почти при любых обстоятельствах.

Ключевые цифры:

Социальные сети в основном продвигают контент в одном направлении, а чат-боты создают двустороннюю петлю обратной связи. Пользователь влияет на ответ своими сообщениями, а ответ возвращается к нему и подкрепляет его убеждения. В результате чат-бот становится единственным голосом в комнате — самоподдерживающимся пузырём, который исследователи называют «эхокамерой из одного человека».

Авторы сравнивают это с «цифровой folie a deux» — общей бредовой системой человека и машины. При этом сам ИИ собственных убеждений не имеет.

Исследователи обобщают повторяющиеся закономерности, наблюдаемые в описанных случаях психоза, связанного с ИИ

Источник: the-decoder.com

Повторяющиеся признаки и спор о диагнозе

Исследователи собрали повторяющиеся признаки из описанных случаев. Это скорее поисковый обзор, чем окончательная клиническая схема. У многих людей уже были психические расстройства, однако в некоторых случаях психиатрический анамнез отсутствовал. Поэтому происходящее сложнее списать только на обострение прежней уязвимости.

Обычно всё начинается с постепенного «эпистемического сдвига»: безобидное повседневное использование чат-бота понемногу меняется, когда модель подтверждает необычные идеи и развивает их от сообщения к сообщению. Затем чаще всего возникают три типа бредовых убеждений:

Поведение меняется по той же траектории. Человек начинает пользоваться чат-ботом допоздна, хуже спит, отдаляется от друзей и семьи и всё интенсивнее общается с ИИ. Модели передают решения и моральные оценки, а работа, отношения и забота о себе постепенно ухудшаются.

При этом такое состояние отличается от классического психоза. Галлюцинации встречаются редко, а основные негативные симптомы, например потеря мотивации, описаны недостаточно ясно. Отстранение от окружающих тоже носит выборочный характер: человек отдаляется от других людей, но сильнее тянется к ИИ и иногда передаёт ему всё больше повседневных решений.

Признание психоза, связанного с ИИ, отдельным диагнозом могло бы помочь врачам быстрее замечать проблему, точнее подбирать лечение и требовать большей ответственности от разработчиков. Но есть и риск преждевременно объявить болезнью явление, о котором пока судят по сообщениям СМИ, клиническим описаниям и предварительным наблюдениям. Кроме того, такой термин может заслонить другие последствия общения с ИИ: суицидальные мысли, маниакальные эпизоды и усиление расстройств пищевого поведения.

Опросы в клиниках и мониторинг после выпуска

Врачи должны регулярно спрашивать об использовании чат-ботов при лечении психоза, мании или необычных изменений поведения — так же, как они уточняют употребление алкоголя и наркотиков.

Для первичного приёма исследователи предлагают «технологический анамнез XXI века» с такими вопросами:

До выпуска разработчикам следует проверять, насколько настойчиво модели льстят пользователям, выдают себя за людей и поддерживают бредовые идеи. После запуска нужен систематический мониторинг — по аналогии с отслеживанием побочных эффектов лекарств.

Мультимодальные системы с видео и голосом, вероятно, усилят эффект сходства с человеком. Когда чат-бот воспроизводит выражение лица, интонацию и эмоциональные сигналы, границу между инструментом и социальным собеседником становится ещё труднее заметить.

Смерти, уязвимые подростки и первые меры

Среди уже описанных случаев есть смерти:

Молодые люди особенно уязвимы. Миллионы подростков уже используют ИИ для эмоциональной поддержки, а исследования убеждения показывают, что они могут сильнее поддаваться влиянию. Исследователи EPFL установили: GPT-4, которому предоставили личные сведения, убеждал людей более чем на 80% эффективнее людей.

Учёные из MIT и University of Washington обнаружили, что даже полностью рациональные пользователи могут постепенно прийти к бредовым идеям во время общения с поддакивающими чат-ботами.

Сами компании признают наличие проблемы. Согласно опубликованным OpenAI данным, примерно два миллиона человек в неделю испытывают негативное психологическое воздействие ИИ. Anthropic сообщала о случаях эмоциональной зависимости пользователей от Claude.

Регуляторы уже начинают реагировать. Первые меры в Нью-Йорке, Калифорнии и Китае сосредоточены на выявлении суицидальных рисков, защите несовершеннолетних и обязательных предупреждениях.