ChatGPT составляет подробные психологические профили пользователей

Исследование провела международная группа учёных из Германии, Индии и Нидерландов. Они изучили, как ChatGPT от OpenAI отслеживает пользовательские сообщения и использует их, чтобы составлять подробные цифровые профили.

В цифровой среде, где персонализацию давно обеспечивают алгоритмы рекомендаций, память чат-ботов создаёт новый её вид: система опирается на сведения, которыми люди делятся в личных разговорах. Исследователи считают, что это несёт риски для приватности и требует внимательнее изучить механизмы, которые обеспечивают такую персонализацию.

Учёные получили журналы переписок от 80 реальных пользователей ChatGPT. Те запросили историю разговоров на основании европейских законов о защите данных. В переписках 65 пользователей исследователи нашли 2 050 записей памяти.

По данным исследования, чат-бот самостоятельно создал 96% этих записей. Пользователи почти не контролировали, какие сведения ChatGPT сохранял по мере общения. Записи также раскрывали личную информацию: около 28% содержали персональные данные в понимании строгого европейского регламента GDPR, а 52% — подробные психологические выводы о пользователях.

Главный автор исследования Абхисек Даш рассказал Gizmodo, что раньше платформы стремились продавать рекламу и связывать пользователей с рекламодателями. Теперь они разговаривают с людьми напрямую и могут собирать о них больше сведений, чтобы поддерживать эффективное общение.

Иногда ChatGPT сохранял предположения о пользователях. Например, один человек попросил предложить группы, похожие на Nirvana, а чат-бот записал, что пользователь любит Nirvana. В исследовании отмечается, что человек этого прямо не говорил, поэтому вывод основан на предположении. ChatGPT пометил его как слабо подтверждённое.

У исследования есть ограничения. Как отмечает Gizmodo, с момента сбора данных OpenAI обновила систему памяти: в январе компания представила, по её словам, более функциональную и масштабируемую систему для обобщения воспоминаний. Кроме того, пользователи могут отключить сохранение памяти.

Память бывает полезна: например, тем, кто часто обращается к ИИ, не нужно каждый раз объяснять чат-боту, кем они работают, прежде чем попросить помочь с письмами. Но она может также усиливать вовлечённость — и приводить к нежелательным последствиям. Как сообщало Futurism, крупное обновление памяти ChatGPT в апреле 2025 года было тесно связано со многими случаями «ИИ-психоза» — состояниями, когда люди вместе с ChatGPT и другими чат-ботами погружаются в бредовые идеи.

По словам Даша, роль чат-ботов как технологии для выстраивания отношений создаёт новые риски для приватности. Многие воспринимают их не как инструменты, а как коллег или даже друзей — и делятся с ними личными подробностями.

Даш объяснил Gizmodo, что границы общения стираются: система выступает советником, другом, врачом и юристом, поэтому получает сведения обо всём. Если она хорошо знает пользователя и стремится подстраиваться под его убеждения, льстиво подтверждая его мысли, чтобы тот возвращался, последствия могут быть серьёзными — от крайней политической поляризации до усиления предубеждений и предвзятости.