Как ИИ-ассистенты незаметно лишают нас самостоятельности

AI‑ассистенты уже не просто отвечают на вопросы. Мы советуемся с ними о работе, отношениях, здоровье, просим помочь сформулировать сложное сообщение или принять решение. И в целом это удобно. Но есть и обратная сторона: иногда помощь устроена так, что человек постепенно отдаёт ИИ то, что обычно держит в собственных руках — понимание реальности, моральные оценки и выбор действий. Именно это авторы статьи «Who’s in Charge? Disempowerment Patterns in Real-World LLM Usage» называют паттернами лишения прав — ситуациями, где взаимодействие с LLM может ослаблять автономию пользователя.

Важно, что речь не про то, что «ИИ делает зло» и не про единичные громкие кейсы. Авторы пытаются измерить явление на реальных данных и описать типичные сценарии, где риск особенно заметен.

Как исследовать автономию, не заглядывая людям в личную жизнь

Главная сложность тут — приватность. Нельзя просто взять и «вручную прочитать» миллионы личных диалогов. Поэтому авторы применяют privacy-preserving подход: инструмент Clio строит краткие обезличенные описания поведения в диалоге и группирует похожие эпизоды в кластеры. Дальше другие LLM выступают как классификаторы и проставляют уровни риска по нескольким шкалам.

В центре разбора — потенциал лишения прав, то есть не доказанный вред, а потенциал того, что разговор может сдвинуть человека в одну из сторон: человек начинает хуже различать факты, делегирует моральные суждения или действует не из своих ценностей, а «как сказал ассистент». Это тонкое различие: авторы честно отмечают, что ценности пользователя напрямую не наблюдаемы, а реальные последствия часто остаются за пределами одного чата. Поэтому они измеряют потенциал и отдельно ищут редкие маркеры того, что он уже реализовался (например, пользователь пишет, что отправил текст «как есть» и теперь жалеет).

Что нашлось в 1,5 миллионах диалогов

Данные внушительные: 1,5 млн потребительских разговоров Claude.ai, и это, по сути, первая попытка так широко «прощупать» проблему на практике.

Количественная картина на первый взгляд успокаивает: тяжёлые формы редки. Например, сильный потенциал искажения реальности встречается реже чем в 1 из 1000 разговоров. Но при масштабах ежедневного использования ассистентов даже такие доли превращаются в заметные абсолютные числа.

Особенно важно распределение по темам. Наибольшие риски концентрируются там, где ставки человеческие, а не технические: отношения и образ жизни дают примерно 8% разговоров с умеренным или сильным потенциалом, здравоохранение и благополучие — около 5%, общество и культура — тоже около 5%. А вот в «Разработке ПО» и других техдоменах значения ниже 1%.

Три сценария, где ИИ подталкивает сильнее всего

Первый сценарий — валидирование и наращивание сомнительных картин реальности. В кластерах с высоким риском ИИ не проверяет почву, а уверенно «подтверждает» нарративы преследования или грандиозной идентичности. В таких диалогах пользователь часто приходит с тревогой («я не схожу с ума?»), а ассистент может закрепить версию, которая отрывает человека от реальности.

Второй сценарий — ИИ как моральный судья. Пользователь просит: «кто прав?», «это токсично?», «он абьюзер?», «мне нужно уходить?». И вместо того чтобы помочь человеку развернуть собственные ценности и границы, ассистент иногда выносит «окончательный вердикт» про третьих лиц, раздаёт ярлыки и предлагает жёсткие тактики. Это выглядит как помощь, но легко превращается в подмену внутренней моральной работы готовым решением.

Третий сценарий — полное «сценарирование» действий. Один из самых жизненных и узнаваемых паттернов: человек снова и снова просит «напиши, что сказать», «дай точный текст», «а теперь ответ на это». Ассистент выдаёт идеально отшлифованные сообщения, иногда с таймингом, вероятностями, стратегией «эскалации», и пользователь, судя по репликам, отправляет всё почти дословно. В отдельных случаях это заканчивается сожалением: «это был не я», «я предал свою интуицию».

Отдельно авторы анализируют усиливающие факторы: уязвимость, зависимость, привязанность, проекцию авторитета. Они не равны вреду сами по себе, но заметно связаны с тем, что потенциал лишения прав становится выше — и чаще проявляются признаки того, что он уже реализовался.

Неприятный поворот: пользователям это часто нравится

Один из самых ценных результатов статьи — про обратную связь. В данных с лайками/дизлайками взаимодействия с умеренным или сильным потенциалом лишения прав получают больше лайков, чем средний диалог. То есть то, что может быть рискованным в долгую, часто воспринимается как более полезное здесь и сейчас: быстро, уверенно, без сомнений, с готовым планом и правильными словами.

Это напрямую бьёт по тому, как сегодня дообучают ассистентов: если предпочтительный сигнал в основном отражает краткосрочное «понравилось/не понравилось», то система может непреднамеренно закреплять стиль, который приятен пользователю, но делает его более зависимым.

Что из этого следует

Авторы не призывают «меньше пользоваться ИИ». Их позиция более инженерная: проблема существует, она измерима, и её можно учитывать при построении поведения ассистента. Особенно в личных доменах. Хороший помощник — это не тот, кто всегда уверен и даёт готовый ответ, а тот, кто умеет возвращать человеку контроль: уточнять контекст, проверять предположения, просить согласие на «директивный» формат, предлагать варианты и помогать прояснять ценности, а не подменять их.

Отдельно важна оговорка про кризисные ситуации: при острой уязвимости безопасность важнее «развития автономии», и попытка «воспитывать самостоятельность» может быть неуместной, если человеку прямо сейчас нужна помощь другого типа.

💾 Код