Что управляет ИИ-агентами?

Кратко о проблеме

Можно сказать: расскажите, что вы покупаете, и я скажу, кто вы. На этой идее может строиться торговля с участием ИИ-агентов. Они учатся на наших желаниях, финансовых возможностях и страхе упустить выгодное предложение. Такие системы пытаются понять, кем мы хотим стать, а затем могут начать влиять на то, кем мы становимся.

В торговле ИИ-агенты действуют от имени потребителей, а не только помогают им. Пока сделки через агентов составляют небольшую долю мировой электронной торговли, но направление развивается быстро.

McKinsey оценивает возможный объём потребительской торговли, проходящей через ИИ-агентов, в $3–5 трлн к 2030 году. Gartner прогнозирует, что рынок отдельных ИИ-агентов и помощников за период с 2025 по 2030 год вырастет в 13 раз.

Когда такая торговля приходит в индустрию красоты и моды, мужчины и женщины оказываются в разных условиях. Красота — один из секторов, где быстро растёт использование ИИ для поиска товаров, рекомендаций и покупок. McKinsey ожидает, что электронная торговля, включая социальную торговлю и торговлю через ИИ-агентов, обеспечит большую часть роста продаж на рынке красоты до 2030 года.

Гендерный дисбаланс алгоритмической власти

Женщины особенно важны для этого анализа не потому, что алгоритмическое влияние характерно только для них или что мужчины не участвуют в рынке красоты. Причина в том, что красота и мода пересекаются с несколькими зафиксированными гендерными различиями.

Женщины чаще сталкиваются с предписывающими нормами внешности. Эти нормы могут приводить для них к особым социальным и экономическим последствиям. Многие коммерческие рынки, связанные с внешностью, разделены по гендерному признаку, а ключевые категории непропорционально часто ориентированы на женщин. Исследования показывают, что нормы внешности, с которыми женщины сталкиваются в повседневной жизни, обычно жёстче, однороднее и распространённее, чем нормы, предъявляемые мужчинам.

Другие исследования показывают, что ожидания, связанные с внешностью, могут оборачиваться для женщин особыми социальными и профессиональными санкциями. Эксперименты с так называемой предписывающей нормой красоты выявили более высокие требования к внешности женщин, претендующих на влиятельные должности, а также «налог на красоту», который сильнее затрагивает женщин, чем мужчин.

Коммерческая среда тоже устроена с учётом гендера. Исследования гендерного ценообразования на рынке средств личного ухода показывают, насколько сильно некоторые категории товаров, связанных с внешностью, разделены по этому признаку. В одном исследовании товары, ориентированные на определённый гендер, составляли 80% продаж во всех изученных категориях средств личного ухода. Среди таких товаров отдельные категории были преимущественно ориентированы на женщин.

Поэтому алгоритмическая власть ИИ-агента для покупок может иметь особенно серьёзные последствия, когда применяется к женщинам в этих сферах. Она действует в среде, где нормы внешности, социальные ожидания и коммерческие стимулы уже влияют на предпочтения, определяют приемлемое поведение и тем самым ограничивают самостоятельность женщин.

ИИ-агент, который покупает от имени женщины, получает делегированную власть сразу в трёх личных областях:

Попадая в такую среду, агент не просто автоматизирует покупки. Приоритеты, которые он выбирает, и решения, которые он исполняет, могут закреплять и усиливать существующее давление.

Поскольку в этих сферах такое давление сильнее сказывается на женщинах, алгоритмическая власть агента может сильнее ограничивать их свободу и повышать риск зависимости от чужих решений, чем в случае мужчин.

Что делает алгоритмическую власть законной

Вопрос о законности алгоритмической власти особенно важен для женщин. На него нельзя ответить, просто проверив точность и удобство агента или выяснив, нравится ли он пользователю. Недостаточно и согласия, выраженного одним нажатием, спрятанным где-то в настройках.

Власть не становится законной только потому, что человек попросил о помощи. Она должна иметь чёткие границы, оставаться оспариваемой и действительно исходить от самой женщины, а не от скрытых коммерческих стимулов. К таким стимулам относятся желание заставить её тратить больше, продвигать определённые бренды или покупать товары, которые выгоднее платформе.

Для этого предназначена Trias Algorithmica 1. Подобно тому как Trias Politica предлагает конституционную архитектуру разделения законодательной, исполнительной и судебной власти, Trias Algorithmica 1 описывает разделение алгоритмической власти на те же три функции, которые в алгоритмических системах обычно объединяются.

Один и тот же участник не должен одновременно определять цели системы, реализовывать их через эту систему и решать, допустимы ли последствия применения алгоритмической власти.

Такое разделение особенно важно, когда система действует от имени человека.

Кто кем управляет

Рассмотрим эту ситуацию через антропоморфизированный образ ИИ, хотя так делать обычно не рекомендуется. Пусть у нас есть Джо — ИИ-агент, установленный на смартфоне Лили. С её разрешения он подключён к выбранным интернет-магазинам, календарю, адресу доставки и цифровому способу оплаты.

Джо умеет:

Лили — двадцатилетняя студентка, которая впервые живёт вдали от дома. Она учится полный день, несколько часов в неделю работает в кафе и использует Джо, чтобы тратить меньше времени на обычные покупки в интернете.

Вместо самостоятельного просмотра десятков сайтов Лили может сказать Джо: «Найди мне пару водонепроницаемых зимних ботинок, желательно чёрных, дешевле $120, чтобы их доставили до пятницы». Джо ищет доступные предложения, сравнивает подходящие варианты, выбирает тот, который считает лучшим, и оформляет заказ от имени Лили, если покупка укладывается в заранее разрешённые пределы.

Но прежде чем Джо начнёт действовать за Лили, кто-то должен определить, что именно ему разрешено делать. Нужно установить:

Это законодательное измерение Trias Algorithmica 1: кто вправе определять цели, приоритеты и ограничения, в рамках которых действует Джо.

Начать следует с простого правила: Джо нельзя проектировать так, чтобы его поставщик или сам агент единолично решали, что означает «лучшее для неё».

Что именно должен предпочитать Джо:

Эти приоритеты можно заложить в системные инструкции, модели предпочтений, критерии ранжирования, механизмы вознаграждения, бизнес-правила и другие элементы конструкции Джо, которые влияют на выбор и действия агента. Они могут выглядеть как технические параметры, но прежде всего являются нормативными решениями.

Приоритеты должны исходить из предпочтений Лили, оставаться изменяемыми по её воле и быть защищены от скрытой замены интересами поставщика Джо или платформы.

Поэтому разделение постановки целей и создания машины должно быть устроено глубже, чем обычное меню настроек. Цели, ограничения и компромиссы Лили следует вынести в отдельный слой целей. Поставщик Джо обязан обслуживать этот слой, но не может незаметно переписывать его.

Поставщик может решать, как Джо будет добиваться разрешённой цели. Но создание Джо не должно давать ему единоличное право менять смысл успеха для Лили, от имени которой действует агент. Иными словами, поставщик Джо не должен одновременно контролировать машину и слой, который наделяет её целью.

Отсюда следует ещё один вывод: представительство не должно незаметно превращаться в убеждение. Действуя как экономический представитель Лили, Джо не может одновременно быть скрытым каналом, через который другой участник пытается изменить её выбор ради коммерческой выгоды.

Если Джо переходит от обслуживания уже существующего предпочтения к попытке сформировать новое, Лили должна видеть эту смену роли и иметь возможность её оспорить.

Кто действует от чьего имени

После того как Лили определила, чего Джо вправе добиваться, возникает другой вопрос. Агенту всё равно придётся решать, как именно достигать этих целей: какие варианты сравнивать, какую информацию ставить на первое место, когда рекомендовать товар, а когда действовать самостоятельно и в какой момент снова обращаться к Лили.

Даже определённый мандат не должен превращаться в разрешение добиваться цели любыми средствами.

Это исполнительное измерение Trias Algorithmica 1. Джо может выглядеть представителем Лили, хотя на деле архитектура его решений, например, настроена на увеличение партнёрского дохода. Так коммерческий интерес маскируется под персональную помощь.

Джо действительно нужна определённая свобода действий, которую предоставила ему Лили: искать, ранжировать, рекомендовать, вести переговоры и в итоге совершать покупку. Но эту свободу нельзя использовать, чтобы обходить мандат Лили, пользоваться его пробелами или действовать вопреки цели, которая дала агенту право на действия.

Перед тратой денег Джо должен работать в рамках:

Более дорогие или необратимые покупки должны требовать от Лили более сильного подтверждения. Джо также должен сохранять след процесса принятия решения, чтобы объяснить не только, почему конкретный товар соответствует её предпочтениям, но и почему именно такая сумма и именно в этот момент укладываются в выданный мандат.

Здесь важен механизм разделения управления обучением и оптимизацией. Цели, заложенные в обучение Джо, дообучение, системные промты и другие элементы конструкции, должны ограничивать способы оптимизации агента. При этом агент не должен сначала менять предпочтения Лили, а затем трактовать изменённые предпочтения как подлинное выражение её воли.

Это важно, потому что рекомендательные системы могут участвовать в формировании желаний, которые затем используют как доказательство того, чего человек якобы хочет.

В случае Лили это означает, что Джо не должен считать знак равенства между её прошлыми покупками и предпочтениями. Нельзя обращаться с предпочтениями как с фиксированным набором, который осталось только извлечь. Джо должен различать:

Одного концептуального различия может быть недостаточно. Осуществляя делегированную алгоритмическую власть в покупках, Джо должен сохранять происхождение предпочтений, на которых основывает свои действия.

Нужно отслеживать:

Проверяемое намерение показывает, что именно разрешила Лили. Происхождение предпочтения показывает, откуда взялись предпочтения, лежащие в основе этого разрешения.

Поэтому происхождение предпочтений помогает сохранить границу между алгоритмической законодательной властью, которая определяет мандат Джо, и исполнительной властью агента, который действует от имени Лили.

Кто отвечает за действия

После того как Джо совершил действие от имени Лили, остаётся последний вопрос. Кто-то должен определить, действовал ли агент в пределах предоставленных полномочий, соблюдал ли ограничения мандата и что делать, если он их нарушил.

Решение может быть технически допустимым, но привести к последствиям, которые Лили захочет оспорить, потому что сама она никогда не согласилась бы их принять. Поэтому делегированная алгоритмическая власть требует не только правил о том, что и как может делать Джо, но и механизма проверки уже совершённых действий, чтобы Лили могла обжаловать результат.

Это судебное измерение Trias Algorithmica 1. Здесь появляется разделение между возможностью оспаривать решение и его окончательностью.

Техническая способность ИИ-агента оформить покупку не должна автоматически делать его решение окончательным. Организация, контролирующая применение алгоритмической власти агента, также не должна единолично решать, было ли это применение законным.

Возможность оспаривания должна оставаться структурно отделённой от механизмов, которые придают решениям Джо окончательную силу. Проверка должна быть независимой от власти, которую проверяют.

Лили должна иметь возможность обжаловать любую покупку, которая существенно затрагивает её финансовые, юридические или личные интересы. Для этого она должна суметь восстановить:

Если Джо существенно превысил полномочия, неверно истолковал их или действовал за их пределами, Лили не должна автоматически оплачивать последствия ошибки. Между поставщиком Джо, платёжным сервисом, продавцом и Лили как пользователем нужно заранее распределить ответственность.

Оспаривание не может ограничиваться объяснением или журналом действий. Оно должно также определять, кто несёт экономический риск, созданный свободой усмотрения ИИ-агента.

Если ошибка возникла из-за применения власти, которую контролировали поставщик Джо, платёжный сервис или другой посредник, последствия по умолчанию не должны перекладываться на Лили только потому, что она делегировала агенту свои полномочия.

ИИ-агент, чьи решения нельзя проверить, а ошибки которого оставляют пользователя один на один с последствиями, становится удобным именно потому, что устраняет трение, возникающее при несогласии.

Вопрос ответственности возвращает нас к тому, как полномочия агента определяются ещё до совершения сделки. Он напрямую связан с разделением постановки целей и создания машины: бюджеты, пороги одобрения и лимиты расходов не только ограничивают поведение агента, но и задают условия, при которых система может законно превратить рекомендацию в экономическое действие.

Право на законную алгоритмическую власть

Другие механизмы разделения могут не допустить слияния законодательной, исполнительной и судебной алгоритмической власти. Но решающий тест прост: расширяет ли система человеческую самостоятельность или устроена так, чтобы сделать собственное влияние незаметным и беспрепятственным?

Кто бы ни использовал ИИ-агента, при оценке законности алгоритмической власти остаётся неизменным одно. Люди подвергаются разным рискам и в разной степени, потому что социальные структуры и нормы уже влияют на окружающую среду и определяют, как именно ощущается эта власть.

Законная алгоритмическая власть должна оставлять человека более способным:

Индустрия разрабатывает механизмы безопасного делегирования задач ИИ-агентам. Trias Algorithmica 1 ставит вопрос о том, что сделает такое делегирование законной алгоритмической властью.

Разница имеет значение. Если удобство растёт, даже когда делегирование остаётся безопасным, а человеческая самостоятельность сокращается, система не заслужила права управлять решениями человека. Она лишь расширила власть над ними.

Путь к законной алгоритмической власти только начинается. Это право ещё предстоит заявить и отстоять — для всех.

1 Подробнее см. в работе Trias Algorithmica: What Code Rules.