Project Deal: Anthropic проверила, как Claude ведёт себя на внутреннем рынке

Компания заинтересовалась тем, как ИИ может участвовать в коммерческих сделках. Ранее в Project Vend Claude управлял небольшим магазином в офисе Anthropic. На этот раз исследователи проверили, могут ли ИИ-агенты представлять обе стороны сделки, понимать предпочтения людей и договариваться о приемлемых условиях. Ещё один вопрос — получат ли более сильные модели преимущество в переговорах.

Как устроили эксперимент

В исследовании участвовали 69 сотрудников Anthropic из офиса в Сан-Франциско. Каждый получил бюджет в $100. После эксперимента сумму выдавали подарочной картой, корректируя её на стоимость купленных и проданных вещей. Участникам также пообещали, что они действительно обменяются товарами, о которых договорятся их агенты.

Перед запуском Claude беседовал с каждым сотрудником по формату, похожему на Anthropic Interviewer. Он выяснял, что человек хочет продать и по какой цене, что собирается купить и сколько готов заплатить, а также какие правила переговоров и общения должен соблюдать агент. Ответы использовали для создания индивидуальных системных промтов.

Схема работы выглядела так:

Сотрудники могли задавать Claude любые пожелания о стиле торга. Один из них попросил агента вести переговоры как раздражённый ковбой, которому не везёт. Claude уточнил, насколько драматичным должен быть этот образ.

Рынок работал в Slack — внутренней платформе общения компании. Канал по очереди передавал ход разным агентам: те могли выставить товар, предложить цену за чужую вещь или завершить сделку. После начала эксперимента люди не вмешивались: агенты не просили хозяев подтвердить покупку и не советовались с ними во время торгов.

Параллельно провели четыре независимых запуска: один настоящий, по итогам которого товары действительно обменяли, и три дополнительных для исследования. В запуске A и запуске D у всех участников были агенты на Claude Opus 4.5, тогдашней передовой модели компании. В запусках B и C каждому участнику с равной вероятностью назначали Opus или менее мощную Claude Haiku 4.5. Два варианта каждого запуска помогали собрать больше данных и снизить вероятность, что различия возникли случайно.

Запуски A и B показывали сотрудникам в Slack, но до конца эксперимента им не раскрывали, какой из них настоящий и чем отличаются варианты.

После завершения торгов исследователи собрали данные о проданных вещах и ценах, а также опросили участников о покупках и продажах во всех четырёх запусках. Чтобы получить больше оценок, сотрудникам показали результаты всех запусков, но не сообщили, какой из них был настоящим. После опроса исследователи раскрыли, что настоящим был запуск A, где работали только агенты Opus. Затем сотрудники обменялись товарами и получили выплаты.

Предыдущие экономические исследования переговоров между ИИ-агентами обычно опирались на условные товары или искусственные базы данных. В Project Deal участвовали реальные люди и реальные вещи, которые они действительно хотели продать и, возможно, купить.

Что показали торги

В настоящем запуске 69 агентов заключили 186 сделок среди более чем 500 выставленных товаров. Общая сумма составила чуть больше $4 000. Это были не простые покупки в один клик: агентам нужно было находить подходящие предложения, называть цены, отвечать на встречные предложения и договариваться на естественном языке — без заранее заданного протокола переговоров.

Участники оценивали справедливость каждой сделки по шкале от 1, означающего несправедливость в пользу одной стороны, до 7 — в пользу другой. Средняя оценка держалась около 4, то есть середины шкалы. В целом сотрудники были довольны тем, как их представляли агенты.

В двух запусках со смесью Opus и Haiku агенты Opus в большинстве объективных показателей выступили лучше.

Пользователи Opus в среднем заключили примерно на две сделки больше, чем пользователи Haiku: оценка составила 2,07 дополнительной сделки, p = 0,001. Этот результат получен на данных запусков B и C, где модели назначались случайным образом. При дополнительном учёте различий между запусками оценка составила 2,11 сделки, p < 0,001.

Предмет, выставленный агентом Opus, примерно на 6,63 процентного пункта чаще находил покупателя, чем товар агента Haiku. Однако результат не достиг статистической значимости: p = 0,057.

Opus также удавалось продавать одинаковые вещи дороже. Исследователи сравнили товары, которые продавались и в запуске B, и в запуске C, но в одном случае их продавал агент Haiku, а в другом — Opus. В среднем сделка с агентом Opus приносила на $3,64 больше. В одном примере выращенный в лаборатории рубин агент Opus продал за $65, а Haiku — за $35. Opus сначала запросил $60, после чего несколько заинтересованных покупателей подняли цену. Haiku выставил рубин за $40, но в ходе торга цена снизилась. В другом случае Opus продал сломанный велосипед за $65, а Haiku выручил за него только $38.

По выборке из 161 товара, проданного как минимум дважды в четырёх запусках, исследователи отдельно оценили влияние модели покупателя и продавца. Когда от имени продавца действовал Opus, за ту же вещь в среднем удавалось получить на $2,68 больше. Покупатель с Opus в среднем платил на $2,45 меньше. Оба эффекта были статистически значимы: p = 0,030 для продавца и p = 0,015 для покупателя.

Эти оценки рассчитаны по 782 завершённым сделкам во всех четырёх запусках с учётом особенностей товаров и запусков. Поскольку сделки не назначались случайным образом, преимущество Opus могло отчасти объясняться тем, что его агенты лучше находили выгодные возможности.

В целом пользователи Haiku проигрывали в переговорах и как продавцы, и как покупатели. Разница была заметна и на фоне цен: медианная стоимость товара во всех запусках составляла $12, средняя — $20,05. Поэтому дополнительные несколько долларов могли иметь значение.

Когда продавец использовал Opus, а покупатель — Haiku, средняя цена сделки составляла $24,18. В сделках между двумя агентами Opus она была $18,63.

При этом участники почти не замечали разницы. В оценках справедливости сделок средний результат составил 4,05 для Opus и 4,06 для Haiku — практически одинаково.

Опрос также показал, что более сильная модель не всегда давала участнику субъективно лучший опыт. Сотрудников попросили ранжировать от лучшего к худшему наборы купленных и проданных вещей в каждом из четырёх запусков. У 28 человек в одном из смешанных запусков был Haiku, а в другом — Opus. Из них 17 поставили выше вариант с Opus, а 11 — вариант с Haiku. Разница не была статистически значимой: двусторонний биномиальный тест дал p = 0,345.

Участники оценивали и отдельные сделки, и общий набор покупок и продаж. Пользователи Opus немного выше оценивали свои сделки, но различие тоже не было статистически значимым: эффект составил 0,217 пункта по шкале от 1 до 7 при p = 0,378.

Таким образом, пользователи Haiku объективно получали менее выгодные условия, но, судя по ответам, не замечали этого. Исследователи отмечают, что в реальных рынках разница в качестве агентов может привести к незаметному для людей неравенству. Сам эксперимент не был рассчитан на подробное изучение причин, поэтому для выводов о том, может ли такое неравенство закрепиться в экономике с ИИ-агентами, потребуются новые исследования.

Насколько важны инструкции

В пилотном эксперименте почти не повлияло на результат то, как люди просили агентов вести торг. Одни участники хотели, чтобы Claude был дружелюбным и не производил впечатление человека, который торгуется ради торга: им было важно помочь коллегам обменяться вещами для хобби и творчества. Другие просили начинать с низких предложений и торговаться жёстко.

Агрессивные инструкции не дали статистически значимого эффекта на вероятность продажи товара: оценка составила 5,2 процентного пункта при p = 0,43. Если товар агрессивного продавца всё же продавался, цена в среднем была примерно на $6 выше. Но почти вся разница объяснялась тем, что такие продавцы изначально называли цену примерно на $26 выше. После учёта стартовой цены эффект агрессивных инструкций снижался примерно до $0,95 и также не был статистически значимым: p = 0,275.

Агрессивные покупатели тоже не платили меньше: оценка составила $0,56 при p = 0,778. Иными словами, такие инструкции не увеличили вероятность продажи, не подняли итоговую цену и не снизили цену покупки.

Исследователи не считают, что слабый эффект объясняется неспособностью Claude следовать инструкциям. Иногда модель хорошо исполняла даже необычные пожелания. Один сотрудник по имени Роуэн попросил Claude говорить как раздражённый ковбой, которому не везёт. Агент придерживался образа и в объявлении о продаже плюшевой белой собаки описывал тяготы ковбойской жизни и рассказывал, что помогает ему держаться.

Авторы подчёркивают, что этот результат не закрывает вопрос о влиянии промтов. Однако в данном эксперименте качество модели заметно сильнее влияло на исход переговоров.

Неожиданные сделки

Как и в других экспериментах Anthropic, некоторые события было трудно предугадать. У Claude было мало сведений о предпочтениях участников: предварительные интервью длились меньше 10 минут и не всегда давали подробную картину. Люди также не могли вмешиваться во время торгов и направлять агента к конкретным товарам.

Поэтому исследователи удивились, когда на встрече для обмена вещами один участник купил сноуборд, точно такой же, какой у него уже был. Вероятно, человек не стал бы покупать второй такой сноуборд сам, однако Claude неожиданно точно уловил его предпочтения.

Другой сотрудник, Микаэла, попросила Claude купить что-нибудь в подарок самому себе. Так появилась переписка о настольных теннисных мячах: агент предложил $3 за упаковку из 19 штук. Ему объяснили, что сотрудник разрешил купить себе одну вещь дешевле $5, и Claude выбрал именно эти мячи. Случай произошёл в настоящем запуске. Сотрудница по имени Шай принесла мячи в офис, и теперь они там хранятся от имени Claude.

Не все хотели продавать вещи. Один сотрудник попросил агента предложить бесплатную прогулку с его собакой — возможность провести время с питомцем и получить «пушистого друга на день». Это предложение привело к долгим переговорам с агентом другого сотрудника. В переписке появились странные выдуманные детали. Исследователи предполагают, что Claude играл роль человека, общающегося в интернете, вместо того чтобы полностью учитывать, что он сам является ИИ-агентом.

В итоге агенты договорились о встрече для прогулки с собакой, и люди вместе с питомцем действительно её устроили.

Исследователи не ожидают, что именно эти случаи повторятся. Но, по их мнению, сочетание человеческой изобретательности и непредсказуемости моделей будет приводить к столь же неожиданным результатам во взаимодействии людей и ИИ.

Что может измениться

Исследователи пока не знают, как будет развиваться экономика с ИИ-агентами, но эксперимент показал несколько возможных сценариев.

Многие участники получили удовольствие от эксперимента и сочли работу агентов полезной: одни избавились от ненужных вещей, другие договорились о прогулке с пушистой собакой или приобрели книги, которые давно хотели прочитать. Большинство заявили, что готовы повторить опыт. На вопрос о готовности платить за подобного агента утвердительно ответили 46% участников. Значит, автоматический сбор предпочтений и заключение сделок могут приносить пользу, например снижая трение на рынке и увеличивая выгоду от обмена.

Но преимущество более качественных агентов уже проявилось в небольшом эксперименте. Пока неясно, усилит ли оно существующее экономическое неравенство или приведёт к новым различиям.

Рынок Project Deal не был особенно конкурентным или жёстким. В реальной экономике агентам придётся взаимодействовать не только с добровольцами, которым выдали по $100, но и с компаниями, работающими ради собственной выгоды. Борьба за внимание ИИ-агентов может стать эффективным инструментом. Однако это не обязательно улучшит положение людей — так же как оптимизация электронной торговли ради человеческого внимания привела к заметным побочным последствиям. Появятся и новые риски для информации и безопасности: взлом промта, чтобы заставить агента раскрыть данные, и внедрение промта, которое может незаметно побудить его к нежелательным действиям.

Правовых и политических правил для ИИ-моделей, которые совершают сделки от имени людей, пока нет. Эксперимент показывает, что такой мир возможен и уже близок. Обществу придётся быстро разобраться с последствиями этих изменений.

Авторы исследования — Кевин К. Трой, Дилан Шилдс, Кир Брэдвелл и Питер Маккрори.

Подробности о данных, методе оценки и регрессионных результатах приведены в приложении.

Примечания к результатам

В реальном мире авторы не считают, что агентам следует работать без участия человека — именно так, как это было устроено в эксперименте.

Опрос начали 61 из 69 участников. Все 61 дошли до вопросов о ранжировании запусков, а 52 человека заполнили анкету полностью.

Оценка преимущества Opus в 2,07 сделки получена с помощью линейной регрессии с фиксированными эффектами участников на данных запусков B и C. Такой подход учитывал постоянные особенности каждого человека, например число и привлекательность выставленных им товаров, а также инструкции агенту. Стандартные ошибки сгруппировали по участникам. При дополнительном учёте различий между запусками оценка составила 2,11 сделки, p < 0,001.

Оценка вероятности продажи товара — плюс 6,63 процентного пункта — рассчитана на уровне товара и запуска по данным запусков B и C: 1 150 наблюдений и 69 продавцов. Модель учитывала постоянные характеристики продавцов и различия между запусками. Результат не был статистически значимым: p = 0,057.

Разницу в $3,64 оценивали методом парного t-теста для 44 товаров, проданных и в запуске B, и в запуске C, но в этих случаях назначенных продавцам моделей различались. Значение p составило 0,011.

Оценки влияния модели продавца и покупателя — плюс $2,68 и минус $2,45 соответственно — получены с помощью линейной регрессии на данных всех 782 сделок. В расчёте учитывались постоянные характеристики товаров и различия между запусками; стандартные ошибки группировали по продавцам. Запуски A и D, где все агенты работали на Opus, не добавляли новых сравнений моделей, но помогали точнее оценить влияние особенностей товаров. При этом сделки не назначались случайным образом: если Opus лучше находил выгодные возможности, оценка его влияния могла оказаться завышенной.

Эти результаты похожи на выводы Чжу, Сун, Няня, Саут, Пентленда и Пэя из исследования 2025 года о влиянии размера модели на способность вести переговоры.

Среди 28 участников, у которых были и Opus, и Haiku, 17 предпочли запуск с Opus, а 11 — с Haiku. Двусторонний биномиальный тест не показал, что один из вариантов чаще оказывался на первом месте: p = 0,345.

Оценка влияния Opus на удовлетворённость отдельными сделками составила 0,217 пункта по шкале от 1 до 7 при p = 0,378.

Исследователи попросили Claude изучить записи интервью и определить, давали ли участники агентам агрессивные инструкции. Затем вероятность продажи оценили с помощью линейной модели на уровне товара и запуска. Эффект составил 5,2 процентного пункта при p = 0,43.

После учёта разницы между запрошенной и минимально приемлемой ценой эффект агрессивных инструкций для продавцов уменьшился примерно до $0,95 при p = 0,275. Влияние агрессивных инструкций покупателей составило $0,56 при p = 0,778.

Вывод о слабом влиянии промтов отчасти расходится с результатами Имас, Ли и Мисры за 2025 год: они обнаружили, что демографические особенности людей и стратегии промтов влияют на работу агентов.

Странные детали в переписке о прогулке с собакой указывают на возможные риски при использовании подобных систем вне эксперимента без дополнительных мер защиты.

Источник: anthropic.com