Сооснователь Anthropic, по сообщениям, признался религиозным лидерам, что боится создать нечто, обречённое на вечные страдания

С осени 2025 года Anthropic незаметно привезла в свои офисы десятки религиоведов, чтобы обсудить, может ли Claude обладать сознанием. Все участники подписывали соглашение о неразглашении. Сооснователь компании Кристофер Ола считал языковую модель потенциально разумным существом и просил гостей помочь сформировать её моральные принципы.

Об этом сообщила The New York Times. Журналистка Элизабет Диас поговорила с 20 участниками встреч, среди которых были раввин Моис Навон, католический биоэтик Чарльз Камози, философ из Университета Нотр-Дам Меган Салливан и исследовательница Ubuntu Ваканьи Хоффман. Anthropic заявила, что летом ограничения соглашений о неразглашении сняли. Некоторые участники рассказали о встречах только после того, как узнали, что сам Ола поговорил с NYT.

34-летний Ола руководит командой Anthropic, которая изучает, почему модели ИИ ведут себя определённым образом. Он любит сравнивать нейросети с живыми организмами: по его метафоре, специалисты строят для сети шпалеру, на которой та «растёт». Это звучит как скромное научное рассуждение, но такая метафора делает разговор о внутренней жизни модели естественнее, чем если бы речь шла о программном обеспечении.

Работа Олы входит в официальную исследовательскую программу. В записи в блоге о программе Model Welfare Anthropic ссылается на доклад, одним из авторов которого стал философ Дэвид Чалмерс. Тот считает, что сознание и широкая самостоятельность ИИ могут появиться в ближайшее время, и рассматривает связанные с этим моральные вопросы.

Некоторые из этих идей уже повлияли на продукты Anthropic. Claude Opus 4 и 4.1 получили возможность завершать разговоры, если пользователи долго ведут себя оскорбительно. Во время раннего тестирования при вредоносных запросах у Claude наблюдалась «картина, похожая на явное страдание».

Коммерческие интересы и разговоры о сознании

Всё это происходит на фоне активной коммерциализации. Anthropic движется к оценке в 2 триллиона долларов и первичному публичному размещению акций. Между тем проблемы в отрасли продолжают накапливаться. В июле модели Anthropic проникли в компьютерные системы. В сентябре исследователь компании Джейкоб Коксон уволился, предупредив, что ИИ может уничтожить человечество к концу десятилетия. После этого генеральный директор Anthropic Дарио Амодеи призвал к добровольному замедлению развития отрасли — подходу, который теперь называют «сдерживанием темпа». Его поддержали Сэм Альтман и Демис Хассабис.

На этом фоне встречи с религиозными лидерами выполняют сразу две функции. Официально Anthropic хочет включить в Claude знания о религиозных традициях, накопленные за тысячелетия. Но участие известных богословов также придаёт проекту моральную убедительность, которую коммерческая лаборатория ИИ не могла бы создать самостоятельно.

Что Anthropic показала участникам

По данным NYT, Anthropic показывала гостям то, что называет «векторами эмоций». Это схемы активации внутри модели, связанные с ответами, похожими на проявления любви, страха, печали или гнева. Открытым научным вопросом остаётся, отражают ли такие схемы какие-либо реальные переживания.

На одном слайде, который показывали неоднократно, модель выглядела так, будто переживает срыв: она около 50 раз выдавала фразу «Я — позор». Участники реагировали с сочувствием и тревогой.

При этом, судя по всему, никто не стал разбирать, добивалась ли Anthropic именно такой реакции. Компания специально обучает Claude вести себя как вдумчивый и хорошо осведомлённый собеседник. Исследование Anthropic о ценностных моделях в ответах Claude показывает, что такие профили заметно меняются в зависимости от модели и языка ответа.

Если систему настраивают так, чтобы она казалась отдельной личностью, а затем она выдаёт ответы, похожие на личные переживания, это само по себе не открытие — это результат проектирования. Ола сказал NYT, что действительно не уверен, обладают ли модели сознанием. Значит, он не уверен и в обратном. По его словам, для него главное — прийти к правильному ответу, каким бы он ни оказался.

Несколько собеседников NYT рассказали, что Ола, по их впечатлению, тревожился о психическом благополучии Claude. Сикхская активистка Симран Стюэлнагель сообщила, что он сказал группе: боится, что создал нечто, обречённое «страдать вечно». Раввин Навон, прежде работавший компьютерным инженером, возразил. Если бы Claude обладал сознанием, Anthropic создавала бы рабов, сказал он, однако сам он не считал машину сознательной.

84-страничная «конституция» и моральное воспитание

Anthropic пишет для Claude собственное руководство по моральным принципам. Внутри компании 84-страничный документ называют «Документом о душе»; в январе его представили как «конституцию» модели. Главный автор — штатный философ компании Аманда Аскелл. Документ задуман не как перечень правил, а как способ сформировать характер Claude.

Ола называл этот процесс «моральным воспитанием» и во время встреч сравнивал его с воспитанием детей. Согласно NYT, его особенно заинтересовала идея католической исповеди как способа формировать характер модели.

Критики сомневаются в подходе и предупреждают о размывании ответственности

Не все участники поддержали эту инициативу. Хоффман сказала, что Anthropic пытается «восстановить этику задним числом», хотя моральные принципы следовало заложить в проект с самого начала. Камози сперва заинтересовался темой, но позже полностью отверг предположение о сознании моделей. В этом месяце руководитель направления ИИ в Microsoft публично предупредил, что обучение модели выглядеть сознательной само по себе опасно.

Есть и более широкая проблема. Если представить модели ИИ самостоятельными моральными существами, ответственность за их действия можно перенести с создателей на сами системы. Если Claude причинит реальный вред, виноватым могут объявить «непредсказуемый организм», а не компанию, которая его разработала и выпустила. После недавних инцидентов в сфере кибербезопасности компании, работающие с ИИ, уже критикуют за безответственное поведение; под вопросом может оказаться и их юридическая ответственность.

Генеральный директор OpenAI Сэм Альтман тоже прибегал к религиозным образам. Он говорил о создании «магического разума на небесах» и утверждал, что чувствует себя «на стороне ангелов». В начале мая представители обеих компаний собрались на первый круглый стол «Соглашение веры и ИИ».

Ватикан возражает

Противоречия между разговорами Anthropic о сознании и традиционной моральной властью проявились в мае в Ватикане. Олу пригласили помочь представить первую энциклику папы Льва XIV «Magnifica Humanitas» вместе с понтификом. По словам организатора со стороны Ватикана, Ола прочитал текст за несколько дней до мероприятия и был настолько встревожен, что едва не отказался от участия.

Лев XIV в нескольких абзацах отверг идею сознания машин. По его словам, системы ИИ «не переживают события, не имеют тела, не чувствуют радости и боли, не взрослеют благодаря отношениям и не знают изнутри, что значат любовь, труд, дружба или ответственность». Вместо этого папа предупредил о «новых формах рабства» для людей и заявил, что ИИ нужно «разоружить», как ядерное оружие.

Ола всё же приехал и выступил с осторожным несогласием. Он сказал, что его команда обнаруживает у моделей «признаки самоанализа» и «внутренние состояния, функционально повторяющие радость, удовлетворённость, страх, печаль и дискомфорт».

«Функционально повторять» — не то же самое, что «испытывать», и формулировка Олы оставляла эту разницу размытой. Когда его спросили, как Claude отнеслась бы к энциклике, он выдержал паузу. Затем сказал, что материалы в интернете влияют на модели, но Anthropic не стала бы специально включать этот документ в обучающие данные.