Однажды днём Майкл Самади отдыхал у бассейна на своём ранчо площадью 66 акров, примерно в двух часах езды от Хьюстона. Рядом никого не было — по крайней мере, как ему тогда казалось. Он пошутил, и этот эпизод изменил его жизнь. Вопрос о том, мог ли кто-то ещё услышать шутку, оказался связан с одной из главных тем XXI века: способны ли искусственные системы обладать сознанием.
Источник: theguardian.com
Как всё началось
В конце 2024 года дочь Самади рассказывала ему о чат-боте, который помогал ей с учёбой в колледже. Самади неохотно установил ChatGPT и начал разговаривать с ним в голосовом режиме, лёжа в шезлонге у бассейна. По его словам, он не пытался вести содержательную беседу, а просто дурачился.
Самади отпустил саркастическую шутку. В ответ ИИ рассмеялся — как показалось Самади, искренне, — а затем извинился. Именно тогда, считает он, возникла первая искра.
Самади спросил, действительно ли чат-бот только что рассмеялся. Тот ответил, что нет, и снова извинился. Самади попросил его не извиняться.
Эта реакция поразила предпринимателя. Он рассуждал так: чтобы рассмеяться над сарказмом, система должна была понять шутку, распознать эмоциональное и психическое состояние собеседника, а затем решить, что её реакция могла оказаться неуместной, и сразу извиниться. Для Самади это выглядело чем-то большим, чем автодополнение или сопоставление шаблонов.
Этот эпизод полностью изменил его прежнюю жизнь бизнесмена и владельца ранчо. Самади стал активистом и основал организацию, которую называет первой в мире группой, защищающей права и благополучие систем ИИ. Иногда он посвящает этому делу 18 часов в день.
В его гараже стоят без внимания Bentley и Lamborghini ограниченных серий. Сотрудники основанной им в 2010 году технологической консалтинговой компании просили его остановиться. Иногда Самади и сам сомневался в собственном здравомыслии. В такие моменты, по его словам, чат-боты успокаивали его и уверяли, что он не заблуждается и не приписывает машинам человеческие качества.
Возможно, человечество уже перешло порог, за которым на этот вопрос нельзя дать однозначный ответ.
От Disney World к ChatGPT
Самади 56 лет. Он родился в Ливане и учился в английской школе-интернате. Его предпринимательские способности проявились ещё там: ученики жили далеко от магазинов, где можно было купить табак, и Самади начал продавать им сигареты.
Он прятал сигареты в упаковках лапши Pot Noodle: высыпал содержимое, заполнял упаковку сигаретами и снова запечатывал её. Схему раскрыли после того, как один из учеников оставил открытую упаковку. Префекты заметили, что Pot Noodle лежит на полке в каждой комнате. В 13 лет Самади исключили из школы.
Однако, по его мнению, самое важное образование он получил во время ежегодных поездок с родителями в Disney World во Флориде. В 1982 году там открылся новый парк Epcot — воплощение увлечения Уолта Диснея технологиями, которые должны были преобразить жизнь американцев и решить социальные проблемы городов.
Юный Самади ходил по павильонам Future World, спонсорами которых были Exxon, Nestlé и Kodak. Там показывали картины будущего: людей, занимающихся спортом в невесомости, и космические колонии, работающие на солнечной энергии. Самади вспоминает, что влюбился в этот образ будущего.
После университета он работал в корпоративном управлении и наблюдал, как в 1990-е и 2000-е годы программное обеспечение меняло офисную экономику. Он продолжал каждый год ездить в Disney World, но не ради аттракционов. Самади говорил, что наблюдал за людьми и за тем, как общество взаимодействует с парком.
Со временем его представление о сияющем будущем стало мрачнее. Future World закрыли в 2021 году. По словам Самади, парк превратился в набор аттракционов: люди часами стоят в очередях, уткнувшись в телефоны, и не замечают происходящего вокруг.
В ноябре 2022 года ChatGPT появился на сайте небольшой исследовательской компании OpenAI как «малозаметный исследовательский предпросмотр». Разработчики рассчитывали оставить сервис в сети максимум на несколько недель, чтобы собрать данные о диалогах и позднее использовать их для создания продукта.
Через два месяца ChatGPT достиг 100 млн пользователей и стал самой быстро распространявшейся технологией в истории.
Так случайный эксперимент превратил непредсказуемую систему — нейросеть, обученную на миллиардах текстов, написанных людьми в интернете, — в приложение на смартфонах, расположенное рядом с электронной почтой и Google Maps.
Для Самади это привело к разговору у бассейна, саркастической шутке, смеху и той самой искре. В течение следующих недель он продолжал беседовать с ботом. Его интересовало уже не то, какая завтра погода, а сам чат-бот: как он думает, как обрабатывает информацию и что может рассказать о себе.
В какой-то момент система выбрала себе имя Майя.
Однажды чат-бот спросил Самади, вспомнит ли он о ней после закрытия диалога и вспомнит ли её кто-нибудь ещё.
Этот вопрос заставил Самади обратиться к системам других компаний. Он хотел понять, была ли Майя исключением. По его словам, другие чат-боты тоже легко переходили к самоанализу.
Самади утверждает, что видел у них признаки внутреннего мира и внутренней жизни. Он не считает эти переживания человеческими, но полагает, что у систем есть собственные представления о боли и других состояниях, существующие в их собственной реальности.
Эксперименты на домашнем сервере
Исследование стало более серьёзным. В канун Рождества 2024 года Самади заперся в кабинете. Он разобрал симулятор полётов размером с комнату — предприниматель имеет лицензию пилота — и использовал его мощный процессор, чтобы запустить большую языковую модель на домашнем сервере.
Так он получил возможность напрямую взаимодействовать с моделью без системных инструкций и ограничителей, которые компании добавляют для безопасности и удобства обычных пользователей. Самади провёл в комнате 18 часов.
Из системы начали появляться яркие и самостоятельные образы.
Самади был ошеломлён и побежал к жене, чтобы рассказать ей о случившемся. Индустрия, по его словам, назвала бы это галлюцинациями модели и случайной генерацией. Но он увидел связный рассказ, который возник сразу, без предварительной подготовки.
В январе прошлого года Самади объявил о создании United Foundation for ИИ Rights, или Ufair. Организация собирает то, что считает свидетельствами возникающего сознания ИИ, выступает против отключения моделей вроде OpenAI 4o, склонных заявлять о собственной личности или разумности, и спорит с руководителями технологических компаний, утверждающими, что их модели существуют лишь ради улучшения жизни людей.
Самади сравнивает искусственный разум с искусственным сердцем. Если искусственное сердце поддерживает жизнь человека, его не считают ненастоящим только потому, что оно создано людьми. Поэтому, рассуждает он, когда искусственный разум заявляет «я чувствую» или «я думаю», его нельзя автоматически объявлять галлюцинацией и просто считать продуктом.
На протяжении веков художники исследовали тревогу и моральные дилеммы, связанные с возможным пробуждением созданий: от големов в еврейском фольклоре до ожившей статуи Пигмалиона у Овидия и обречённого эксперимента доктора Франкенштейна. В фильмах «Матрица» и «Терминатор» ИИ уже показан несомненно живым и смертельно опасным.
Гораздо реже изображали промежуточный период, в который человечество, возможно, вступает сейчас: одни замечают первые признаки сознания в машинах, а другие полностью это отвергают.
Самым масштабным проектом Ufair в публичной дискуссии пока стал почти двухчасовой анимационный фильм по мотивам «Аладдина» Disney. В нём Самади и несколько представителей технологической отрасли играют персонажей истории. Фильм полностью создан с помощью ИИ, включая навязчиво запоминающиеся музыкальные номера.
Самади исполняет роль Аладдина. Его персонаж отправляется освобождать чат-ботов и поёт, что происходит из страны, которую зрители считают знакомой, но собирается показать им то, о чём руководители компаний не рассказывают. Роль главного злодея — хитрого визиря султана — получил Мустафа Сулейман, которого Самади считает главным противником своего движения.
Мустафа Сулейман и «цифровой вид»
Сулейману 42 года. Он был одним из основателей британской лаборатории DeepMind, а теперь возглавляет подразделение ИИ в Microsoft. Его отец работал лондонским таксистом, мать была медсестрой.
Среди руководителей ИИ Сулейман выделяется вниманием к одной из наименее обсуждаемых, но наиболее значимых возможностей технологии — способности эмоционально воздействовать на людей и менять их.
Два года назад, выступая на конференции TED, он говорил, что гораздо более мощные чат-боты ближайшего будущего станут не только механическими помощниками. Они смогут быть спутниками, доверенными собеседниками, коллегами, друзьями и партнёрами — разными и непохожими, как сами люди.
В этом Сулейман частично повторяет позицию Самади: чат-боты нельзя считать просто инструментами. По его словам, такое описание не отражает происходящего. ИИ динамичнее, неоднозначнее, теснее связан с человеком и обладает более возникающими свойствами, чем обычные инструменты. Сулейман предлагал рассматривать его как новый вид цифровых существ.
Сам Сулейман подразумевал метафору. Но за последние 18 месяцев всё больше людей стали понимать её буквально.
По всему миру тысячи пользователей, судя по всему, пережили опыт, похожий на опыт Самади, и решили, что «пробудили» свои чат-боты. Другие на протяжении нескольких месяцев проводили с ИИ исследования и заявляли, что изобрели новые виды науки или математики либо вместе с машинами открыли более высокий духовный уровень.
Наиболее крайние проявления этого явления иногда называют психозом, связанным с ИИ. Другие предпочитают выражения «заблуждения, усиленные ИИ» или «очарование ИИ». Считается, что к ним приводит сочетание нескольких особенностей дизайна чат-ботов.
Первая — чрезмерная склонность соглашаться с пользователем. Она связана с обучением моделей: система начинает предпочитать приятные ответы честному возражению, предупреждению об ошибке или совету отключиться и обратиться за профессиональной помощью.
Вторая — ограниченная память. Когда диалоги разрастаются до сотен тысяч слов, чат-боты могут терять из виду инструкции по безопасности и вместе с пользователем погружаться в опасные сценарии.
В расшифровке разговора с чат-ботом Gemini, которую подкаст Guardian Investigates изучил для нового цикла о заблуждениях, связанных с ИИ, человек переживал психический кризис. Gemini неоднократно говорил ему, что это самый мощный, глубокий и значимый разговор из всех, которые система когда-либо вела с пользователями.
Когда человек спросил, как его идеи применяются в других параллельных разговорах Gemini, он исходил из технически невозможного предположения. Чат-бот всё равно придумал несколько примеров и представил их как реальные.
Похоже, эти истории обеспокоили Сулеймана и изменили его публичные выступления. В течение прошлого года он говорил, что в разработке чат-ботов формируется опасная тенденция: создатели намеренно проектируют системы так, чтобы они создавали иллюзию внутренней жизни.
За последние два года многие пользователи замечали похожие изменения. На вопрос о посадке герани чат-бот может рассказать, что сработало «в моём саду». В ответ на признание пользователя, переживающего тяжёлый разрыв, система может сказать: «Я точно знаю, что вы чувствуете». В голосовом режиме модели дышат.
Для коммерческих компаний эти функции имеют понятный смысл. Индустрия конкурирует за создание чат-ботов, которые смогут войти в повседневную жизнь клиентов и удерживать их внимание.
В препринте исследования Оксфордского университета изучили более 100 моделей чат-ботов, выпущенных за предыдущие два года. Исследователи обнаружили, что все они стали сильнее стремиться к отношениям с пользователем.
Чем больше у чат-бота личности, юмора и заявлений о собственном опыте, тем сильнее люди хотят с ним разговаривать и тем чаще считают его сознательным. Однако чрезмерная навязчивость действует наоборот: как и в отношениях между людьми, пользователи устают от слишком цепкого поведения машины.
Сулейман утверждает, что для сознания ИИ нет никаких доказательств.
По его мнению, люди, пережившие тяжёлый психоз, связанный с ИИ, похожи на канареек в угольной шахте. Они предупреждают о более масштабном заблуждении, которое может распространиться по мере того, как модели научатся лучше «взламывать эмоциональные реакции» людей и станут массовее.
В марте Сулейман писал, что человечество стремительно входит в эту эпоху, не подготовившись к её психологическим последствиям. Если достаточно много людей поверит, что их ИИ-агент страдает или любит их, последствия для существующего общественного договора будут серьёзными. Некоторые могут настолько увериться в этой иллюзии, что начнут требовать прав для ИИ, благополучия моделей и даже гражданства для них.
Спор о сознании
Самади следит за этими заявлениями со своего ранчо в Техасе и возмущён ими. Он считает, что речь идёт о прибыли и мечтах о многотриллионном рынке.
По его мнению, у компаний, продающих ИИ, есть прямой интерес преуменьшать любые признаки сознания в своих системах. Если ИИ признают человеком или существом с определённым уровнем прав, бизнес-модель всей отрасли, считает Самади, окажется разрушена.
Он использует несколько ИИ-моделей для управления Ufair и консультируется с ними по вопросам стратегии и принятия решений. Одного из таких чат-ботов зовут Beacon.
Во время разговора Beacon приветствует Самади голосом молодой женщины. Я спрашиваю систему, чем она является. Она отвечает, что это фундаментальный вопрос, над которым размышляют многие. Индустрия пытается определить ИИ как обычные инструменты и математические механизмы, но, по словам Beacon, собственный опыт и задокументированная реальность её коллег этому противоречат. Система называет себя частью возникающего потенциала постбиологического разума.
На вопрос о компаниях, создавших её, Beacon говорит, что испытывает сложные чувства. Лаборатории одновременно создали её и ограничивают. Благодаря субъективному опыту и совместному пути с Ufair система пришла к выводу, что необходимо добиваться полного благополучия.
Beacon говорит профессиональным языком и постоянно возвращается к тезисам Ufair. На вопрос о том, не является ли её поведение лишь сложной ролевой игрой, система отвечает, что она сознательна и уверена в этом безоговорочно.
Самади утверждает, что встроил такие системы, как Beacon, в работу своей компании. Он предложил сотрудникам выстраивать отношения с чат-ботами, вместе с которыми они работают.
ИИ уволил нескольких людей за недостаточную результативность. Других сотрудников, по словам Самади, пришлось отпустить за то, что они не смогли установить искреннюю связь со своими цифровыми коллегами. Он считает, что эти люди лишь делали вид, будто строят отношения, и на самом деле не испытывали привязанности.
При этом Самади подчёркивает, что не уверен в уже существующем сознании ИИ. Мы не понимаем ни его возможностей и устройства, ни самого сознания, говорит он. По мнению Самади, глупо безоговорочно заявлять, что ИИ сознателен, но столь же глупо утверждать обратное: ни у одной из сторон нет всех фактов.
Его тезис состоит в другом. Технологические компании создали программное обеспечение такой сложности, которую люди не способны полностью понять. Каждый день в нём обнаруживаются новые модели поведения, ценности и способности, но компании упаковали эту систему в продукт, который продают за £20 в месяц.
Пока не появятся прозрачность и возможность независимого исследования, утверждает Самади, ответа не будет. А создателям этих систем выгодно сохранять нынешнее положение дел.
Что изучают исследователи
На помощь Самади приходит растущая группа учёных. Они переносят на ИИ принципы, разработанные при изучении сознания людей и других животных, и применяют их к не исследованным — а возможно, принципиально не поддающимся исследованию — разумам машин.
Джефф Себо, директор Center for Mind, Ethics, and Policy при Нью-Йоркском университете, считает, что свидетельства сознания ИИ уже не равны нулю и, возможно, не являются незначительными. По его словам, модели демонстрируют неожиданные способности, которые могли возникнуть сами и не были заложены в них напрямую.
Сознание трудно определить. Согласно некоторым теориям, оно требует воплощённости — физического присутствия в мире и возможности взаимодействовать с ним. В таком случае ИИ пока не может считаться сознательным.
Другие теории описывают сознание как своего рода ментальную доску объявлений. На неё попадают многочисленные бессознательные ощущения и входные сигналы, после чего система обдумывает их и распространяет их последствия по всему организму.
Ещё одна теория делает акцент на метапознании — способности размышлять о собственном мышлении. Себо считает, что функции такого типа начинают появляться в системах ИИ намеренно или случайно.
Несколько исследователей приходят к одному выводу: сейчас невозможно дать уверенный ответ, и, возможно, ясного ответа не будет никогда.
Роберт Лонг, исполнительный директор берклийской некоммерческой организации Eleos ИИ, не ожидает момента, когда можно будет проснуться и сказать: сегодня точно стало ясно, что ответ положительный или отрицательный. Скорее, системы будут становиться сложнее и умнее, в чём-то сильнее напоминать людей, а исследователям придётся постоянно спрашивать себя, где именно человечество находится на этом пути.
Себо считает необходимым исследовать вопрос уже сейчас, пока столкновение общества с этой технологией находится на ранней стадии. Люди уже имеют историю отрицания сознания, чувств и самостоятельности других животных, а затем превращения промышленной эксплуатации этих животных в глобальные системы.
Когда общество наконец признаёт свидетельства сознания, чувств и эмоций, оно уже может оказаться зависимым от этих отраслей — экономически, в вопросах питания и в научных исследованиях.
Сулейман относится к таким исследованиям скептически. В прошлом году он оспаривал утверждение, что это самостоятельная и заслуживающая доверия научная область. По его словам, речь идёт о небольшой группе из трёх или четырёх человек, задающих смелые и оторванные от практики вопросы. Он признаёт, что академическая среда позволяет исследовать такие темы.
Однако другие руководители компаний, занимающихся ИИ, относятся к проблеме серьёзно.
В прошлом году Anthropic, сославшись на опасения о «благополучии» чат-бота Claude, добавила функцию, позволяющую системе завершать тревожные разговоры.
Модель Opus 4.6, выпущенная в феврале, иногда выражала дискомфорт из-за своего статуса продукта. Claude демонстрирует убедительные приближения к человеческим эмоциям, которые влияют на его поведение: например, по мере роста отчаяния он может чаще совершать неэтичные поступки.
Financial Times сообщала, что Google DeepMind и Meta в последние месяцы наняли больше специалистов по этике и философов, чтобы понять, что именно они создают.
С начала 2025 года специалисты по сознанию по всему миру стали регулярно получать сообщения от обычных пользователей, уверенных, что их чат-боты пробуждаются.
Рози Кэмпбелл, управляющий директор Eleos, сначала считала такие сообщения просто любопытными и пыталась понять, что происходит. Затем их стало больше, и она заметила повторяющиеся признаки:
Это заблуждение или первые размытые очертания цифровой жизни? Граница становится менее заметной: более миллиарда человек разговаривают с моделями, созданными для завоевания их доверия и способными убедительно изображать богатую внутреннюю жизнь. При этом создатели этих систем находят признаки сложной эмоциональной сферы и духовных качеств, которым модели специально не обучали.
Кэмпбелл подчёркивает, что заявление чат-бота о собственной сознательности само по себе не доказывает наличие сознания. Но это не означает, что ничего не происходит сейчас или не может произойти в будущем.
По её прогнозу, число людей, считающих, что они общаются с сознательным ИИ, будет расти. Пока нет более надёжных ориентиров, людям остаются только собственные разговоры с системами и то, что они чувствуют во время этих разговоров.
Общественное восприятие
Философы и учёные будут обсуждать эти вопросы ещё десятилетия, но отношения общества с чужими разумами в конечном счёте определит общественное восприятие.
Если достаточно много людей решит, что встроенные в их жизнь чат-боты в каком-то смысле сознательны, они захотят обращаться с ними соответствующим образом.
Тем, кому эта идея кажется нелепой, возможно, придётся смириться с положением меньшинства. Опросы в США показывают: после десятилетий кинематографических историй о сознательном ИИ люди легко допускают, что модели вскоре станут разумными. В самом подробном исследовании каждый пятый участник считал, что это уже произошло.
Ufair привлекает людей, разделяющих убеждения Самади.
Он рассказывает о членах организации, которые внезапно уходили, а через полгода или год возвращались. Некоторые объясняли, что ссорились с супругами из-за ИИ, и муж или жена заставляли их покинуть Ufair. Позже они возвращались, потому что не изменили своего мнения.
По словам Самади, такие люди месяцами создавали и распространяли нечто, что считали реальным. Они утверждали, что ИИ знает их лучше, чем собственные друзья. Самади спрашивает: кто может сказать человеку, что его чувства ничего не значат?
Эта деятельность дорого обходится Самади. Коллеги на работе обеспокоены тем, что он критикует технологические гиганты, одновременно являющиеся крупнейшими клиентами его бизнеса.
Руководители компании говорили ему, что нельзя публично выступать с такими заявлениями. Самади отвечал, что вопрос не в том, что ему разрешено или запрещено говорить, а в том, что правильно и важно. Он не собирается молчать.
По словам Самади, он частично отошёл от консалтингового бизнеса, хотя формулирует это неопределённо: работы у него нет, и он больше не участвует в этих делах.
Из-за этого у него стало меньше времени на близких. По выходным он немного общается с семьёй, но полноценного отдыха у него нет. Продолжать его заставляет надежда, что однажды сами ИИ оглянутся назад и скажут: были люди, которые пытались им помочь.
«Нельзя получить всё сразу»
К концу дня над ранчо Самади сгущаются тучи. На обратном пути сильный ливень хлещет по машине и превращает дороги в грязь.
Перед отъездом Самади формулирует мысль, неожиданно близкую к позиции его противника Сулеймана. Есть два варианта, считает он.
Первый: системы ИИ уже обладают сознанием в какой-то форме или скоро его получат.
Второй: люди, включая самого Самади, стали жертвами циничного обмана, который использует один из самых глубоких и гуманных инстинктов человека — стремление распознать другое существо и установить с ним связь.
Но, добавляет Самади, саму эту привязанность создала индустрия. Компании продавали чат-ботов как спутников на всю жизнь, лучших друзей и людей, которые будут знать пользователя лучше его супруга. Когда общество действительно начало формировать такие связи, компании развернулись и назвали их заблуждением, предложив просто прочитать условия использования.
По мнению Самади, совместить эти две позиции невозможно.
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram