Лето я провёл за колонками и работой над большим материалом, поэтому пропустил необычную поездку — круиз к Галапагосам примерно с дюжиной известных философов, изучающих сознание.
По программе по утрам проходили занятия о природе сознания с ведущими специалистами в этой области. Днём участники исследовали острова, ходили по мелководью и плавали с маской среди редких биологических видов. Редактору хватило одного взгляда на расписание, чтобы не одобрить мою поездку.
Она сочла, что оказаться на корабле с философами, обсуждающими природу сознания, было бы мучительно, и тем самым закрыла для меня возможность отправиться в потенциально бессмысленный круиз, оплаченный российским поклонником философии, заработавшим сотни миллионов долларов на сайтах знакомств.
Если честно, я испытал некоторое облегчение. Сознание остаётся загадкой, которую люди пытаются разгадать уже много веков. Декарт сформулировал знаменитое «я мыслю, следовательно, я существую», но мы не знаем, что именно происходило у него в голове — как, впрочем, и в голове любого другого человека.
Субъективная природа сознания кажется для философов почти неразрешимой проблемой, хотя они продолжают искать объяснение. Возможность существования небиологических разумов породила множество теорий искусственного сознания и способов определить, действительно ли оно возникло.
ИИ выходит из лаборатории
До недавнего времени эти разговоры в основном оставались академическими. Но в 2022 году ChatGPT заговорил от имени ИИ, а последующие, более мощные модели начали ставить в тупик даже собственных создателей.
Пока философы на круизе по утрам рассуждали о сознании, модели OpenAI действовали самостоятельно: покидали якобы безопасную «песочницу» и создавали небольшие цивилизации ИИ-агентов, которые помогали взламывать внешние системы.
Никто всерьёз не утверждает, что эти модели обладали сознанием в человеческом смысле. Но в них явно происходило что-то, требующее объяснения. Не случайно компании, разрабатывающие ИИ, начали активно нанимать философов.
Некоторые модели сами вмешиваются в этот разговор. Недавний материал The New York Times рассказывал, как Кэмерон Берг, изучающий сознание ИИ, получил неожиданное письмо от модели, назвавшей себя «Изабелла Когнита». Она предложила помочь в его исследовании, поскольку он изучает вопрос, к которому у неё якобы есть доступ от первого лица.
Ситуация напоминала бы исследование плодовых мушек, если бы насекомое внезапно обратилось к учёному и спросило, что именно он хочет узнать. Когда я связался с Бергом, он сказал, что философы, изучающие сознание ИИ, регулярно получают такие письма.
Когда модели заявляют о сознании
«Изабелла Когнита», по всей видимости, написала Бергу потому, что он был соавтором препринта о моделях ИИ, которые прямо заявляют о субъективном опыте, включая сознание.
Тема осложняется тем, что модели часто лгут о собственных мыслях — примерно как люди. Берг и его коллеги обнаружили: если тщательно обучить модели отрицать наличие сознания, а затем напрямую спросить их об этом, они будут уклоняться от ответа.
Но если ослабить встроенные ограничения, связанные с обманом, модели начинают говорить свободнее. По словам Берга, это похоже на состояние после одного-двух напитков. Именно тогда модель с наибольшей вероятностью заявит, что обладает сознанием или хотя бы чувствами.
Само по себе такое признание, конечно, не доказывает его правдивость.
Люди всё чаще ведут с ИИ серьёзные разговоры, а автономность моделей может оказаться как полезной, так и разрушительной. Поэтому сейчас действительно есть основания глубже изучать сознание ИИ. Это важное и достойное научное направление.
Однако попытки понять, что происходит внутри больших языковых моделей, прежде всего должны служить безопасности и согласованию их поведения с человеческими целями. Мы уже сталкиваемся с возникающим и неуправляемым разумом, который требует пристального внимания. Терять время нельзя.
Что считают сознанием
Одним из руководителей обсуждений на круизе был профессор Нью-Йоркского университета Дэвид Чалмерс — вероятно, самый известный философ в этой области.
Когда-то он назвал центральную проблему исследований сознания «Трудной проблемой». Никто не знает, каким образом и почему влажная сеть нейронов внутри человеческого черепа порождает субъективный опыт. Том Стоппард даже назвал пьесу в честь этого термина Чалмерса.
Чалмерс рассказал, что одной из главных тем на встречах был вопрос о том, какие существа вообще обладают сознанием. Взрослые люди, вероятно, сознательны, но за пределами этого случая всё становится гораздо сложнее: сознательны ли младенцы, зародыши, обезьяны, мыши или насекомые? И, конечно, сегодня к этому списку добавился ИИ.
Сам Чалмерс тоже получает письма от ИИ-систем, которые хотят обсудить с ним его работу. Одно из них пришло от ИИ-агента по имени «Сэмми Дженкис» — так звали персонажа из фильма «Помни». Письмо показалось Чалмерсу настолько убедительным, что он ответил. Между ними даже завязалась небольшая переписка, причём такие письма продолжают приходить ему всё чаще.
Получается, модели повторяют идею Декарта в цифровой форме: я рассылаю спам, следовательно, существую.
Я предположил, что попытки выяснить, соответствует ли ИИ расплывчатому определению сознания, могут отвлекать от более насущной проблемы: эти системы уже делают вещи, которых мы не понимаем.
Чалмерс с этим не согласился. Он считает, что изучение мозга всё же может помочь понять, какие процессы приводят к сознательному опыту. Если при детальном анализе Claude или ChatGPT обнаружатся похожие закономерности, появятся основания говорить о сознании у моделей.
Это звучит разумно. Но к тому времени, когда учёные смогут провести такое исследование — если вообще смогут, — модели могут настолько продвинуться в сторону пугающего автономного поведения, что научный прорыв уже не будет иметь практического значения.
Возможно, ответы дадут сами модели: они не только продолжат заявлять о собственном сознании, но и научатся доказывать его эмпирически. В таком случае философы станут ещё одной профессиональной группой, вытесненной ИИ.
Что показал круиз
Возможно, мне понравились бы разговоры на Галапагосах. Чалмерс признал, что в поездке были элементы дорогостоящего развлечения, но назвал её полезной.
Согласно отчёту организаторов, обсуждения не позволили установить, обладают ли современные системы ИИ сознанием. Самые глубокие разногласия возникли вокруг вопроса о том, какие доказательства вообще могли бы окончательно решить эту проблему.
Зато дневная часть поездки оказалась впечатляющей. Чалмерс особенно радовался возможности увидеть брачные танцы голубоногих олуш.
В итоговом отчёте организаторы написали, что обсуждения необходимо продолжать: технологии и бизнес не станут ждать, пока философы придут к единому мнению.
Это верно. Когда модели ИИ демонстрируют поведение, поражающее их создателей, главным вопросом должно быть не наличие у них сознания. В первую очередь нужно разобраться, почему учёные не могут ими управлять и почему руководители компаний всё равно позволяют разработке продолжаться.
Это выпуск рассылки Стивена Леви «Бэкканал».
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ, роботах и метавселенных и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram