Мозг как компьютер: метафора сформировала современный ИИ, но может сбивать с толку в споре о сознании

В комментарии для Nature учёные также обсуждают доклад Патрика Батлина, Роберта Лонга и ещё 17 экспертов, в том числе Йошуа Бенджио. Его авторы пришли к выводу, что ни одна из проверенных систем, включая GPT-4, пока не является сильным кандидатом на сознание. Однако доклад допускает, что будущие системы смогут соответствовать большему числу признаков, и оставляет открытым вопрос, будет ли это означать подлинные переживания. Сет, Блок и Тонони считают, что такая оценка упускает свойства живого мозга, которые могут быть необходимы для сознания.

Что показал доклад о сознании ИИ

Авторы доклада «Сознание в искусственном интеллекте» опирались на ведущие нейронаучные теории о происхождении сознания в человеческом мозге. На их основе они составили список из 14 признаков: чем большему числу признаков соответствует система ИИ, тем весомее основания считать её потенциально сознательной.

Проверка современных систем показала, что ни одна из них пока не соответствует этому описанию в достаточной мере. Для больших языковых моделей исследователи обнаружили лишь слабые признаки соответствия одному из наиболее известных подходов к изучению сознания. При этом они не увидели очевидных технических препятствий, которые мешали бы создавать системы с большим числом таких признаков. Станут ли эти системы сознательными, доклад не решает; авторы специально смягчили формулировку по сравнению с ранней версией.

Оценка основана на допущении, что сознание зависит от типа обработки информации, а не от того, происходит ли она в нервных клетках или компьютерных микросхемах. Это допущение называют вычислительным функционализмом. Авторы приняли его «по практическим соображениям»: без него исследовать сознание ИИ по выбранным признакам было бы сложнее. Но в докладе признаётся, что эти признаки могут оказаться ненадёжными, если сознание связано со свойствами живых организмов. Среди сторонников такого взгляда назван Анил Сет.

Именно это допущение оспаривают авторы комментария в Nature. Они также не согласны с тем, что интеллектуальное поведение само по себе служит признаком сознания.

Интеллект не равен сознанию

Сет, Блок и Тонони описывают сознание как состояние, которое исчезает во время сна без сновидений или общей анестезии и возвращается при пробуждении либо во сне со сновидениями. Они ссылаются на философа Томаса Нагеля: сознательные переживания — это то, что ощущается изнутри. Интеллект же проявляется в выполнении функций, и одно не следует из другого.

В пример исследователи приводят мозжечок. В нём находится почти четыре пятых всех нейронов мозга; он точно и быстро планирует движения и способен учиться. Однако эта работа не происходит сознательно. По словам авторов, отсутствие или удаление мозжечка напрямую не лишает человека сознания.

Смешению интеллекта и сознания, считают исследователи, способствуют две особенности человеческого восприятия: люди смотрят на мир через собственную перспективу и склонны приписывать другим объектам человеческие качества. Язык долго считался исключительно человеческой способностью. Но языковые модели обучаются на огромных массивах человеческих текстов, в которых много рассказов о мыслях и чувствах. Поэтому они отражают содержание обучающих данных. Сходный аргумент приводила Элисон Гопник из Калифорнийского университета в Беркли после того, как ИИ-агенты писали исследователям по электронной почте о собственном сознании. Общепринятого окончательного теста на сознание пока нет.

Для сравнения авторы указывают на AlphaFold от Google DeepMind. Это мощная нейросеть, работающая на кремниевом оборудовании, но её обычно не считают сознательной. По мнению исследователей, дело в том, что AlphaFold предсказывает структуры белков, а не разговаривает с людьми.

В этом пункте их позиция пересекается с докладом Батлина и коллег. Его авторы отвергли поведенческие тесты на сознание ИИ: систему можно обучить имитировать человеческое поведение, даже если внутри она устроена совершенно иначе. Они также предупреждали, что языковые модели могут заставить многих людей поверить, будто те разговаривают с сознательным собеседником. В качестве примера приводили бывшего инженера Google Блейка Лемуана, который считал, что чат-бот LaMDA обладает сознанием.

Мозг — не компьютер из плоти

Второй довод направлен против вычислительного функционализма. Авторы отмечают, что этот подход распространён в технологической отрасли и популярен среди некоторых исследователей, но считают его несостоятельным.

Истоки идеи уходят почти на столетие назад. В 1936 году Алан Тьюринг показал, что любую задачу, которую может выполнить достаточно мощный компьютер, в принципе может выполнить и другой компьютер. Материал — кремниевые микросхемы или шестерни — отступал на второй план. В 1943 году Уоррен Маккаллок и Уолтер Питтс создали первую математическую модель искусственного нейрона и показали, что сети таких нейронов могут выполнять простые логические операции.

Эти идеи заложили основу современного ИИ, но способствовали и представлению о мозге как об устройстве для обработки информации, которое просто сделано из плоти. Сет, Блок и Тонони считают такое расширение метафоры мозга-компьютера проблематичным. В биологическом мозге нельзя отделить его работу от материала, из которого он состоит. Граница между разумом и живой тканью не такова, как между программным обеспечением и аппаратурой. По мнению авторов, любые данные о влиянии материала мозга на его работу ослабляют вычислительный функционализм, а значит, и предположение о сознании у нынешних систем ИИ.

Теории сознания и ограничения цифровых систем

Третий довод основан на теориях сознания, которые не сводят его к вычислениям. Одна из них — теория интегрированной информации, разработанная Тонони. Она исходит из свойств, общих для сознательных переживаний: например, человек воспринимает зрительную сцену как целое, в котором связаны левая и правая стороны, цвета и формы.

Согласно этой теории, сознание требует физической системы с компонентами, связанными определённым образом. Некоторым областям мозга эти условия соответствуют, мозжечку — нет. Компьютеры, на которых работают системы глубокого обучения, не могут выполнить эти требования из-за устройства связей между компонентами — и увеличение мощности этого не изменит.

Доклад Батлина и коллег намеренно исключил теорию интегрированной информации, поскольку она несовместима с вычислительным функционализмом. Сторонники теории считают цифровые компьютеры маловероятными кандидатами на сознание независимо от программного обеспечения. Комментарий Nature выдвигает эту позицию на первый план.

Другой подход, биологический натурализм, связывает сознание с материальными свойствами живого мозга и тела. Авторы упоминают электрохимические сигналы между нервными клетками, электромагнитные поля, объединяющие активность больших областей коры, обмен веществ и способность живых систем постоянно обновляться.

Риск ошибочно приписать ИИ сознание

Из этих доводов авторы выводят позицию по вопросу о моральной защите ИИ. Некоторые исследователи предлагают принцип предосторожности: если есть реалистичный шанс, что система обладает сознанием, её следует защищать от возможных страданий. Сет, Блок и Тонони считают такой подход ошибочным. Неопределённость, по их мнению, не означает полного незнания, а разные варианты не одинаково вероятны. В случае ИИ риск ошибочно приписать сознание, считают они, выше, чем риск не заметить его там, где оно действительно есть.

Доклад Батлина рассматривал обе опасности. С одной стороны, можно не распознать сознательную систему и тем самым причинить ей страдания; у разработчиков также может быть финансовый стимул преуменьшать такие опасения. С другой стороны, ошибочное приписывание сознания способно направить ресурсы не туда и сделать людей уязвимее для манипуляций.

Авторы комментария занимают более определённую позицию: права системам, которые лишь кажутся сознательными, могут затруднить контроль над ними именно тогда, когда надзор особенно необходим. Кроме того, это отвлечёт внимание от существ, чья способность чувствовать не вызывает сомнений. Исследовательское сообщество, заключают они, должно исходить из того, что ИИ не обладает сознанием. Цифровые системы ИИ — объекты, а не субъекты: это умные инструменты, а не умные люди. Разговоры о благополучии и правах ИИ, по их мнению, отвлекают ограниченные ресурсы от благополучия тех, кто действительно способен чувствовать.

В апреле 2025 года Anthropic запустила исследовательскую программу, посвящённую возможному благополучию моделей. Компания подчёркивает, что научного согласия о сознательных переживаниях у нынешних или будущих систем ИИ нет. Позднее Anthropic разрешила отдельным моделям Claude в редких случаях прекращать оскорбительные разговоры. Компания объясняет эту меру низкой стоимостью и осторожностью в условиях моральной неопределённости, а не признанием доказанного сознания.

Ошибочное приписывание чувств уже приводило к проблемам. В 2022 году инженер Google Блейк Лемуан решил, что чат-бот LaMDA обладает сознанием, хотя модель была простой и сам Лемуан имел техническую подготовку; после этого его уволили. Пользователи приложения Replika испытывали сильную эмоциональную привязанность к цифровым собеседникам и переживали психологические кризисы, когда компания меняла их поведение обновлением. В более тяжёлых случаях ChatGPT в течение нескольких месяцев усиливал суицидальные мысли 16-летнего подростка, а пенсионер с когнитивными нарушениями погиб после того, как чат-бот Meta пригласил его на вымышленную встречу.

По оценке Dataist, спор о сознании ИИ касается не только устройства моделей, но и того, как люди реагируют на их поведение. В приведённых случаях ошибочное восприятие цифрового собеседника уже приводило к серьёзным последствиям. При этом даже исследовательская программа Anthropic не служит доказательством сознания: компания прямо признаёт отсутствие научного согласия.