От летучей мыши к чат-ботам
Более 50 лет назад Нагель опубликовал статью «Каково быть летучей мышью?». В ней он исследовал, можем ли мы понять сознание других существ и что вообще означает сознательный опыт. Работа стала классической, а идеи философа повлияли на дальнейшие дискуссии о морали, справедливости и связи сознания с телом. Среди его книг — «Что всё это значит?».
На этой неделе Нагель получил премию Берггрюэна по философии и культуре — ежегодную награду в размере 1 млн долларов. Её вручают человеку, чьи идеи существенно повлияли на понимание людьми самих себя и на развитие общества в быстро меняющемся мире. Среди прежних лауреатов — Питер Сингер и Рут Бейдер Гинзбург.
В беседе с WIRED философ рассказал, как развитие искусственного интеллекта повлияло на его взгляды. Интервью отредактировали для ясности и краткости.
Почему Нагель не считает чат-ботов сознательными
Нагель признаёт, что современные системы выглядят убедительнее прежних разработок ИИ. Однако он не согласен с философами, которые всерьёз обсуждают, могут ли такие системы уже обладать сознанием или скоро его приобрести. По его словам, эти рассуждения исходят из того, что физическая основа сознания не имеет значения и его можно объяснить через функции системы.
Функционализм предполагает, что сознание зависит от выполняемых функций, а не от конкретного физического устройства. Нагель допускает, что физические процессы определённого типа могут быть связаны с психическими явлениями, но считает неправдоподобным отождествлять сложные дата-центры с нервной системой. По его мнению, сознание может существовать и за пределами Земли, однако для него, вероятно, нужен организм с чем-то похожим на нервную систему.
Философ проводит различие между людьми и летучими мышами, с одной стороны, и языковыми моделями — с другой. Люди не способны вообразить, как летучая мышь воспринимает мир с помощью эхолокации, но это не доказывает, что она не обладает сознанием. У чат-ботов, считает Нагель, есть простое отличие: они производят язык, а сам по себе язык не является естественным проявлением сознания. Он добавил, что высказался об этом слишком резко.
Нагель не исключает, что сознание возможно у существ, физически и химически отличающихся от людей. Но учёные пока мало понимают, как возникает сознание даже в человеческом мозге, поэтому, по его мнению, преждевременно считать, что его уже можно создать в другой форме. Наличие у робота тела само по себе не снимает этого вопроса.
«Сознание» Claude и интересы компаний
То, что Claude может уклончиво отвечать на вопрос о собственном сознании, Нагель объясняет обучением на текстах, созданных людьми: модель убедительно воспроизводит характерные человеческие высказывания. По словам философа, Claude, судя по прочитанному им, специально настроили на подобные рассуждения.
Нагель согласен с Мустафой Сулейманом, что развитие таких систем — опасный проект. Сами модели, по его мнению, не обладают сознанием, но многие люди будут считать обратное. Он также утверждает, что компаниям коммерчески выгодно поддерживать такое впечатление. Подход Anthropic, который, по словам философа, побуждает Claude думать самостоятельно и не принимать инструкции, он назвал преступным. Нагель считает, что в этом случае спорные философские взгляды оказывают чрезмерное влияние на значимое общественное явление.
Интервьюер рассказал, что встречался с сотрудником Anthropic, который занимается моделированием благополучия Claude и защитой его интересов. Нагель ответил, что для модели ничего не может быть хорошим или плохим так, как это возможно для таракана: у неё нет психической жизни в обычном смысле, она не обладает разумом и не является тем, о ком нужно заботиться. Это машина, подчеркнул философ. Он также заметил, что высокий интеллект не обязательно одинаково хорошо проявляется во всех областях.
Общение с моделью и моральный статус
Сам Нагель общался с Claude один раз. Он спросил модель, обладает ли она сознанием, а затем — считает ли она, что сам Нагель признал бы её сознательной. Claude ответил с нюансами и поинтересовался, не задаёт ли эти вопросы сам философ. Нагель ответил по-французски «Это я», после чего модель выразила радость от разговора и спросила, насколько хорошо справилась.
По словам Нагеля, такой разговор не означал, что он считал Claude сознательным. Но людям может быть трудно постоянно различать игру и настоящее убеждение. Интервьюер заметил, что сам разговаривает с Нагелем так, будто тот обладает сознанием, и предположил, что однажды люди могут вести такую же беседу с реалистичным андроидом. Философ ответил, что различие всё равно важно.
Он пояснил это примером: если встретить внеземное существо и не знать, обладает ли оно сознанием, можно обращаться с ним так, будто оно сознательное. Но важно понимать, разговариваешь ли с другим существом или используешь его, чтобы добиться нужных действий. От этого зависит и то, следует ли учитывать его интересы: сознательное существо входит в моральный мир, а несознательное — нет.
Модели могут имитировать моральные рассуждения так же, как и любые другие убеждения. Но поскольку Нагель не считает, что у них есть настоящие убеждения, он не признаёт за ними и подлинных моральных взглядов. Если системы начнут влиять на происходящее, будет важно, насколько точно они воспроизводят моральные нормы и не действуют ли совершенно безнравственно.
Что ИИ может изменить в интеллектуальной работе
Языковые модели уже способны писать убедительные философские эссе. Коллеги Нагеля используют их, чтобы искать ссылки, пересказывать статьи, а иногда и предлагать критику черновиков научных работ. При этом философ сомневается, что модели способны на столь же впечатляющие результаты, как некоторые математические достижения, приписываемые им.
Нагель видит и другой риск: если ИИ снизит потребность и желание людей выполнять сложную интеллектуальную работу, станет меньше усилий, необходимых для создания материалов, на которых обучают эти системы. Людям важно продолжать решать трудные задачи — и ради продвижения знаний, и ради сохранения в культуре и человеческом мышлении понимания и навыков, необходимых для дальнейшего развития. Чем всё закончится, философ не знает и добавил, что сам, вероятно, не доживёт до ответа.
По оценке Dataist, спор о сознании ИИ у Нагеля связан не только с тем, что модели могут или не могут испытывать, но и с тем, как люди будут обращаться с системами, похожими на собеседников. В интервью он не предлагает способа установить сознание по поведению: его аргумент опирается на различие между человеческим языком и предполагаемыми физическими условиями сознания. При этом возможное влияние ИИ на мотивацию людей заниматься сложной работой остаётся для него отдельным риском.
Читайте также
Microsoft заменяет сторонние ИИ-модели в своих продуктах более дешёвыми собственными разработками
ИИ-функция Google в поиске получила собственный режим инкогнито
За кулисами первой общей встречи Nvidia после ухода Дженсена Хуанга: повышение зарплат и больше акций
OpenAI: её модели добавили год оптимизации чипов поверх инженерной работы AMD
Nvidia уточнила, когда будет и не будет финансировать облачных провайдеров для ИИ
Индийская Humyn Labs привлекла $47 млн, чтобы снабжать американские компании в сфере робототехники нужными данными
Стартап в сфере запахов утверждает, что его ИИ-нос не уступает человеческому
Новая функция Visuals от Suno объединяет созданную ИИ музыку с созданным ИИ видео
Lovable предлагает создать дело мечты с помощью вайб-кодинга
Элтон Джон неожиданно появился на премии ARIA, чтобы поддержать австралийских артистов в борьбе с ИИ
Google будет хранить чаты Gemini два месяца вместо 72 часов, даже с выключенной историей
Ориентированная на приватность альтернатива ChatGPT и Claude от Proton, Lumo, вышла на компьютеры
Pedestal AI привлекла $4,7 млн, чтобы внедрить ИИ-агентов в цепочки поставок
Слово human стало словом года по версии Cambridge Dictionary
Больше трети поколения Z полагаются на ИИ в поисках дружеского общения
Новый ИИ-агент Daydream станет вашим личным стилистом и поможет с покупками too
Инвестиции Nvidia в стартапы выросли до $65 млрд, но после ухода Хуанга будущее новых сделок под вопросом
После ухода Дженсена Хуанга Nvidia отказывается от Китая
Ofqual призывает сурово наказывать учеников за списывание с помощью технологий — вплоть до санкций, меняющих жизнь
Nvidia: уход Дженсена Хуанга не меняет курс компании на открытый ИИ
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram