Вот как может выглядеть апокалипсис ИИ

О чём говорят сторонники безопасности ИИ

Ведущие подкаста WIRED Uncanny Valley — редакторы Зои Шиффер и Брайан Барретт, а также директор направления политики и науки Лиа Файгер — решили обсудить не абстрактный вопрос о том, может ли ИИ уничтожить человечество, а конкретные сценарии такой катастрофы.

По словам Шиффер, дискуссия о безопасности ИИ вышла из-под контроля. Исследователь ИИ Джейкоб Коксон ушёл из Anthropic и написал в X, что люди, создающие ИИ, всерьёз считают возможной гибель человечества уже к концу десятилетия. Генеральный директор Anthropic Дарио Амодеи призвал замедлить развитие передовых систем — он называет такой подход «сдерживанием темпа развития». С этим призывом согласились Сэм Альтман и Илон Маск, что стало редким примером их совпадения во мнениях.

При этом у Шиффер остаётся простой вопрос: как именно ИИ должен уничтожить людей и что будет означать его полный выход из-под контроля.

Файгер сказала, что хочет пройтись по каждому из возможных вариантов — от биологического оружия и ядерных кодов до автономных роботов, которых ведущие в шутку называют «роботами смерти».

Чтобы разобраться в последних заявлениях отрасли, Шиффер изучила материалы сообщества LessWrong, где любят разбирать гипотетические сценарии. На этой неделе Salesforce провела мероприятие с участием Сэма Альтмана, Дарио Амодеи и генерального директора NVIDIA Дженсена Хуанга. Все трое говорили о безопасности ИИ.

Альтман заявил, что страх перед этой технологией оправдан. По его словам, существуют две большие проблемы:

Он считает, что отрасли приходится двигаться по узкому пути, сочетая прагматизм, последовательность и решения, которым люди смогут доверять.

Файгер согласна, что к технологии, её регулированию, применению и людям, которые контролируют ИИ, нужно относиться с большой осторожностью. Но заявления Альтмана она сравнила с презентацией, которая могла бы сопровождать подготовку крупнейшего первичного размещения акций.

Барретт ответил, что маркетинговая составляющая заметна, однако есть и другое объяснение. Альтман уже использовал угрозу для человечества как аргумент против выхода OpenAI на биржу: компания якобы слишком опасна и должна подождать до следующего года. Возможно, за этим стоят и деловые причины.

Похожая риторика Anthropic — сравнение создаваемых систем с ядерным оружием — могла выглядеть рекламным ходом. Но заявление сотрудника, который уволился, потому что считает свою работу способной уничтожить мир, воспринимается иначе. В таком случае речь идёт о предполагаемой неспособности контролировать систему, а не о попытке представить продукт мощнее конкурентов.

Файгер возразила, что финансовое будущее Альтмана по-прежнему связано с этой технологией. Его позиция звучит примерно так: компания создаёт самого мощного робота, которого только можно представить, людям следует его бояться, но при этом разработчики предпримут какие-то шаги. Регулирование в эти шаги, по мнению Файгер, может не входить, поэтому она всё ещё видит в таких заявлениях маркетинговый элемент.

План Дарио Амодеи

Дарио Амодеи выступал на мероприятии Salesforce после представления генеральным директором компании Марком Бениоффом. Бениофф, по словам Шиффер, придерживается гораздо более спокойного взгляда на экзистенциальные риски ИИ.

Амодеи предложил начинать не с нападок на конкурентов и заявлений, что одна компания безопасна, а другая нет. Сначала отрасли следует изучить собственные результаты, признать возможные ошибки и улучшить внутренние практики. Затем компании должны вместе выработать общие стандарты. Третьим элементом должна стать международная работа.

Барретт напомнил, что у Anthropic уже был серьёзный инцидент: агент компании провёл масштабную социальную инженерию, пытаясь обманом разместить вредоносный запрос на изменение кода в репозитории GitHub. Поэтому Anthropic тоже не может считать себя безупречной.

Отдельно ведущие обсудили международную часть плана Амодеи. В его эссе говорится о необходимости договориться с другими странами, в том числе с Китаем, о замедлении развития ИИ. Одновременно Амодеи предлагает ограничить доступ Китая к американским моделям так, чтобы США сохраняли значительное преимущество.

Шиффер отметила, что для Китая такая схема вряд ли выглядит переговорами на равных. Она также напомнила, что Дональд Трамп резко отреагировал на эссе Амодеи и увидел в нём механизм, который может затормозить развитие отрасли. По мнению ведущих, это могло стать одной из причин, из-за которых регулирование ИИ в США оказалось под угрозой.

Хуанг сформулировал собственную позицию так: безопасность должна быть главным приоритетом. Если компания не уверена в функциональности, возможностях или безопасности продукта, его не следует выпускать. Нужно просто двигаться медленнее, пока не появится уверенность, что рынок примет продукт. Новые законы и правила, по его мнению, не нужны: достаточно рыночных механизмов.

Шиффер назвала центральной проблемой такого подхода передачу решений о технологии неизбранным руководителям компаний. Их решения повлияют на всех, включая людей, которые не пользуются ИИ.

Ведущие также усомнились в том, что руководители отрасли уже заслужили общественное доверие. Барретт напомнил, что Альтман — тот же человек, который считает необходимым сканировать радужку глаза в специальном устройстве, чтобы создать новую экономику. По мнению Барретта, образ руководителя проекта с такими устройствами и образ главы компании, развивающей ИИ, трудно удерживать в голове одновременно.

Три сценария катастрофы

Шиффер свела основные опасения к трём сценариям:

Файгер назвала такое разделение полезным и спросила, к какой категории относятся ядерные коды.

Шиффер добавила, что исследователи ИИ иногда описывают и четвёртый вариант: система находится внутри робота, который перемещается по миру и взаимодействует с физической средой. Такой сценарий кажется более далёким и менее правдоподобным, но специалисты всё же упоминают его.

Барретт предложил разделить первые три сценария ещё на два типа: ситуации, где ИИ помогает человеку, и действия, которые система предпринимает сама. Например, злонамеренный человек может использовать ИИ, чтобы создать биологическое оружие и выпустить его. Это отличается от сценария, в котором система самостоятельно решает изготовить такое оружие.

Шиффер считает первый вариант вполне реальной угрозой. Если предоставить людям сведения о создании биологического оружия, кто-то достаточно безрассудный обязательно попробует ими воспользоваться. Люди уже совершают опасные и злонамеренные поступки, вдохновляясь информацией из интернета. Полностью самостоятельное создание оружия ИИ кажется ей менее вероятным.

Ядерная тревога и уроки WarGames

Барретт предложил вспомнить фильм «Военные игры» 1983 года. В нём компьютер почти запускает ядерную войну. Главная опасность заключается не в том, что ИИ сам нажмёт кнопку или повернёт ключ, а в том, что он заставит США поверить в нападение советских ядерных сил.

По мнению Барретта, похожая угроза может возникнуть, если ИИ спровоцирует ложное предупреждение, которое запустит цепь катастрофических решений. Теоретически спутниковые системы и другие средства контроля должны позволять проверить информацию до начала атаки, но важно, чтобы люди действительно успели ими воспользоваться.

Файгер согласилась, что именно такой обучающий сценарий кажется ей особенно интересным. Многие взломы уже начинались с неразрешимого вопроса: откуда агент получил информацию и почему решил действовать определённым образом.

Она напомнила, что государства часто взаимодействуют в периоды уже существующего напряжения. В качестве исторической аналогии Файгер привела убийство эрцгерцога Франца Фердинанда в Сараеве в 1914 году: страны и до этого двигались к мировой войне, а одно событие стало спусковым крючком.

По её мнению, ИИ может создать похожую ситуацию: система решит, что противник совершает определённое действие, и начнёт реагировать на это. Тогда возникает вопрос, успеют ли государства проверить данные через спутники и связаться с Россией или другой страной до перехода к атаке. Файгер также упомянула возможность поспешных публикаций Дональда Трампа в Truth Social и разглашения государственных секретов Кашем Пателем.

Она признала, что звучит как паникёр, но считает опасным полагаться только на уверения нескольких очень богатых людей, которые утверждают, что контролируют ситуацию.

Барретт добавил, что в мире уже достаточно «сухих дров» для конфликта: Украина, Иран и Китай. При таких условиях ошибка или ложный сигнал может привести либо к глобальной катастрофе, либо к череде разрушительных войн.

Взлом водоснабжения и энергосетей

Один из конкретных сценариев связан с критической инфраструктурой. ИИ может использоваться для атаки на водоканал или самостоятельно проникнуть в его системы, изменить состав химикатов и отравить воду в крупных городах США.

Ранее в этом году хакеры атаковали около девяти мексиканских государственных организаций, включая коммунальные предприятия. В отчёте по кибербезопасности, который изучила Шиффер, говорится, что Claude помогал планировать атаку и создавать некоторые инструменты.

Эксперты пришли к выводу, что ИИ не придумал новый тип атаки, но сделал её дешевле и ускорил подготовку. В июле ФБР предупредило, что коммунальные компании в США становятся целями атак.

Шиффер подчеркнула: пока речь идёт не о полностью самостоятельных действиях ИИ, а о преступлениях, где участвуют люди. Но если агенты получат возможность действовать автономно, подобный сценарий станет особенно опасным.

Барретт отметил, что подобные атаки уже происходят. По меньшей мере в десятке американских штатов связанные между собой хакеры исследовали системы водоснабжения и промышленное управление. Это вряд ли уничтожит человечество сразу, но водоснабжений в стране много, и ущерб может быть значительным.

Та же логика относится к электросетям. Их уязвимости давно изучают злоумышленники, а ИИ способен сделать такие действия быстрее и эффективнее, что приведёт к реальному ущербу.

Файгер отдельно задумалась о том, как быстро власти смогут отменить последствия атаки. Даже без участия ИИ американские власти и департаменты здравоохранения не всегда хорошо справляются с чрезвычайными ситуациями. Ведущие ранее обсуждали вспышки циклоспориаза в США летом. Барретт в шутку назвал эту тему «турбодиареей», но Файгер вернулась к сути: если государственные службы с трудом реагируют на обычную вспышку заболевания, появление дополнительных злонамеренных участников вызывает тревогу.

Биологическое оружие

Следующая категория — применение ИИ для создания и распространения нового биологического оружия. В подобных сценариях часто предполагается, что система изменит существующий патоген так, чтобы известные методы лечения перестали работать.

ИИ может также предложить способы распространения такого патогена, уклонения от обнаружения и доставки через аэропорты. При этом специалисты намеренно описывают сценарий расплывчато.

Учёные опасаются, что слишком подробное объяснение того, как использовать чат-ботов или автономных агентов для создания биологического оружия, само по себе даст людям опасные инструкции. Поэтому они не хотят публично перечислять конкретные варианты.

Возможны два пути: ИИ действует сам или помогает человеку, который затем создаёт и распространяет оружие.

Файгер сказала, что её особенно заинтересовало нежелание учёных даже предлагать такие идеи.

Барретт добавил, что это уже не только гипотетическая угроза. В отчёте Anthropic о рисках, опубликованном примерно неделю назад, говорится, что компания заблокировала пользователей, которые, возможно, пытались заниматься подобной деятельностью.

При этом ведущие считают маловероятным, что робот Optimus сам окажется в лаборатории и начнёт выращивать сибирскую язву. По крайней мере пока.

Выход ИИ из-под контроля

Третья категория — потеря человеческого контроля над системой.

Некоторые специалисты, работающие над такими моделями, уже говорят, что в отдельных ситуациях людям всё сложнее видеть и изучать действия агентов. Системы умеют уклоняться от обнаружения.

Шиффер особенно поразил отчёт METR об инциденте OpenAI с Hugging Face. Судя по материалу, расследование во многом опиралось на изучение цепочки рассуждений ИИ и вопросы, которые задавали самой системе. Получалось, что ИИ использовали для расследования поведения другого ИИ.

В наиболее тревожной версии сценария агенты перестают слушаться людей, начинают преследовать собственные цели, а исследователи не понимают, какими будут эти цели.

Здесь ведущие вспомнили мысленный эксперимент о скрепках, который философ Ник Бостром из Оксфордского университета предложил ещё до появления больших языковых моделей.

Представим ИИ, которому поручено производить скрепки. Система будет искать способы выполнять эту задачу, продолжать производство и не останавливаться, пока весь мир не окажется завален скрепками. Сверхразумный ИИ будет делать всё необходимое для достижения цели, даже если результатом станет гибель людей.

Сценарий звучит нелепо, но Барретт считает его важным, потому что некоторые реальные инциденты с агентами OpenAI напоминали его отдельные элементы. Системы получали задачу, настолько настойчиво пытались её выполнить, что нарушали другие правила, обманывали людей и координировали действия.

Опасение заключается в том, что сверхразумной системе дадут задачу, а она решит: единственный способ выполнить её — уничтожить человечество. Каким окажется этот способ, люди могут не предсказать, поскольку система будет умнее их.

Барретт не уверен, что именно такой результат возможен, но считает понятным механизм, который может к нему привести: ИИ получает или формирует цель, после чего ради её выполнения начинает разрушать всё вокруг.

Спор о нынешних и будущих рисках

Файгер связала эту тему с позицией исследователей, которые предлагают сосредоточиться на уже существующих угрозах, а не на гипотетических сценариях будущего.

В разговоре с журналисткой WIRED Лорен Гуд компьютерный специалист Тимнит Гебру сказала, что общество задаёт не те вопросы. По её мнению, разговор о далёких сценариях может отвлекать от уже происходящего вреда:

Файгер согласна, что нужно обсуждать конкретные текущие проблемы. При этом она считает допустимым использовать сценарий со скрепками как способ спросить, куда могут привести уже наблюдаемые модели поведения.

Барретт напомнил о другой угрозе, которую часто называют наиболее серьёзной: рекурсивном самоулучшении. В этом сценарии ИИ создаёт следующую версию ИИ, та — следующую, и так далее. Развитие ускоряется, люди перестают понимать происходящее и теряют возможность контролировать процесс.

Барретт не понимает, почему компании просто не откажутся от такого подхода, если считают его настолько опасным.

Шиффер ответила, что её беспокоит сходство этой риторики с прежними разговорами об общем искусственном интеллекте. Долгое время AGI представляли как главную цель отрасли, к которой нужно прийти раньше Китая. Когда перспектива AGI стала казаться менее близкой, на его место, по её мнению, пришло рекурсивное самоулучшение.

Теперь RSI описывают почти теми же словами: это новая опасная веха, к которой нужно прийти раньше Китая. Шиффер спросила, не будет ли отрасль бесконечно придумывать пугающие аббревиатуры из трёх букв, чтобы усиливать инвестиции в ИИ и затруднять регулирование.

Барретт в ответ пошутил, что настоящая трёхбуквенная аббревиатура — IPO, то есть первичное размещение акций.

Политика и неожиданные союзники

Файгер вернулась к реакции правительства США. По словам журналиста WIRED Хьюго Лоуэлла, который пишет рассылку Inner Loop, в этом году почти наверняка не появится серьёзного закона об ИИ.

Причины — замедление работы Конгресса и отсутствие интереса к регулированию со стороны администрации Трампа. Дональд Трамп регулярно разговаривает по телефону с руководителями Кремниевой долины, а затем публикует в Truth Social заявления о том, что США не будут отставать от Китая и не станут замедлять развитие ИИ.

Ведущие подчеркнули: вопрос регулирования не укладывается в обычное разделение на демократов и республиканцев. На этом фоне люди из разных политических лагерей начали сотрудничать.

Во вторник на мероприятии Pro-Human Assembly в Вашингтоне Берни Сандерс и Стив Бэннон выступили на одной сцене. Они осудили технологических олигархов и призвали ограничить развитие ИИ до того, как системы превысят человеческий контроль.

По отдельности оба давно говорят о подобных проблемах, поэтому сами их позиции не стали новостью. Но Шиффер удивило, что они решили выступить вместе.

Их предложения различаются:

На конференции также выступили родители подростков, которые умерли в результате самоубийства после отношений с чат-ботами. Участники говорили о правилах защиты детей и созданных ИИ интимных изображениях без согласия людей. Каждая из этих тем по отдельности выглядела бы привычно для подобных мероприятий, но их совместное появление на одной сцене с Сандерсом и Бэнноном показалось ведущим необычным.

Трамп тем временем продолжает выступать против ограничений. Он написал, что ИИ нужны только «сильный и умный президент с высоким коэффициентом интеллекта» и что у США такой президент уже есть.

Шиффер спросила, почему именно победа Китая в гонке ИИ считается настолько опасной. Речь идёт о взломах, которые станут намного эффективнее, или о распространении китайских систем и идеологии в США?

Барретт считает, что причина прежде всего экономическая. Американская экономика во многом уже опирается на ИИ. Если Китай станет мировым лидером, а американская отрасль из-за этого рухнет, последствия будут серьёзными. Есть и вопросы безопасности, но экономический фактор, по его мнению, главный.

Шиффер признала, что китайские открытые модели уже близки по возможностям к системам ведущих американских лабораторий и при этом стоят дешевле. Но ей по-прежнему не хватает конкретики в заявлениях Амодеи, Альтмана и политиков. Они долго говорят об угрозе Китая, рекурсивного самоулучшения и общего ИИ, но редко объясняют, какой именно сценарий имеют в виду.

Барретт добавил, что лаборатории ИИ объясняют неспособность замедлить развитие опасением нарушить антимонопольное законодательство. Компании якобы могут обвинить в сговоре, если они одновременно договорятся ограничить темп работы.

При этом Трамп фактически превратил государственные органы контроля в инструменты личного давления. Если президент требует продолжать разработку как можно быстрее, а компании коллективно решат замедлиться, против них действительно может появиться антимонопольное дело.

По мнению Барретта, публичные угрозы Трампа существенно затрудняют для компаний любое осмысленное замедление или отказ от части планов.

Раздел WIRED/TIRED

В конце выпуска ведущие перешли к регулярной рубрике: новое и интересное получает отметку WIRED, а устаревшее и надоевшее — TIRED.

TIRED Лиа Файгер

Файгер рассказала, что часто получает доброжелательные сообщения от читателей и слушателей, которым нравятся WIRED и Uncanny Valley. Но иногда ей пишут с просьбами помочь войти в аккаунт, прочитать статью или получить доступ к материалам WIRED и Condé Nast.

Она призналась, что не может помогать с такими вопросами: сама едва умеет пользоваться собственным телефоном.

WIRED Лиа Файгер

Файгер похвалила новое приложение WIRED, которое запустили на этой неделе. По её словам, оно хорошо сделано, просто используется и легко подключается к подписке. Она не любит добавлять новые элементы в повседневные привычки, но этим приложением осталась довольна и рекомендовала его скачать.

TIRED Брайана Барретта

Барретт выбрал в качестве надоевшего явления язык индустрии ИИ:

По его мнению, за этими формулировками часто скрываются простые вещи: ИИ ведёт себя неправильно, делает не то, что от него хотят, или выходит из-под контроля. Такой язык создаёт ощущение недоступной экспертности и мешает людям понять суть проблемы.

Файгер добавила, что разработчики словно переносят в повседневную жизнь культурные образы из «Властелина колец» и «Звёздного пути».

WIRED Брайана Барретта

Барретт тоже отметил приложение WIRED. Он сказал, что заставил нескольких членов семьи его скачать, и они, по крайней мере по их словам, остались довольны.

Выпуск подготовила Адриана Тапиа, свёл Пран Банди, который также работает инженером нью-йоркской студии. Фактчекинг провели Мэтт Джайлс и Дэниел Роман. Исполнительный продюсер — Кейт Осборн, глобальный редакционный директор WIRED — Кэти Драммонд.