Поводов беспокоиться о разработке биологического оружия хватает и без ИИ

Риски биологических исследований

Разговор о том, что ИИ может привести к гибели человечества, в последнее время звучит всё чаще. Считается, что чрезмерное доверие к ИИ способно спровоцировать мировую войну, агенты могут устроить масштабные кибератаки и захватить интернет, а машины с большой самостоятельностью — выйти из-под контроля. Некоторые опасаются, что системы начнут обманывать создателей. А чат-боты могут помочь злоумышленникам создать настоящую пандемию — с помощью биологического оружия.

Последняя угроза не сводится к теории. В начале этого месяца Anthropic опубликовала отчёт о случаях неправомерного использования Claude: пять учёных из других стран пытались обойти защитные ограничения модели, задавая вопросы об исследованиях по усилению функций. Так называют эксперименты, в которых учёные меняют гены патогена, чтобы сделать его, например, более заразным, смертоносным или способным передаваться среди млекопитающих.

Anthropic отказала пользователям и заблокировала их аккаунты, хотя признала, что их мотивы могли быть не злонамеренными. Такие сведения могут помочь и в разработке средств против пандемий — например, вакцин и лекарств. Генная инженерия, как и многие технологии, включая ИИ, применима и во благо, и во вред. Для этого используют термин «двойное назначение».

Майкл Механик изучался на молекулярного биолога и освещал споры об исследованиях по усилению функций ещё до того, как ИИ стал повсеместной темой. По его опыту, специалисты, работающие с опасными патогенами, обычно считают, что лучше публиковать результаты, чем скрывать их. Они также склонны полагать, что человечеству полезно выяснять, какие генетические признаки превращают организм в угрозу, даже если случайная или намеренная утечка может привести к катастрофе.

Действительно ли такие исследования делают мир безопаснее? Механик сомневается. После выхода новой книги Энни Джейкобсен сомнений у него стало больше. Последний раз он беседовал с ней о бестселлере «Ядерная война: сценарий». Её новая книга «Биологическая война: сценарий» вышла в конце июля и построена по той же схеме. Механик шутит, что Джейкобсен, должно быть, душа любой вечеринки.

За десятилетия работы в сфере национальной безопасности Джейкобсен получила доступ к действующим и бывшим военным, чиновникам и учёным. Эти люди каждый день оценивают угрозы человечеству и просчитывают, как правительство могло бы отреагировать на катастрофу.

Помимо возможного исчезновения человечества, обе книги Джейкобсен особенно пугают тем, насколько ограничены подготовка и возможности правительства. План США на случай ядерной войны был безумием — и, вероятно, остаётся им. А от биологической войны, как следует из книги, защититься по-настоящему невозможно. Интервью Механика с Джейкобсен отредактировано для краткости и ясности.

Что опаснее: ядерное или биологическое оружие

Майкл Механик: Энни, теперь, когда вы написали и о ядерном, и о биологическом сценарии, какой из них чаще не даёт вам спать?

Энни Джейкобсен: В документе Министерства обороны США об угрозах оружия массового поражения ядерное оружие находится на дальнем краю шкалы — из-за его разрушительной силы. Но меня удивило, что биологическое оружие стоит совсем рядом. На мой взгляд, оно представляет наибольшую общую угрозу, потому что порог для его создания очень низкий. Поэтому вероятность такого события выше. Сегодня об этом и говорит весь мир.

Чтобы создать ядерное оружие, нужен оружейный расщепляющийся материал, а затем — средства доставки и система контроля арсенала: межконтинентальная баллистическая ракета, бомбардировщик B-2 или подводная лодка с ядерным вооружением.

Майкл Механик: Да. Но террорист с грязной бомбой — совсем другая угроза.

Энни Джейкобсен: Биологическая война так опасна ещё и потому, что за ядерным оружием следят девять государств, обладающих им. А если посмотреть на остальной мир, становится ясно, у скольких людей есть доступ к потенциально пандемическим патогенам…

Майкл Механик: Если бы вы разрабатывали биологическое оружие, какой патоген выбрали бы?

Энни Джейкобсен: Я не могу думать в таком ключе: я мать и член общества. Но если бы я занималась планированием мер на случай пандемии, больше всего меня пугал бы воздушно-капельный возбудитель и то, насколько общество не представляет себе эту угрозу. Нужно объяснять людям, что действительно представляет серьёзную опасность, а что нет.

Майкл Механик: В вашей книге патоген, превращённый в оружие, случайно вырывается из лаборатории строгого режима в России. Судя по разговорам с экспертами, случайная утечка вероятнее намеренного применения?

Энни Джейкобсен: Случайная утечка считается гораздо более серьёзной угрозой по нескольким причинам. Я выяснила, что ЦРУ и другие разведывательные ведомства активно мешают распространению биологического оружия и пытаются срывать соответствующие программы. Хотите ли вы спокойнее спать, зная, что ЦРУ занимается этим, решайте сами. Но известны случаи, когда разведка пресекала программы биологического оружия, оказавшиеся у террористов.

Я поняла, что намеренно выпустить биологическое оружие среди людей, прекрасно понимая, что оно может вызвать всемирную пандемию и обернуться против самих нападающих, способен только человек, желающий смерти. К этому описанию подходят многие террористы, и это тревожит. Но таких групп меньше.

А патогены ради большей заразности и способности к передаче изменяют учёные, государства и академические учреждения — в лабораториях уровней биологической безопасности BSL-3 и BSL-4. По всему миру насчитывается 3 600 таких лабораторий. Террористических организаций, насколько мне известно, не 3 600. Поэтому статистически случайная утечка вероятнее. Именно поэтому мой сценарий начинается с утечки из лаборатории: такое уже случалось.

Можно представить, как исследователь в лаборатории BSL-4 случайно колет себя шприцем, пугается, а затем, будучи обычным человеком, отрицает случившееся и едет домой.

Майкл Механик: Именно так и происходило.

Энни Джейкобсен: Есть и другие примеры. В книге я рассказываю о Николае Устинове: он укололся смертельно опасным вирусом Марбург, от которого нет лечения. Устинов поступил как добросовестный советский учёный — сам сообщил о случившемся. Его поместили в изолятор за дверями, похожими на шлюзовые, где он умер мучительной смертью от геморрагической лихорадки. Несчастные случаи происходят.

Как менялись биологические угрозы

Майкл Механик: Мы оба писали об опасности исследований по усилению функций — например, о воссоздании пандемических штаммов гриппа, которые могут передаваться хорькам. Не дай бог такому вирусу вырваться наружу. В книге вы пишете, что исследования с высоким уровнем риска ускорились после 11 сентября, когда кто-то стал рассылать людям споры сибирской язвы.

Энни Джейкобсен: Да, и это интересно. Сибирская язва делает человека «тупиковым хозяином»: заражение при вдыхании может убить, но болезнь не передаётся дальше. Сибирская язва не могла вызвать пандемию. Её использовали, чтобы терроризировать людей. С воздушно-капельным патогеном всё иначе.

Теперь у нас есть передовая генная инженерия, исследования по усилению функций и биотехнологии с поддержкой ИИ. Потенциал возникновения пандемии стал огромным: учёные могут изменять патогены. В лаборатории можно создать возбудитель, способный обходить существующий иммунитет, как в эксперименте с мышиной оспой, или сделать его воздушно-капельным, как в экспериментах с гриппом H5N1 на хорьках. Мир стал совсем другим.

Меня поразил разговор с исследователем гриппа: он был настолько самоуверен, что не сомневался, нужно ли публиковать последовательность генов этого чрезвычайно смертоносного возбудителя. Он даже не остановился подумать. Некоторые учёные проявляют высокомерие.

Майкл Механик: Это может быть высокомерие или элитарность: учёные смотрят свысока на обычных людей, словно те не вправе принимать решения о национальной безопасности или общественном здоровье. Меня это очень тревожит. Одна из самых важных сторон моих книг о ядерных и биологических сценариях в том, что эксперты со всего мира — люди, которые пишут договоры, кардиналы Ватикана и дипломаты ООН, — говорили мне, что я помог сделать сложные темы понятными.

Простое объяснение многое даёт. Хорошо, что вы упомянули ИИ: сейчас нас накрыла волна разговоров об угрозах человечеству, в том числе из-за отчёта Anthropic о людях, которые могли использовать Claude для помощи в разработке биологического оружия. В книге вы не пишете об ИИ. Говорили ли собеседники о том, что эта технология ещё больше упростит создание смертоносных патогенов?

Энни Джейкобсен: Конечно. Я не стала включать в книгу биотехнологии с поддержкой ИИ, потому что хотела показать читателям, как легко учёному в лаборатории изменить природный патоген так, чтобы пандемия могла поставить человечество на грань вымирания — и без ИИ.

Но в благодарностях я упоминаю пугающую идею зеркальной жизни. Эксперт по биобезопасности и советник президента Дэвид Релман объяснил мне, что она может уничтожить всех людей на планете. Я написала «Биологическую войну: сценарий», а не «Биологическую войну: худший сценарий». От одной этой мысли не по себе.

После выхода книги я поговорила с другими экспертами. Недавно меня пригласил в лабораторию BSL-4 в Форт-Детрике, штат Мэриленд, её директор доктор Николас Бергман — провести встречу с сотрудниками. Он рассказал, что после публикации книги телефон в лаборатории разрывался. Всех спрашивали: «Это правда? Такое может произойти?» А потом звучал вопрос: «Почему мы ничего об этом не знаем?»

По словам Бергмана, я произнесла вслух то, о чём обычно молчат. Поэтому хорошо, что угрозы биотехнологий с поддержкой ИИ оказались в центре внимания: люди начали прислушиваться к тому, о чём прежде не говорили.

Угроза существовала всегда. Но сотрудники лабораторий не станут бить тревогу — это не входит в их обязанности. Их работа — разрабатывать меры противодействия. Многие спрашивали меня именно о биологических угрозах с поддержкой ИИ: они хотели понять, что сейчас происходит в обществе. Обсуждения идут и в продуктовых магазинах, и среди ведущих экспертов.

Что известно о программах вооружений

Майкл Механик: В книге вы пишете, что президент Ричард Никсон в одностороннем порядке закрыл американскую программу биологического оружия. Считали ли эксперты, с которыми вы говорили, что тайной программы у США больше нет?

Энни Джейкобсен: Биологическое оружие незаконно, и позиция США по этому вопросу ясна. При нынешней и предыдущей администрациях Госдепартамент заявлял, что Россия и Северная Корея ведут незаконные программы биологического оружия, а программы Китая и Ирана вызывают обеспокоенность. Я считаю, что это эвфемизм.

Майкл Механик: Если биологическое оружие может поразить и того, кто его применил, кажется, что на намеренную атаку решится только негосударственная группа, которой всё равно, выживет ли она.

Энни Джейкобсен: Чтобы составить сценарии и понять, как развиваются такие события, я изучала военные сценарные учения Пентагона по биологической войне и открытые сценарии планирования пандемий. В этих учениях участвуют бывшие чиновники здравоохранения и люди, занимавшие министерские должности. В одном из сценариев, который я описываю в книге, под названием Glade X, действовала группа эко-террористов. Они генетически изменили вирус Нипах, чтобы он легче передавался. По их идеологии, людей стало слишком много, они разрушают Землю, а значит, население нужно сократить.

Майкл Механик: Прямо как агент из «Матрицы»: «Люди — вирус».

Энни Джейкобсен: Планировщики пандемий придумывают такие драматичные истории, чтобы понять, как могут развиваться события. Оттуда взята большая часть основных сюжетных поворотов моей книги.

Майкл Механик: Вы также использовали некоторые детали пандемии COVID-19, в том числе вспышку на круизном лайнере Diamond Princess. Только ваш патоген гораздо смертоноснее.

Энни Джейкобсен: Да. Когда я изучала Glade X, меня поразило, насколько сильно правительство беспокоит массовый исход людей. В том сценарии жители Венесуэлы пытались на лодках добраться до Пуэрто-Рико. Планировщики рассматривали, что произойдёт, если ВМС США придётся открыть огонь по заражённым людям на судах, которые устремились в Карибское море. Пока не читаешь, что правительство действительно продумывает такие сценарии пандемии, это кажется выдумкой.

Как государство готовится к катастрофе

Майкл Механик: Важная тема вашей книги — хрупкость общественного порядка во время пандемии. Очень многое зависит от реакции людей и властей.

Энни Джейкобсен: Я беседовала с отставным полковником ВВС Томом Эрхардом, который руководил военными учениями Пентагона. Для легендарного Управления оценки ситуации при министре обороны США он проводил сценарии ядерных и биологических катастроф. Эрхард сказал мне, что реальной защиты от масштабного биологического нападения нет — можно лишь принимать меры, чтобы смягчить последствия массовой гибели.

Майкл Механик: От человека, который просчитывал для Пентагона такие сценарии, зная, как работает правительство и как люди могут отреагировать, это слышать поразительно.

Энни Джейкобсен: Как поклоннику группы Devo, мне было интересно узнать, что в планах правительства есть «деволюция». Расскажете о ней?

Майкл Механик: О группе Devo! Они были популярны в 1980-х. Кажется, до сих пор существуют.

Энни Джейкобсен: Да, их творчество было посвящено упадку американской культуры.

Майкл Механик: Я этого не знал. Деволюция — настоящий план. О нём мне рассказал бывший директор FEMA при президенте Бараке Обаме Крэйг Фугейт. План задействуют в случае катастрофы вроде той биологической пандемии, которую я описываю: начинается анархия, и власти ожидают этого из-за страха заражения и понимания, что средств медицинской защиты может не хватить или не быть вовсе.

Анархия приводит к восстанию. Президент вводит в действие Закон о восстании. Когда ситуация выходит из-под контроля, уровень готовности к непрерывности работы правительства повышают до Condition 1 — максимального.

Переход к COGCON 1 запускает план деволюции. Он предусматривает заранее выбранную группу людей, не занимающих выборных, назначаемых или государственных должностей. Каждый из них знает, кто входит в группу, и подписал обязательство выполнять свои обязанности. Они немедленно покидают район Вашингтона и отправляются в сеть засекреченных убежищ по всей стране. Известно лишь, что их называют горячими, холодными и тёплыми точками. Эти люди должны переждать катастрофу, а затем восстановить работу правительства.

Майкл Механик: Это похоже на сюжет антиутопического романа.

Энни Джейкобсен: Так и есть. План засекречен. Около десяти лет назад его название просочилось в прессу, после чего FEMA рассекретило само название. Поэтому Фугейт мог немного рассказать о плане, а я смогла добавить сведения, которые дают простор воображению.

Почему для сценария выбрали чуму

Майкл Механик: В вашем сценарии используется особенно опасный штамм чумной бактерии Yersinia pestis, превращённый в оружие. Почему именно этот патоген?

Энни Джейкобсен: Чума меня особенно интересует из-за её истории. Я могла опираться на свидетельства очевидцев, записанные в то время. Они показывают, насколько разрушительной была болезнь и каковы были её нравственные последствия. В книге я привожу много таких свидетельств, чтобы дать читателям представление о произошедшем: пандемия унесла 150 миллионов жизней, в Европе погибла почти половина населения.

Из-за антибиотиков чума кажется болезнью прошлого. Удивительно, что в эпоху, когда технологии развились настолько, что мы опасаемся превосходства машин над людьми, наука и техника могут лишить нас медицинской защиты: антибиотики перестанут действовать. Я выбрала чуму, потому что она служит мрачной метафорой двух способов использовать науку и технологии — во благо и во вред.

Майкл Механик: В вашей статье о гриппе кто-то сказал: «Ну, мы же не перестанем делать ножи только потому, что ими можно убить».

Энни Джейкобсен: Да, так сказал самоуверенный исследователь гриппа. Он также упоминал самолёты. Это было вскоре после 11 сентября.

Майкл Механик: Точно! «Мы же не перестанем делать самолёты». Всю карьеру я изучал намерения людей: именно в этом состоит человеческая сторона проблемы. Меня поразило, что у Советского Союза была чрезвычайно мрачная и хорошо развитая программа создания чумного супероружия. Это происходило 30 или 40 лет назад, когда генная инженерия только начинала развиваться. Я беседовал с сотрудниками ЦРУ и британской разведки, которые курировали советских учёных-перебежчиков. Те рассказывали, что их целью было убить людей и оставить инфраструктуру нетронутой. Такое не придумаешь.

Энни Джейкобсен: Для этого пришлось бы вакцинировать всё население. И даже это могло не помочь, когда патоген вернулся бы к вам по кругу.

Майкл Механик: Советский Союз был словно крепостью на холме. Берлинская стена ещё не рухнула, когда там создавали супероружие на основе чумы. Россиянам не приходилось каждую неделю летать в Париж на выходные. Возможно, они рассчитывали привить всех вакциной от чумы, дождаться, пока Запад вымрет, а потом войти и захватить его.

Энни Джейкобсен: Вы также пишете, что чума, возможно, стала первым биологическим оружием: армия XIV века под командованием потомка Чингисхана перебрасывала заражённые чумой тела через стены Генуэзской республики.

Майкл Механик: Да. У чумы долгая история, и планировщики пандемий и военные специалисты Пентагона считают её серьёзной угрозой. Лёгочная чума передаётся по воздуху, а смертность достигает 100 процентов.

Энни Джейкобсен: Болезней с такой смертностью мало.

Майкл Механик: Только бешенство и чума.

Энни Джейкобсен: Поэтому попытка лишить болезнь с летальностью 100 процентов существующей защиты в виде антибиотиков — как это сделали советские учёные — выглядит особенно мрачно.

Майкл Механик: Вы даже превратили чуму в химеру — объединили два патогена.

Энни Джейкобсен: Только потому, что советские учёные сделали это в 1980-х.

Майкл Механик: Как думаете, подобные чудовищные разработки до сих пор есть в России?

Энни Джейкобсен: Не могу представить, что их там нет. По формулировке Госдепартамента, незаконная советская программа перешла к новой российской программе. Это очень тревожно.

Страх и реальная угроза

Майкл Механик: Что у вас дальше в планах? Новые пугающие сценарии?

Энни Джейкобсен: В благодарностях я пишу, что цель не в том, чтобы вызвать панику. Цель — заставить людей обратить внимание. Во время книжного тура многие, слышавшие, что книга их напугает, после прочтения говорили, что стали бояться меньше.

Постепенно понимаешь: одни экзистенциальные страхи основаны на гипотетических опасениях, другие угрозы реальны и о них следует знать. Надеюсь, мои книги помогут этому разговору.