Почему ИИ вряд ли уничтожит человечество с помощью биологического оружия

Почему риск обсуждают всё чаще

Опасения вокруг возможного апокалипсиса, вызванного ИИ, растут в Кремниевой долине и Вашингтоне. Один из распространённых сценариев предполагает, что вышедший из-под контроля ИИ уничтожит человечество с помощью биологического оружия.

Ранее этим летом руководители ИИ-компаний призвали принять новые законы для контроля производства синтетической ДНК. В прошлом месяце исследователи из Stanford University и Arc Institute показали, что ИИ может проектировать новые вирусные геномы.

На прошлой неделе тему подогрел отчёт Anthropic. В нём говорилось о попытках использовать Claude способами, которые могли бы поддержать разработку биологического оружия. Авторы назвали биологическое злоупотребление «одним из самых серьёзных рисков передовых моделей ИИ». Вскоре после этого генеральный директор компании Дарио Амодеи призвал правительство помочь ИИ-лабораториям не отставать от передовых разработок.

Несмотря на тревогу вокруг созданной ИИ смертоносной пандемии, многие учёные считают такой сценарий далеко не главным среди угроз для человечества.

Главные препятствия

Дэвид Беллами, научный сотрудник Institute of Foundation Models в Саннивейле, штат Калифорния, не считает ИИ принципиально новой угрозой в контексте создания биологического оружия. Научное сообщество десятилетиями обсуждает, стоит ли публиковать потенциально опасные биологические исследования. Эта проблема известна как дилемма двойного назначения.

По словам Беллами, ещё до появления больших языковых моделей интернет, научные журналы с открытым доступом и сервисы перевода вроде Google Translate упростили получение биологической информации, включая лабораторные протоколы.

ИИ может помогать как добросовестным специалистам, например учёным, так и злоумышленникам быстрее просматривать информацию, находить нужные протоколы и получать к ним доступ. Но именно эти возможности не являются главным ограничением при создании биологического оружия.

Настоящее препятствие — сборка вируса или другого биологического агента, а также получение необходимых материалов, оборудования и знаний. Злоумышленнику пришлось бы:

Роботизированные лабораторные помощники могут автоматизировать отдельные операции и ускорить рабочие процессы. Но человеку всё равно понадобятся знания для проведения таких экспериментов и ресурсы для их выполнения.

Что смогут сделать лаборатории

Джейсон Келли, генеральный директор биотехнологического стартапа Ginkgo Bioworks, считает маловероятным, что ИИ общего назначения сможет захватить и распространить уже существующие патогены. Создать новые патогены и применить их ему будет ещё сложнее.

Ginkgo Bioworks занимается автономными лабораториями. Недавно компания провела совместный проект с OpenAI, в котором модель GPT-5 управляла лабораторией.

ИИ не смог бы самостоятельно захватить лабораторию, считает Келли. Люди, работающие внутри, могли бы просто отказать боту в выдаче веществ и оборудования, необходимых для физического производства биологического оружия.

Чтобы ИИ общего назначения смог поручать машинам сложную и часто требующую аккуратности работу в области вирусологии, понадобилось бы намного больше роботов, размещённых в разных местах. Люди, выступающие дополнительным уровнем контроля, пока остаются серьёзным препятствием.

Иммунолог Дерья Унутмаз также считает, что люди смогут сорвать попытки ИИ общего назначения создать смертельную болезнь. Даже если злонамеренному сверхразуму каким-то образом удастся выпустить особо опасный вирус, учёные, по его мнению, смогут использовать другие системы ИИ для быстрой разработки вакцины.

Как человек может использовать ИИ

Некоторые специалисты не считают, что ИИ общего назначения уже сейчас способен самостоятельно направить биологическое оружие против людей. Однако они обеспокоены тем, что технологию могут применить злоумышленники, а также тем, что произойдёт в будущем.

Оливия Шарфман, сотрудница биотехнологического направления аналитического центра Institute for Progress, отмечает: сегодня ИИ не может получить доступ к полностью автономной лаборатории и самостоятельно собрать вирус, потому что полностью автономных лабораторий ещё не существует. Но ИИ может заплатить человеку, чтобы тот сделал это за него.

Шарфман считает биотерроризм с помощью ИИ непосредственной угрозой. По её мнению, существуют группы, готовые пойти на такой шаг, включая «трансгуманистических сторонников преемственности ИИ» — людей, придерживающихся маргинальной идеологии и надеющихся заменить человечество ботами.

Почему биологическое оружие считают неудобным

Другие эксперты относятся к угрозе ИИ-биологического оружия спокойнее, поскольку сомневаются в практической целесообразности биологической войны.

Франсуа Беллу, генетик и профессор вычислительной биологии, рассказал WIRED, что риски часто понимают неправильно: люди склонны переоценивать ценность патогенов как оружия.

Если не учитывать саму тему ИИ общего назначения, биологическое оружие остаётся непривлекательным выбором для тех, кто хочет уничтожить большое число людей. С его помощью трудно поразить одни группы населения и одновременно защитить другие. Массовое производство и распространение патогенов также требуют сложной логистики — особенно по сравнению, например, с запуском бомбы.

По словам Беллу, для убийства людей существуют гораздо более эффективные способы, чем создание вируса или бактерии и их последующее распространение. Это справедливо и для самой совершенной искусственной системы, и для обычного человека.

Какие меры предлагают

По мере того как ИИ привлекает внимание к угрозе биологического оружия, сейчас подходящий момент для усиления защиты от всех биологических угроз, считает Шарфман. Речь идёт не только о новых патогенах, но и о уже существующих, включая H1N1.

Меры могут включать:

Стеф Гуэрра, руководитель направления ИИ и биологии в аналитическом центре Rand Corporation, считает сложным однозначно определить, повышает ли ИИ доказуемым образом риск разработки биологического оружия. По её словам, ИИ хорошо объединяет информацию и способен мотивировать людей как на полезные, так и на вредные действия.

Даже если риск невысок, общество может подготовиться к возможному злоупотреблению.

Правительства могут принять законы, обязывающие компании, продающие синтетическую ДНК и РНК, проверять клиентов и их заказы. Это помогло бы предотвратить злоупотребление генетическим материалом. Многие компании уже используют программы для проверки заказов на так называемые «опасные последовательности», но такая практика пока не является всеобщей и не закреплена обязательными требованиями.

До того как злоумышленник доберётся до генетического материала, модели должны получить подходящие защитные ограничения. Они не должны выдавать людям опасную информацию, пригодную для практического применения.

Риск биологической угрозы, разработанной с помощью ИИ, можно также снизить за счёт:

Полностью исключить обход любой меры биобезопасности невозможно. Поэтому, считает Гуэрра, нужны многоуровневые подходы, создающие препятствия на всём пути — от появления замысла и намерения у злоумышленника до выпуска биологического оружия.

Риск отвлекает от пользы

Унутмаз считает ещё более насущной проблемой то, что разговоры о гибели человечества из-за ИИ отвлекают внимание от возможностей передовых систем помогать людям в разработке вакцин и других медицинских достижениях.

По его мнению, сосредоточиться следует и на положительном применении технологии.