Призрак биологического оружия с помощью ИИ — тревожный звонок для биотехнологий

Предупреждения от руководителей ИИ-компаний

В последние недели руководители крупнейших ИИ-компаний начали публично говорить об опасности технологий, которые сами разрабатывают. В прошлые выходные генеральный директор Anthropic Дарио Амодеи заявил, что ИИ несёт серьёзный риск и развитие передовых моделей следует замедлить. Генеральный директор OpenAI Сэм Альтман ответил ему в X, что согласен: нужно контролировать темп развития передовых моделей.

За несколько дней до этого исследователь ИИ Джейкоб Коксон объявил об уходе из Anthropic. Он обвинил компанию и OpenAI, где тоже работал, в безответственном подходе. По словам Коксона, люди, создающие ИИ, всерьёз считают, что к концу десятилетия технология может уничтожить человечество. Сотрудник Anthropic Эван Хубингер публично согласился с ним и добавил, что лично оценивает вероятность гибели всех людей в ближайшие десять лет более чем в 10%.

Один из сценариев, которых опасаются исследователи, — помощь ИИ в разработке, создании и распространении биологического оружия.

Как ИИ может помочь создать биологическое оружие

Биологическим оружием может стать крайне смертоносный вирус, поражающий людей в зависимости от их генов. Другой вариант — грибок, уничтожающий урожай и вызывающий нехватку продовольствия. Ещё один сценарий — бесцветный и не имеющий запаха токсин, который можно незаметно добавить в водоснабжение целого региона.

В 2022 году исследователи Collaborations Pharmaceuticals показали, насколько легко ИИ-инструмент может помочь в поиске опасных соединений. Они использовали созданный ими генератор молекул, который изначально предназначался для поиска лекарств от заболеваний человека. Менее чем за шесть часов модель создала 40 000 молекул, потенциально пригодных для химического оружия. Некоторые из них были спроектированы так, чтобы оказаться токсичнее известных нервно-паралитических веществ.

Авторы тогда призвали коллег, работающих на пересечении ИИ и поиска лекарств, воспринять результат как повод срочно усилить внимание к проблеме, не впадая в излишнюю тревогу.

Для Дэвида Магнуса, профессора медицины и биомедицинской этики Стэнфордского университета, это стало предупреждением. Он изучал риски злоупотребления медицинской наукой и биотехнологиями ещё с конца 1990-х годов, но признался, что результат его напугал. По его словам, с тех пор ситуация сильно изменилась.

Сегодня ИИ-боты отвечают на вопросы почти обо всех областях науки. Дунья Сабра, исследовательница биобезопасности из Гамбургского университета в Германии, отмечает, что любой человек может воспользоваться большими языковыми моделями, обученными на знаниях и опыте почти всех когда-либо живших учёных. Такие модели способны давать инструкции и обучать проведению экспериментов с помощью видео.

Одновременно биотехнологии стали доступнее: инструменты для редактирования генов и синтетической биологии теперь проще получить, а движение «биология своими руками» уже помогло многим людям оборудовать лаборатории дома. По мнению Сабры, в такой ситуации человек, твёрдо решивший добиться результата, рано или поздно может преуспеть.

Почему существующих мер недостаточно

Некоторые защитные механизмы уже действуют. Люди, которые хотят собрать новые геномы, обычно заказывают фрагменты ДНК у компаний, проверяющих подозрительные запросы.

Ответственные исследователи подвергают потенциально опасные проекты нескольким видам проверки:

Однако ни одна из этих мер не даёт полной гарантии.

В опубликованном на прошлой неделе отчёте Anthropic сообщила, что пользователи пытались применять её модели, чтобы изучать способы:

Дэвид Магнус описывает ситуацию как постоянное противостояние. По его мнению, нужно создавать более эффективные системы наблюдения и проверки, но ИИ хорошо находит способы их обходить. Возможно, для ограничения применения ИИ придётся использовать другой ИИ.

Учёные спорят о масштабе угрозы

Не все специалисты одинаково оценивают риск. На недавнем брифинге для СМИ некоторые биологи из Имперского колледжа Лондона заявили, что современные ИИ-инструменты пока недостаточно развиты, чтобы самостоятельно полностью создать биологическое оружие. Проверка новых патогенов требует сложной и долгой работы людей. Некоторые исследователи считают, что действующих ограничений уже достаточно.

Венди Баркли, профессор инфекционных заболеваний Имперского колледжа, напомнила: в нынешних условиях главная угроза пандемии исходит не от биологического оружия, а от уже циркулирующих патогенов. В качестве примера она привела H5N1 — вирус птичьего гриппа, который уже убил миллионы птиц и широко распространился среди молочного скота в США. В прошлом месяце его также обнаружили у содержащихся в неволе норок на ферме в штате Юта.

Как подготовиться к возможным угрозам

Дунья Сабра предлагает смотреть на пять–десять лет вперёд. По её мнению, странам следует укреплять системы здравоохранения, заранее готовить антидоты против известных токсинов и создавать запасы лекарств. К возможным угрозам нужно быть готовыми.

Кевин Эсвельт, биолог из MIT, который изобрёл технологию ускоренного распространения генетического признака по всей популяции, а также способы ограничить применение этой технологии, поддержал эти опасения в публикации в X в среду. Он сообщил, что большая языковая модель раскрыла новую разновидность биологического оружия, о возможности которой он сам не подозревал.

Эсвельт призвал проявлять максимальную осторожность ради детей, будущего человечества и всего, что люди считают священным.