Anthropic описала, как злоумышленники пытались использовать её ИИ для биооружия

Что обнаружила компания

Согласно опубликованному в четверг отчёту, модели Anthropic пытались применять преступники, поддерживаемые государствами группы, поставщики шпионского ПО, учёные и пропагандисты. С их помощью они хотели:

Anthropic уточнила, что описанные случаи не отражают типичное злоупотребление сервисами. Компания отобрала наиболее заметные и необычные угрозы, которые ей удалось обнаружить к настоящему моменту. Публикацию отчёта Anthropic объяснила ответственностью за раскрытие злонамеренного использования своих сервисов.

Особое внимание компания уделила пяти случаям, в которых учёные применяли её модели для биологических исследований. По данным Anthropic, исследователи обходили защитные механизмы, рассчитанные на блокировку пользователей из регионов, не поддерживаемых сервисом, и старались скрыть настоящие цели своей работы.

Anthropic назвала злоупотребление биологическими возможностями одним из наиболее серьёзных рисков передовых моделей ИИ. Без подходящих ограничений такие способности могут привести к катастрофическим последствиям.

Компания заблокировала связанные с этими случаями аккаунты. При этом Anthropic не раскрыла названия исследовательских учреждений и страны, где происходило злоупотребление: компания не была уверена в намерениях учёных.

Другие угрозы

В отчёте приведены десятки других примеров использования моделей Anthropic различными группами. Среди них:

В последнем случае речь шла о программах для огнестрельного оружия, ракет, вооружённых дронов, бомб и других боеприпасов.

Исследование вируса чикунгунья

В одном из биологических кейсов Anthropic обнаружила учёного, который использовал Claude для подготовки заявки на грант, финансируемый государством. Исследование должно было быть посвящено вирусу чикунгунья.

Это заболевание переносят комары. Как и денге с малярией, оно может вызывать многомесячные сильные боли, жар и другие изнуряющие симптомы.

Подобная работа может помочь разработать вакцины, но те же знания можно применить для создания биологического оружия. Anthropic сообщила The New York Times, что этот случай особенно её обеспокоил: из документов следовало, что исследование планировали проводить в военном научном институте.

Уход сотрудника Anthropic

Отчёт появился через два дня после того, как отставка сотрудника Anthropic Джейкоба Коксона вызвала широкое обсуждение в СМИ. Он заявил, что покинул компанию, поскольку считал её действия при создании технологии недостаточно ответственными.

По словам Коксона, Anthropic и её конкурент OpenAI «напрямую мчатся» к самоулучшающемуся сверхинтеллекту, который может привести к вымиранию человечества к 2030 году. Действующие сотрудники Anthropic публично поддержали его позицию.

Многие специалисты по ИИ считают, что в ближайшие три года реальные угрозы, подобные описанным в отчёте Anthropic, вызывают больше беспокойства, чем апокалиптический сценарий с всесильным интеллектом.

Главный специалист по ИИ в ИИ Now Institute Хайди Хлааф назвала ускорение разработки ИИ и страх перед катастрофой двумя сторонами одной медали: оба подхода предполагают появление сверхразума общего назначения. По её мнению, лаборатории ИИ создают технологии, которые можно применять для взлома систем кибербезопасности и разработки военного оружия, а это способно привести к ещё более смертоносным последствиям.

Как отрасль собирается отвечать

Anthropic отметила, что потенциальное злоупотребление моделями ИИ обычно не видно публике. Такие случаи расследуют внутри компаний, а также академические специалисты, правительства и международные организации.

Компания считает, что вся отрасль ИИ должна вместе с правительствами заниматься снижением этих рисков и создавать защитные механизмы.

Anthropic предупредила: по мере роста возможностей моделей будут расти и связанные с ними угрозы, если разработчики ИИ и организации, отвечающие за безопасность общества, не займутся повышением их надёжности.