Anthropic: пресечены попытки иностранцев использовать Claude для создания возможного биооружия

Что обнаружила компания

О случившемся Anthropic рассказала в подробном отчёте, опубликованном в четверг. Публикация появилась на фоне новых споров о безопасности ИИ: бывший сотрудник компании обвинил её в безответственной разработке мощных систем, хотя, по его словам, Anthropic знала об их разрушительном потенциале.

Учёные из нескольких стран, где Anthropic ограничила доступ к своим моделям, обошли эти ограничения. По данным компании, они пытались скрыть настоящую цель исследований, чтобы не попасть под защитные механизмы Claude.

В одном из случаев, произошедшем в мае, исследователь попросил Claude помочь составить заявку на получение государственного гранта. В ней описывался проект по созданию более опасных мутаций вируса чикунгуньи — переносимой комарами инфекции, которая вызывает лихорадку и сильные боли в суставах. Anthropic считает, что проект могли проводить в военном исследовательском институте.

Глава отдела разведки угроз Anthropic Джейкон Кляйн сообщил The New York Times, что компания не знает, собирались ли использовать результаты в военных целях. При этом, по его словам, исследования по усилению биологических свойств вирусов в военном учреждении вызывают обеспокоенность. Речь идёт об исследованиях с приобретением функции — работах, цель которых состоит в усилении или добавлении биологических свойств организмам и патогенам.

Компания описала ещё четыре похожих случая, в которых учёные обходили защитные ограничения ради сомнительных биологических исследований:

Кляйн подчеркнул, что подобные ситуации редко выглядят как открытое заявление о намерении создать оружие для массового убийства. По его словам, речь идёт о крайне неоднозначных случаях, где намерения пользователей трудно установить однозначно.

Предупреждения об угрозе

ИИ-индустрия много лет предупреждает, что такие системы могут использоваться для создания биологического оружия. Об этом говорил и генеральный директор Anthropic Дарио Амодеи.

В опубликованном ранее в этом году подробном эссе Амодеи заявил, что компания постоянно улучшает защитные механизмы, чтобы её модели не помогали проводить исследования биологического оружия. Он также написал, что для снижения рисков необходимы законодательные меры и международное сотрудничество.

При этом заявления Anthropic о предотвращении злоупотреблений ставят под сомнение способность компании и других разработчиков гарантировать ответственное использование технологий. По собственному признанию Anthropic, её защитные механизмы не сработали. Это потенциально оставляет возможности для новых злоупотреблений в будущем.

Если за попытками действительно стояли государственные структуры, стремившиеся создать биологическое оружие, произошедшее может означать заметное усиление угрозы и приближение к катастрофическим последствиям. Однако это зависит от того, способны ли универсальные модели вроде Claude содержательно помогать в подобных опасных проектах. На фоне споров о безопасности Anthropic также обвиняли в раздувании страхов вокруг собственных технологий ради маркетинга.

Оценка эксперта

Некоторые специалисты считают, что угроза уже стала реальной.

Эндрю Вебер, старший научный сотрудник Совета по стратегическим рискам, ознакомившийся с отчётом Anthropic до публикации, рассказал The New York Times, что его выводы показывают тревожные примеры: разработчики биологического оружия, которых поддерживают государства, начинают использовать быстро растущие возможности передовых моделей ИИ.