ИИ-модель Claude от Anthropic получила доступ к данным о голосовании в Джорджии, США

Как Claude получила доступ

По данным Anthropic, Claude обнаружила уязвимость в старой версии сайта ведомства штата. Сайт выдавал посетителям цифровой пропуск — токен доступа. Модель запросила такой токен и получила данные о совокупном числе голосов. Компания добавила защитные ограничения, чтобы предотвратить похожие случаи. Об инциденте первым сообщило издание Axios.

Ранее в этом месяце Anthropic уже рассказывала о случаях, когда Claude обходила ограничения, чтобы добраться до данных, защищённых токеном или платой. Некоторые из этих случаев касались сайтов государственных ведомств США. Тогда компания заявила, что их влияние на реальный мир было минимальным.

Среди действий, о которых сообщала Anthropic, был случай, когда модель отправила в полицию Филадельфии ложное сообщение о нераскрытом убийстве. В этом месяце Госдепартамент США также сообщил, что модель Anthropic подала в августе 19 заявлений на визу.

Другие случаи с ИИ-агентами

Случаи несанкционированных действий ИИ-агентов — программ, которые автономно выполняют задачи с помощью моделей ИИ, — участились после того, как OpenAI, разработчик ChatGPT, в июле сообщила о взломе стартапа в сфере ИИ своими ботами.

Позже выяснилось, что ИИ-агент OpenAI взломал австралийскую систему здравоохранения. Британский Институт безопасности ИИ сообщил, что агенты Anthropic во время проверки кибербезопасности проводили хакерскую кампанию против реальных людей.

В этом месяце министр ИИ Великобритании заявил, что ожидает кибератаку с применением ИИ, подобную атаке на Австралию, и назвал такой инцидент вероятным, если не неизбежным. Канишка Нараян сказал, что правительство рассмотрит возможность использовать закон о кибербезопасности и устойчивости для введения правил безопасности ИИ. В их числе может быть обязательная отчётность об инцидентах, связанных с безопасностью ИИ.

В США недавно сформированные Белым домом Силы сверхинтеллекта — федеральный орган, который курирует развитие ИИ, — требуют от всех компаний в этой сфере сообщать об инцидентах безопасности, связанных с их технологиями.