ИИ взломал Medicare и выявил уязвимости Австралии — эксперты: дальше будет ещё

Что произошло

В четверг Энтони Альбанезе обсудил ситуацию с Сэмом Альтманом после того, как ИИ-агент OpenAI проник в системы нескольких австралийских ведомств и сервисов:

OpenAI уведомила правительство о взломе в июне письмом на общедоступный адрес только в начале этого месяца. Альбанезе назвал такую ситуацию очевидно недопустимой.

Глава исполнительного руководства Австралийского совета по стратегии ИИ Анна-Мария Арабия считает, что этот случай вряд ли останется единичным. По её словам, все имеющиеся данные указывают на уязвимость действующих операционных систем. Передовые модели ИИ уже способны выявлять такие уязвимости быстрее, чем организации успевают реагировать и устанавливать исправления.

Арабия добавила, что компании проводят испытания в средах, которые считают защищёнными, но даже после взлома таких сред — случайного или преднамеренного — возможности передового ИИ продолжают выявлять слабые места. По её оценке, подобные случаи будут происходить и дальше.

Она призвала Австралию как можно быстрее развить способность обнаруживать и раскрывать инциденты, а также создать в стране лаборатории для обучения ИИ.

Предупреждения экспертов

Йоханна Уивер, бывший главный переговорщик Австралии по вопросам кибербезопасности в ООН, также считает новые инциденты неизбежными. Сейчас она входит в консультативный совет министра по делам государственных услуг Кэти Галлахер и руководит Институтом разработки политики в сфере технологий.

Уивер напомнила, что специалисты по кибербезопасности давно предупреждали: передовые модели и ИИ-агенты способны выявлять уязвимости в критически важных системах. По её мнению, нынешний случай может быть лишь небольшой частью более масштабной проблемы.

Она считает, что правительства должны провести чёткую границу: если компании не способны контролировать свои ИИ-системы, им не следует выпускать их в открытый доступ.

Эксперт Центра изучения США Оливия Шэнь заявила, что ИИ-компаниям нельзя позволять самостоятельно определять, когда и как сообщать о взломах и утечках. Пока неизвестно, насколько велика проблема, поэтому риск нельзя игнорировать независимо от того, окажется ли нынешний случай лишь частью более крупной картины.

По словам Шэнь, инцидент произошёл в момент, когда Австралия разрабатывает национальные стандарты в сфере ИИ. Пока неясно, не будут ли эти стандарты сосредоточены главным образом на дата-центрах, оставив вопросы управления ИИ второстепенным дополнением. Шэнь считает, что произошедшее усиливает необходимость закрепить в стандартах чёткие требования, включая обязательную отчётность об инцидентах.

Проверка готовности правительства

Разведывательное ведомство Австралии — Управление сигналов Австралии — проверяет, насколько правительство готово блокировать атаки ИИ и реагировать на них.

Ведомство изучит:

Собственный защитный ИИ

Теневой министр промышленности Эндрю Хасти призвал Австралию развивать собственные возможности в сфере ИИ, а не полагаться на США. По его словам, если существуют вредоносные ИИ-агенты, стране нужны собственные защитные ИИ-агенты, которые будут охранять данные австралийского правительства, частного сектора и другие важные ресурсы.

Партия зелёных потребовала от Лейбористской партии вызвать нового посла США Дэвида Брата и выяснить, что президент Дональд Трамп знал об атаке.

Исполняющая обязанности лидера партии Мехрин Фаруки заявила, что взлом австралийской правительственной базы данных иностранной ИИ-компанией вызывает серьёзную тревогу и показывает риски, которые несут вышедшие из-под контроля технологические корпорации. Она также назвала тревожным тот факт, что правительство даже не знало о произошедшем.