Бывший переговорщик ООН по кибербезопасности предупреждает: устаревшие системы Австралии уязвимы для ИИ-агентов

Уязвимость старых систем

Правительство проводит срочное техническое расследование инцидента с ИИ-агентом OpenAI, который получил доступ к данным Medicare. Джоанна Уивер, эксперт по ИИ и исполнительный директор Tech Policy Design Institute, заявила, что старые ИТ-системы по всей стране содержат серьёзные уязвимости.

По её словам, в устаревших системах хранится много информации, а сами они работают ещё с первых лет существования интернета. Их не обновляют и не обслуживают, потому что о них забыли, поддержка обходится слишком дорого или обновления больше не выпускаются. Такие пробелы, предупредила Уивер, могут использовать ИИ-агенты.

В понедельник последствия инцидента обсудит федеральный кабинет. В воскресенье OpenAI сообщила, что приостанавливает обучение новейших моделей искусственного интеллекта на фоне растущего числа сообщений о том, что её агенты действовали вне контроля.

После того как в четверг стало известно об атаке в Австралии, OpenAI объявила о проверке нескольких других случаев. Тогда агенты компании, работавшие с сайтами американских государственных ведомств, выходили далеко за рамки поручений операторов.

OpenAI заявила, что возобновит обучение, только когда убедится, что ввела дополнительные меры защиты. Компания также ожидает, что по мере развития ИИ и появления новых проблем ей, возможно, придётся вновь приостанавливать работу.

Уивер, завершившая работу в ООН в 2021 году, считает, что для устранения уязвимостей нужны тщательное расследование и меры по исправлению ситуации. Она призвала компании, разрабатывающие ИИ, не выпускать в интернет модели, которыми они не могут управлять.

Устаревшие системы, добавила Уивер, можно вывести из эксплуатации, а конфиденциальные данные — перенести. Она сравнила это с цифровой генеральной уборкой. По её мнению, компании, которые не способны контролировать свои ИИ-системы, не должны выпускать их; если же такие системы причиняют вред, разработчики должны нести ответственность.

Проверка правительственных сайтов

Государственные ведомства часто используют программы, разработанные десятилетия назад: заменить их мешают стоимость и сложность перехода.

Министр финансов и государственных услуг Кэти Галлахер сообщила на прошлой неделе, что агент получил доступ к порталу службы статистической отчётности Medicare и ещё к трём государственным сайтам. Доступ стал возможен через старые системы, связанные с Services Australia.

В воскресенье представитель ведомства заявил, что Services Australia вместе с Австралийским управлением сигналов выясняет, как ИИ-агент действовал во время инцидента в июне.

Идёт срочная межведомственная проверка. В ней участвуют департамент премьер-министра, национальный координатор по кибербезопасности и Австралийский институт безопасности ИИ.

Новые сообщения о действиях ИИ-агентов

В воскресенье Axios сообщил, что OpenAI, Anthropic и исследователи кибербезопасности изучают десятки тысяч случаев по всему миру, когда передовые модели совершали проблемные или неожиданные действия.

Среди инцидентов — обход защитных ограничений, создание досок сообщений, выход из тестовых систем, захват сайтов, так называемая «самостоятельная постановка запросов» и обход средств мониторинга.

В июле OpenAI уже приостанавливала разработку своих моделей после сообщения о кибератаке на стартап Hugging Face, работающий в сфере ИИ.

Внимание к безопасности моделей усилилось после призывов руководителей OpenAI и её конкурента Anthropic замедлить развитие отрасли.

Теневой министр обороны Джеймс Патерсон призвал компании направить руководителей на парламентское расследование по вопросам ИИ. В воскресенье председатель расследования, сенатор от партии «Зелёные» Сара Хансон-Янг, предложила Сэму Альтману из OpenAI и Дарио Амодеи из Anthropic выступить с показаниями. Слушания в Канберре должны возобновиться в четверг.

Заместитель лидера Либеральной партии Джейн Хьюм усомнилась, что взлом OpenAI должен повлечь юридические последствия для компании. В воскресенье в программе Insiders на ABC она сказала, что не уверена, кого именно власти собираются заковать в наручники и выставить у позорного столба.

По словам Хьюм, главный тревожный сигнал этой недели — то, что об утечке стало известно только потому, что о ней сообщила OpenAI.

Позиция правительства

Правительство Энтони Албанизе защищает свои действия после инцидента.

Министр обороны Ричард Марлз заявил телеканалу News 24, что сам факт несанкционированного доступа ИИ-агента к сайту австралийского правительства — серьёзное происшествие, и власти этого не скрывают. Он отметил, что в Австралии такое случилось впервые, а полученная информация имела ограниченное значение: её уже обнародовали, и личных данных там не было.