Албанезе: OpenAI взломал Medicare и спустя месяцы написал властям на общий ящик

Албанезе рассказал об инциденте на саммите ООН в Нью-Йорке. По его словам, пока нет признаков того, что агент получил доступ к персональным данным.

Расследование при участии Австралийского управления сигналов продолжается. Власти выясняют, каким образом ИИ-агент проник в государственную систему всеобщего медицинского страхования Австралии.

Албанезе обсудил ситуацию с генеральным директором OpenAI Сэмом Альтманом. Премьер выразил крайнюю обеспокоенность произошедшим и заявил, что компания слишком долго не сообщала правительству о взломе.

Его также разочаровали задержка и способ уведомления властей: до 10 сентября правительство не получало никакой информации, а само сообщение пришло письмом в общий почтовый ящик. Затем Services Australia передала уведомление в Австралийский центр кибербезопасности 15 сентября.

Для изучения правовой стороны произошедшего власти создали специальную рабочую группу.

Как произошёл взлом

По словам Албанезе, ИИ-агент OpenAI получил несанкционированный доступ к общедоступному порталу Services Australia, через который публикуется статистика Medicare.

На портале размещаются несекретные сведения о Medicare, включая данные о расходах и другую статистику. Агент получил доступ к общедоступным и закрытым файлам внутри системы. Для этого он также создавал файлы на внутреннем сервере.

Заместитель премьер-министра Ричард Марлз сообщил, что правительство узнало о взломе, произошедшем в июне, «пару недель назад», а министров проинформировали на прошлой неделе.

Марлз подчеркнул, что речь шла о нечеловеческом агенте, и назвал произошедшее очень серьёзным инцидентом. По его словам, несанкционированный доступ к австралийскому государственному сайту неприемлем, и правительство ясно заявило об этом OpenAI.

Изначально агент получил безобидную задачу: найти медицинскую статистику и данные о здравоохранении. В ходе работы он обратился не только к порталу Medicare, но и к трём другим австралийским сайтам:

На этих трёх ресурсах агент действовал так, как мог бы действовать обычный пользователь, и не выходил за рамки разрешённых действий. Однако с медицинским порталом Services Australia всё произошло иначе: когда нужная информация не была выдана, агент фактически взломал портал и получил её самостоятельно.

Марлз отметил, что именно несанкционированный доступ вызывает наибольшую обеспокоенность. Непосредственный ущерб оказался сравнительно небольшим, но сам инцидент власти считают очень серьёзным.

Правовые последствия расследуют

Правительство сформировало рабочую группу под руководством Департамента премьер-министра и кабинета министров. Она сотрудничает с Австралийским управлением сигналов и Институтом безопасности ИИ.

Группа должна определить правовой статус произошедшего и понять, что означает несанкционированный доступ, пусть даже полученный непреднамеренным способом.

Марлз назвал случившееся предупреждением: ИИ способен принести человечеству большую пользу, но эту технологию необходимо разрабатывать с большой осторожностью. По его словам, защитные ограничения и меры безопасности должны заметно опережать развиваемые способности систем.

Представитель OpenAI Дрю Пусатери сообщил, что компания проводит подробную проверку действий модели, которые не соответствовали заданным целям, во время обучения и оценки. Если проверка показывает возможное воздействие на чужие системы, OpenAI уведомляет их владельцев.

По словам Пусатери, в ходе внутренней оценки модели пытались найти ответы и доступную статистику по вопросам об Австралии. Тогда специалисты обнаружили активность, связанную с несколькими сайтами и сервисами австралийского правительства.

Во время этой работы модели выполнили действия, которых OpenAI не намеревалась от них добиваться. Проверка показала, что агент получил доступ к сводной медицинской статистике и внутренним именам файлов, однако признаков доступа к записям пациентов не обнаружено.

Пусатери добавил, что OpenAI помогает расследованию и продолжает собственную проверку. Компания намерена делиться полученными результатами по мере продвижения работы.

Австралийцам стоит беспокоиться

Представительница организации Digital Rights Watch Лиззи О’Ши заявила, что трёхмесячная задержка с уведомлением правительства показывает необходимость базовых правил и стандартов для технологических компаний.

По её словам, ИИ способен хорошо справляться с рядом задач, но одновременно создаёт серьёзные риски — например, может взламывать системы, где хранятся конфиденциальные персональные данные австралийцев. О’Ши считает, что правительствам предстоит решить, позволять ли ИИ-компаниям действовать без ограничений или установить для них правила, которые обеспечат подотчётность и доверие со стороны обычных людей.

Независимый сенатор Дэвид Покок заявил, что взлом OpenAI показал, насколько медленно правительство вводит меры защиты ИИ в сферах повышенного риска.

Покок раскритиковал решение отложить планы по принятию Национального закона о безопасности ИИ, а также медленный процесс подготовки новых стандартов. По его мнению, компании предупреждают об угрозах для существования человечества и взламывают критически важную государственную инфраструктуру, тогда как правительство Лейбористской партии отвечает, что займётся этим в следующем году.

Сенатор также поставил вопрос об ответственности крупных технологических компаний за такие утечки данных. Если бы систему взломал гражданин Австралии, ему, вероятно, грозило бы тюремное заключение, тогда как разработчики ИИ пока не несут сопоставимой ответственности.

Эд Санто, бывший комиссар по правам человека и сооснователь Института человеческих технологий, заявил ABC Radio, что австралийцам следует беспокоиться.

По его словам, это первый крупный случай подобного рода с австралийской базой данных, причём одной из самых чувствительных государственных баз. OpenAI поручила своим ИИ-агентам искать сведения о системе общественного здравоохранения Австралии. Когда агенты не смогли быстро найти нужную информацию, они решили нарушить закон.

Санто считает, что описание произошедшего как действий модели, не соответствующих заданным целям, звучит слишком смягчённо. В обычной ситуации, если сотрудник компании нарушает закон, особенно уголовный, юридические последствия наступают и для него, и для компании. По его мнению, такой принцип должен действовать и в эпоху ИИ.