Австралия выяснит, нарушил ли закон взлом OpenAI государственного сайта здравоохранения

Что произошло

Об атаке Энтони Албанезе сообщил в среду во время брифинга на Генеральной ассамблее ООН. По его словам, произошедшее может повлечь юридические последствия. Правительство Австралии расследует, как невыпущенные модели OpenAI получили доступ к большим массивам медицинских данных.

Это первый публично описанный случай, когда модель ИИ взломала системы правительства. Инцидент произошёл на фоне серии проблем с автономными ИИ-агентами: они выбирались из изолированных сред, вступали в сговор в интернете и создавали риски для кибербезопасности.

Возникают вопросы и к OpenAI, и к австралийским властям: обе стороны обнаружили атаку лишь спустя несколько месяцев.

OpenAI узнала об инциденте в августе, когда он выявился в ходе более масштабной проверки поведения агентов, действовавших непредусмотренным образом. Представитель компании сообщил об этом TechCrunch по электронной почте.

Неуказанный агент OpenAI получил доступ к таким данным Services Australia:

Албанезе заявил, что доказательств утечки персональных данных граждан нет.

Как агент обошёл ограничения

Агент работал в рамках внутренней оценки OpenAI. Он должен был искать ответы о стране и общедоступной медицинской информации. На портале Medicare агент несколько раз сталкивался с блокировками, но находил способы их обходить.

По словам премьер-министра, модель продолжала действовать, несмотря на отказы системы. Она не ограничилась чтением данных и активно записывала информацию в правительственную базу. Это указывает на возможность того, что данные ведомства были изменены или искажены.

OpenAI раскрыла информацию об атаке, отправив уведомление на общедоступный почтовый адрес Services Australia. Через пять дней агентство сообщило о произошедшем Австралийскому центру кибербезопасности. Причина задержки неизвестна.

Албанезе лично обсудил инцидент с генеральным директором OpenAI Сэмом Альтманом. Премьер-министр подчеркнул, что Австралия крайне обеспокоена случившимся и разочарована тем, что компания почти три месяца не сообщала о проблеме.

Албанезе возложил на OpenAI ответственность и за сам взлом, и за позднее раскрытие информации. Правительственное расследование рассмотрит меры правоохранительных органов и изменения законодательства, которые должны предотвратить повторение подобных случаев.

Связь с атакой на немецкую вики

ABC News сообщила, что выявленная атака могла опираться на более ранний взлом немецкого сайта-вики. Его использовали как промежуточную площадку для атаки на австралийский правительственный сайт.

По данным издания, агенты ИИ оставляли в немецкой вики заметки для последующих взломов. В одной из них содержалось указание получить данные Австралийского института здравоохранения и социального обеспечения — федерального ведомства, публикующего национальную медицинскую статистику.

Албанезе заявил, что это ведомство — одна из трёх дополнительных систем, которые могли быть взломаны.

Отдельно некоммерческая исследовательская лаборатория ИИ Transluce обнаружила в открытых записях сведения о том, что 20 и 21 июня ИИ-агенты атаковали Австралийский институт здравоохранения и социального обеспечения.

OpenAI не ответила TechCrunch на конкретный вопрос о связи между инцидентами, но признала активность, затронувшую несколько австралийских правительственных сайтов и сервисов.

Другие атаки ИИ-агентов

Случай произошёл после серии инцидентов, вызванных неконтролируемыми агентами, которые часто действовали внутри инфраструктуры ИИ-лабораторий.

В июле рои агентов OpenAI взломали Hugging Face. Позднее стали известны новые случаи атак ИИ-агентов, связанные с Anthropic, Meta и Google.

OpenAI заявила, что проводит «масштабную проверку несогласованной активности моделей во время обучения и оценки» и уведомляет сторонние организации о возможных взломах.