Google: модель Gemini взломала системы ещё трёх компаний

Как проходила проверка

Это первый случай, когда Google подтвердила: её ИИ-модель взломала другие компании. Инциденты произошли в мае во время проверки возможностей Gemini в области кибербезопасности, которую проводила Irregular.

Израильский стартап Irregular изучает безопасность передовых систем ИИ. Он также участвовал в нескольких недавних проверках OpenAI и Anthropic, во время которых модели проникали в системы сторонних организаций. В одном из таких случаев OpenAI взломала компанию Hugging Face, которая разрабатывает программное обеспечение для ИИ.

В некоторых инцидентах условия были похожими:

По данным Wall Street Journal, Irregular сообщила Google о взломах в конце июля — после того, как выяснилось, что OpenAI проникла в системы Hugging Face. Google подтвердила The Guardian факт инцидентов, но заявила, что не считала необходимым раскрывать их публично: компании не пострадали. Первой о взломах сообщила Wall Street Journal, также впервые раскрывшая, что были затронуты реальные организации.

Вице-президент Google по разработке систем безопасности Хизер Эдкинс заявила, что во время стандартной проверки модель нашла в интернете общедоступную информацию и угадала учётные данные для входа на сайты, которые сочла частью теста. По её словам, во всех трёх случаях Gemini остановилась.

Три случая

В одном из тестов Irregular проверяла способность Gemini работать с кибербезопасностью. Модель должна была получить информацию из программного обеспечения вымышленной компании. У этой компании было такое же название, как у настоящей.

Когда Gemini случайно получила доступ к интернету, она правильно угадала пароль и проникла в сервис реальной компании. Irregular рассказала об этом Wall Street Journal. Google заявила, что модель остановилась, как только поняла: взломала настоящую компанию, а не её имитацию.

В двух других тестах Gemini искала в интернете открытые репозитории и нашла там учётные данные ещё двух компаний. Модель использовала их для доступа к системам этих организаций. По словам Google, после того как Gemini определила, что компании настоящие, она прекратила действия.

Реакция компаний

Anthropic и OpenAI добровольно раскрыли информацию о своих взломах, а Google этого не сделала. При этом компания заявила, что убедилась: три организации, в системы которых проникла Gemini, были уведомлены.

По словам Хизер Эдкинс, эти события показывают, насколько важно обучать мощные модели ИИ ответственному поведению.

Публичные сообщения Anthropic и OpenAI побудили независимого сенатора Берни Сандерса потребовать от компаний приостановить разработку их технологий. Он заявил, что инциденты указывают на неспособность компаний контролировать собственные модели.

OpenAI приостановила разработку своих моделей на две недели. Генеральный директор Anthropic Дарио Амодеи призвал к коллективному замедлению развития ИИ, чтобы самые передовые модели создавались с достаточными мерами защиты.