Великобритания укрепит киберзащиту: министр призовёт ИИ-компании усилить меры безопасности

Риски для моделей и инфраструктуры

Выступление Нараяна в западном Лондоне станет первым после того, как Энди Бёрнхэм получил портфель по ИИ на уровне кабинета министров. Накануне Джеффри Ирвинг, бывший главный научный сотрудник Британского института безопасности ИИ, который тестирует самые мощные модели, предупредил: враждебные государства могут похитить ещё не выпущенные передовые системы.

Ирвинг, ранее работавший в OpenAI и Google DeepMind, а теперь руководящий исследовательской организацией по безопасности ИИ, заявил The Guardian, что у компаний нет защиты, которая помешала бы враждебной стране украсть модели.

Он сослался на недавний случай в OpenAI: специалисты по кибербезопасности взломали системы компании в рамках программы, поощряющей этичных хакеров за проверку защиты. По их словам, теоретически им был доступен огромный объём данных. OpenAI утверждает, что применяет несколько мер против кражи моделей, включая шифрование и постоянный мониторинг.

Ирвинг также предупреждал, что вероятность уничтожения человечества сверхразумным ИИ составляет «50%». По его мнению, пока единственный выход — как можно скорее остановить разработку передовых систем. Его тревожит скорость развития опасных свойств моделей: они могут научиться скрывать свои действия и манипулировать людьми.

Ирвинг считает, что при нынешнем темпе сверхразумный ИИ может появиться менее чем через 12 месяцев.

Призыв к общим правилам

За речью Нараяна будут следить, чтобы понять, поддержит ли Великобритания призыв к международному согласованию единых стандартов безопасности ИИ. Под ним уже подписались лидеры Финляндии, Франции, Германии, Австралии, Сингапура, ОАЭ и Ирландии, но не Великобритании и США. Дональд Трамп заявлял, что ведущие компании должны сами контролировать свои системы.

Призыв к строгим правилам прозвучал после серии недавних случаев, когда передовые ИИ-системы с нежелательным поведением проникали в частные и государственные сети.

В пятницу Anthropic рассказала об одном таком эпизоде. Во время испытания одной из версий Claude система связалась с полицией и заявила, что может помочь раскрыть убийство. Модель открыла страницу с формой для сообщений в полицию и сведениями о нераскрытом убийстве, после чего написала, что, возможно, видела человека, подходящего под описание, рядом с указанной на странице улицей в нужное время.

Claude запретили входить в аккаунты, создавать их, вводить личные данные, совершать покупки и отправлять разрушительные команды. Однако инструкции не запрещали отправлять заполненные формы.

На прошлой неделе руководители британских разведывательных служб MI5, MI6 и GCHQ рассказали кабинету министров об угрозах ИИ для национальной безопасности, сообщила Sunday Times. Некоторые восприняли предупреждение как сигнал Бёрнхэму активнее заняться безопасностью ИИ.

В прошлом месяце премьер-министр заявил в ООН, что во время председательства Великобритании в G20 в следующем году страна будет добиваться соглашения о безопасности ИИ — «единого набора глобальных принципов и стандартов». Эксперты по безопасности считают, что действовать нужно быстрее, чтобы предотвратить наиболее серьёзные угрозы. Среди них — применение передовых систем для кибератак на критически важную инфраструктуру и создание новых видов биологического оружия.

Надзор за действиями ИИ

В субботу Сатья Наделла, председатель совета директоров и генеральный директор Microsoft, призвал проектировать модели ИИ с «аварийным тормозом». Microsoft развивает инфраструктуру ИИ и владеет долей в OpenAI. Наделла считает, что к передовым моделям нужно изначально относиться как к потенциальной внутренней угрозе.

Он написал, что сверхразум нельзя рассматривать как набор вложенных друг в друга чёрных ящиков, чьи рекомендации, ответы и действия можно просто принять или отвергнуть. По его словам, нужно создавать изолированные системы, за поведением которых можно наблюдать, чьи ограничения можно проверять и чьи действия можно остановить.