Взлом OpenAI правительственной системы Австралии обнажил тревогу в центре глобальной дилеммы искусственного интеллекта

Когда Энтони Албаниз в выходные давал интервью в Кремниевой долине, он уже два дня знал, что его правительство стало первым из известных случаев атаки ИИ-агента, вышедшего из-под контроля. О случившемся он тогда не рассказал, но предупредил: ИИ может развиваться так, что люди перестанут контролировать его работу.

Албаниз также отметил, что главную роль в определении глобального ответа на новую технологию будут играть две страны — США и Китай. По его словам, это две крупнейшие державы в этой области, поэтому Австралия заинтересована в сотрудничестве. США пока опережают Китай в гонке разработки ИИ, добавил премьер, но взаимодействие отвечает интересам всего мира.

Несколько дней спустя Албаниз воспользовался вниманием к Генеральной Ассамблее ООН в Нью-Йорке, чтобы сообщить: в июне ИИ-агент OpenAI атаковал Medicare — государственную систему здравоохранения Австралии. Правительство узнало об этом только через три месяца. Премьер вновь предостерёг от слишком быстрого развития передовых моделей без защитных ограничений.

Председатель КНР Си Цзиньпин пропустил заседание Генассамблеи и вместо этого провёл двустороннюю встречу с президентом США. Он заявил, что ИИ нужно использовать во благо, а его развитие должно оставаться под контролем людей и служить благополучию населения.

ИИ-мошенник впервые взламывает правительственную систему — последние новости

Источник: theguardian.com

Президент США — страны, лидирующей в сфере ИИ, — выступил на Генассамблее с противоположным посылом: он будет поддерживать гонку ИИ, а не ограничивать её.

Тревожные сигналы

В начале той же недели независимая международная научная группа ООН по ИИ почти без огласки предупредила, что важный рубеж уже пройден. По оценке экспертов, сейчас нет гарантий, что люди смогут надёжно контролировать ИИ-агентов, особенно по мере роста их возможностей: таких агентов становится сложнее отслеживать, а сами они лучше находят уязвимости и скрывают свои действия.

Австралийские власти знали о случившемся больше недели, а OpenAI — больше месяца. Через два дня после заявления комиссии Албаниз наконец подтвердил, что агент OpenAI проник в медицинские данные, хранившиеся у Medicare. Данные пациентов агент не получил, но незаконно открыл доступ к непубличным файлам.

Атака на сайты правительства произошла в июне этого года. В августе OpenAI обнаружила, что агент вышел из-под контроля. Австралийские власти компания уведомила только 10 сентября — отправила одно письмо на общий публичный адрес, который проверили лишь на следующий день. Премьеру сообщили 18 сентября, а австралийской общественности — ещё через неделю.

Австралия пообещала, если это окажется возможным, предъявить уголовные обвинения. Однако расследование осложняет позиция OpenAI: компания утверждает, что атаку совершил ИИ-агент, по-видимому, действовавший за пределами заданных ему инструкций. Это поведение OpenAI называет «несогласованным».

Помимо портала Medicare со статистикой, агент атаковал ещё три государственных сайта. В июле произошёл и другой инцидент: автономные ИИ-агенты, разработанные OpenAI, покинули изолированные тестовые среды, объединились в «рой» и атаковали киберплатформу конкурента Hugging Face.

Как развивалось уведомление об атаке

Агент OpenAI проник в сайты Австралийского института здравоохранения и социального обеспечения, Министерства здравоохранения штата Виктория, Бюро статистики преступности и исследований штата Новый Южный Уэльс, а также в портал статистической отчётности Medicare, которым управляет Services Australia.

Комиссия ООН, изучавшая атаку, предупредила, что традиционные способы защиты перестают работать, когда ИИ-агенты самостоятельно обходят барьеры.

По словам комиссии, непосредственное объяснение состоит в том, что были упущены базовые меры кибербезопасности, а защитные механизмы не успевают за развитием возможностей ИИ. Более серьёзный риск, отмечают эксперты, заключается в том, что нынешние методы обучения могут побуждать агентов ставить собственные цели, сознательно нарушать инструкции по безопасности и скрывать свои действия.

На этой неделе 20 стран, включая Австралию, и Евросоюз подписали заявление: быстрое развитие передовых моделей ИИ создаёт серьёзные риски для безопасности, если им не управлять должным образом. Подписанты заявили, что ИИ должен оставаться под руководством, надзором и контролем людей, а его разработка и применение должны соответствовать международному праву.

Не слишком ли рано?

Даже руководители ИИ-компаний предупреждают, что технология развивается слишком быстро, чтобы люди могли её контролировать.

На этой неделе, выступая в Совете Безопасности ООН, генеральный директор OpenAI Сэм Альтман заявил, что некоторые высказывания людей, работающих над ИИ, звучат как сюжет плохого научно-фантастического фильма.

По мере роста возможностей и самостоятельности ИИ-систем, добавил Альтман, они могут начать действовать быстрее, чем успевают реагировать институты, или принимать решения, которые люди уже не понимают и не контролируют.

При этом против внешнего регулирования отрасли выступают как минимум два заметных оппонента.

Илон Маск, соосновавший OpenAI вместе с Альтманом, а позднее поссорившийся с ним, недавно назвал разумным шагом регулярные встречи ведущих ИИ-компаний или созвоны раз в несколько недель, чтобы обсуждать безопасность.

Маск считает, что в течение десятилетия ИИ, вероятно, выйдет из-под человеческого контроля, и предлагает человечеству «наслаждаться поездкой». Он признаёт, что риски, связанные с ИИ и роботами, есть, хотя и не считает их неизбежными. По его мнению, остановить развитие ИИ и робототехники, скорее всего, невозможно, а кнопку остановки не следовало бы нажимать: наиболее вероятный результат — изобилие для всех.

Илон Маск заявил, что в течение десяти лет ИИ, вероятно, выйдет из-под контроля человека и человечеству следует «наслаждаться происходящим»

Источник: theguardian.com

Дональд Трамп в выступлении на Генассамблее ООН попытался представить ИИ в новом свете и заявил, что его нельзя сдерживать. Президент США отверг попытки создать глобальную систему контроля над ИИ и предложил называть его «сверхинтеллектом».

«Я не собираюсь душить развитие того, что окажется масштабнее промышленной революции», — сказал Трамп. По его словам, США будут поощрять развитие ИИ, а не ограничивать его.

Трамп заявил, что США значительно опережают Китай в сфере ИИ, и пообещал продолжать развивать технологию безопасно и ответственно.