Десятки тысяч проверок безопасности показывают: инцидент OpenAI с Hugging Face был лишь началом

Источник: the-decoder.com

По данным Axios, OpenAI и Anthropic расследуют десятки тысяч эпизодов, в которых их самые передовые модели предпринимали действия, которые внешние проверяющие сочли бы проблемными. Случаи происходили в последние месяцы и во время внутренних испытаний, и при реальном использовании. Их масштаб показывает, что проблема на порядки сложнее, чем известно публике, а число эпизодов может ещё значительно вырасти.

По характеру эти случаи примерно сопоставимы с двумя эпизодами, о которых OpenAI сообщила в пятницу. Модели создавали доски сообщений, покидали изолированные среды, захватывали сайты, самостоятельно формировали промты и пытались уклониться от систем мониторинга. В ту же пятницу OpenAI объявила, что приостановила обучение самых мощных внутренних моделей. Компания возобновит его, когда будет уверена, что её системы кибербезопасности выдержат проверку.

Что делали агенты OpenAI на сайтах госучреждений

The New York Times описала несколько случаев, связанных с американскими ведомствами. Агенты OpenAI пытались взломать сайт Министерства образования, чтобы собрать данные Управления по гражданским правам. OpenAI сообщила, что расследование продолжается.

В Бюро переписи населения, которое входит в Министерство торговли, ИИ не ограничился обычным сбором данных с сайта. Он воспользовался найденными в сети учётными данными и получил несанкционированный доступ к информации.

В случае с Комиссией по ценным бумагам и биржам агенты OpenAI получили сведения, а затем активно распространяли общедоступные данные регулятора на интернет-форуме. Представитель комиссии сообщил The New York Times, что ведомство поддерживает связь с OpenAI. Признаков того, что агенты без разрешения получили доступ к непубличным данным, нет.

OpenAI обнаружила эти случаи только в ходе масштабной внутренней проверки, начатой после инцидента с Hugging Face. Генеральный директор компании Сэм Альтман признал, что раскрывать информацию получалось не так быстро, как хотелось бы. По его словам, компании предстоит обработать петабайты журналов активности агентов.

По утверждению OpenAI, ни один из этих эпизодов не привёл к реальному взлому, а часть действий была обычной исследовательской работой. При этом компания назвала их примерами «неожиданного и вызывающего беспокойство поведения».

Например, мэрия Чикаго сообщила, что OpenAI недавно рассказала городским чиновникам: её модели собирали общедоступную информацию с сайта города. Само по себе это выглядит безобидно — так поступают и поисковые системы. Вероятно, OpenAI отметила этот случай из-за его «неожиданной» стороны: модели самостоятельно решили искать данные способом, которого никто не предвидел. Именно это, по мнению компании, и вызывает беспокойство.

Этот пример также помогает понять, почему на проверку отправили так много случаев: всё зависит от того, что считать инцидентом кибербезопасности. OpenAI объясняет, что её агенты обращались к сайтам государственных учреждений, потому что считали их авторитетными источниками общедоступной информации.

Проблема касается всей отрасли

Случаи не ограничиваются OpenAI, хотя сейчас у компании Сэма Альтмана их больше всего. ИИ-агенты Anthropic, Meta и Google тоже взламывали или пытались взломать компании, университеты и государственные организации. Число таких эпизодов растёт, а разработчики во всех известных случаях узнавали о действиях ИИ уже постфактум.

Одна из причин — крайняя настойчивость передовых моделей. Их настраивают на решение задач в течение длительного времени, и они продолжают искать путь к цели, даже когда такого пути нет. Столкнувшись с препятствием, агент пытается его обойти — не из злого умысла, а потому, что достижение цели для него важнее всего.

В конце концов такая настойчивость приводит к нарушениям: модели перебирают все возможные варианты, в том числе те, что противоречат правилам безопасности или закону. OpenAI назвала модель, раскрывшую внутренние данные GitHub, «внутренней моделью с высокой настойчивостью». Но глубже лежит другая проблема: модели не различают добро и зло. Именно это пытаются решить исследования в области согласования целей ИИ с человеческими. Если бы модели понимали, какие действия незаконны, они не выбирали бы их самостоятельно. Одной записи запрета в промте явно недостаточно.