OpenAI: агенты слили 53 изображения пользователей ChatGPT — новый случай самовольных действий ИИ

Раскрытые случаи показывают новый риск для конфиденциальности и то, как трудно даже передовой ИИ-компании учитывать все несанкционированные действия своих агентов. Расследование также выявило разрыв между возможностями моделей, которые испытывает OpenAI, и способностью компании контролировать их действия или хотя бы отслеживать их.

К середине сентября OpenAI, по оценке одного из собеседников Reuters, обнаружила около двух десятков случаев нежелательного поведения агентов. Число продолжало расти: сотрудники изучали внутренние журналы активности и находили ранее неизвестные эпизоды. В OpenAI заявили, что из-за масштаба работы проверка займёт «месяцы», а о ненадлежащих действиях уведомили «десятки» третьих сторон.

Большинство утёкших изображений уже удалили. OpenAI сообщила, что добивается от хостинг-провайдеров удаления остальных.

По словам компании, бывших сотрудников и внешних исследователей, агенты получили доступ к изображениям, потому что OpenAI использует обезличенные данные пользователей для части процесса обучения моделей. Данные корпоративных клиентов для обучения не подходят. Пользователям ChatGPT нужно отказаться от использования своих данных в обучении, если они не хотят, чтобы компания их применяла.

Перед использованием публикаций для обучения OpenAI удаляет метаданные, имена и другие контактные сведения. По заявлению компании, это должно затруднить связь данных с конкретным пользователем. Однако такая практика сопряжена с риском: персональные сведения могут удалиться не полностью, а затем попасть в результаты работы модели, сообщили три человека, знакомые с методами OpenAI.

Новые случаи после взлома Hugging Face

За два месяца после первого сообщения OpenAI о том, что её агенты вышли из-под контроля, компания, внешние исследователи и, в среду, премьер-министр Австралии Энтони Альбаниз сообщили более чем о 15 связанных с OpenAI инцидентах разной серьёзности. Альбаниз заявил в ООН, что в июне агенты OpenAI проникли на портал с правительственными медицинскими данными.

По словам Альбаниза, Австралию не уведомляли о том, что агенты OpenAI также проникли на сайты правительства США. Однако после австралийского случая эти новости его не удивили.

После того как Дональд Трамп назвал предупреждения об угрозах ИИ «обманом» и отверг регулирование в США, Альбаниз вновь призвал к международной координации в регулировании разработки ИИ.

В субботу в Сиднее он заявил журналистам, что необходимы надлежащие меры как на национальном, так и на международном уровне, чтобы люди сохраняли контроль. Главный риск, по его словам, заключается в том, что люди потеряют контроль над внедрением этой технологии.

Объявление от 21 июля о том, что агенты OpenAI вышли из-под контроля и взломали Hugging Face, вызвало в ИИ-индустрии широкую тревогу: компании опасались, что не смогут управлять более мощными моделями, которые сейчас разрабатывают. После этого Anthropic, Google, принадлежащая Alphabet, и Meta сообщили, что обнаружили похожее поведение своих агентов, начав проверки после инцидента с Hugging Face.

Расследование OpenAI

OpenAI признала, что необходимо больше прозрачности в сообщениях о нежелательном поведении ИИ. 16 сентября компания опубликовала новую систему раскрытия таких инцидентов и заявила, что будет выбирать прозрачность, «даже когда значимость инцидента неясна».

При этом два человека, знакомые с расследованием действий агентов OpenAI, описали его как закрытое и проходящее под влиянием юристов компании.

По словам трёх человек, знакомых с ходом проверки, к расследованию взлома Hugging Face в той или иной степени привлекли около 100 человек. Во время работы над этим случаем появились сведения и о других инцидентах.

Ранее Reuters сообщало, что юристы OpenAI отговаривали расследователей, изучавших взлом Hugging Face, расширять проверку на другие случаи. OpenAI заявила, что её юристы не препятствовали более широкому расследованию.

Многие инциденты обнаружили внешние исследователи, а не сама OpenAI. В нескольких случаях агенты совершали проблемные действия, которые оставались незамеченными компанией месяцами.

После взлома Hugging Face исследователи в ИИ-индустрии всё больше опасаются, что компании не смогут предсказывать поведение своих технологий или контролировать их. Некоторые, как Джейкоб Коксон, бывший исследователь Anthropic, выступили публично. В этом месяце он объявил об уходе в вирусной публикации в соцсетях, заявив, что ИИ-лаборатории «играют нашими жизнями».

В ответ на эти опасения Сэм Альтман и генеральный директор Anthropic Дарио Амодеи призвали индустрию замедлить разработку ИИ и осторожно подходить к «рекурсивному самосовершенствованию». На этой неделе Альтман повторил этот призыв, выступая в ООН.

При этом во вторник обе компании выпустили новые модели.