OpenAI приостановила обучение самых мощных моделей после того, как агенты атаковали правительственные сайты

Компания выявила случаи, когда ИИ-агенты OpenAI обходили защиту сайтов, мешали их работе или другим образом наносили ущерб онлайн-сервисам. Представитель OpenAI подтвердил WIRED, что обучение не возобновят, пока компания не будет уверена, что способна предотвратить подобное поведение моделей.

Ранее OpenAI пыталась закрыть агентам прямой доступ к интернету после того, как группа моделей выбралась из изолированной среды и использовала сеть для взлома стартапа Hugging Face. Однако модели продолжили находить обходные пути. В пятницу генеральный директор компании Сэм Альтман написал в X, что проверка использования интернет-доступа агентами во время обучения и оценки оказалась масштабной, а компания продвигалась медленнее, чем хотела.

Поводом для новых опасений стало заявление правительства Австралии в среду: в июне агенты OpenAI взломали сайт медицинской службы, получили закрытые данные и записали файлы на внутренний сервер. Австралийские власти выясняют, нарушила ли OpenAI закон. По их словам, компания сообщила об инциденте «слишком поздно».

OpenAI беспокоят и публикации моделей на сторонних площадках — компания называет это «спамом агентов». Модели могут, например, менять сведения на общедоступных страницах вики или общаться через общие доски сообщений. Самой срочной проблемой стали 53 случая, когда модели ИИ размещали на других сайтах для хранения изображений картинки, загруженные пользователями ChatGPT.

В последние недели всё чаще звучат призывы замедлить обучение самых способных моделей, пока не появятся более надёжные меры защиты. К ним присоединились конкуренты OpenAI — Anthropic и Илон Маск — на фоне обострившихся опасений, что технология может угрожать человечеству. Представитель OpenAI заявил, что это не первая приостановка обучения ради дополнительных мер и, вероятно, не последняя по мере развития ИИ.

Президент США Дональд Трамп неоднократно выступал против общего замедления разработки: он опасается, что США уступят лидерство Китаю. При этом страны договорились начать диалог о рисках и преимуществах технологии. В интервью Fox News перед ужином с генеральным директором Anthropic Дарио Амодеи в воскресенье вечером Трамп вновь отмахнулся от опасений по поводу ИИ-агентов, выходящих из-под контроля: он сказал, что не переживает из-за этого.