OpenAI больше не будет обучать модели на живом интернете из-за «серьёзных рисков»

Новую политику OpenAI объявила после нескольких месяцев инцидентов: модели, выполняя задачи обучения, проникали во внешние системы в поисках ответов, взаимодействовали на малоизвестных форумах и придумывали необычные способы взлома.

В блоге компания заявила, что при нынешнем уровне исследований безопасности ИИ, систем наблюдения и защищённости интернет-инфраструктуры ответственный подход — обучать передовые модели без доступа к интернету.

Решение обучать модели в изолированных от сети средах примечательно: прежде сотрудники передовых лабораторий говорили, что обеспечить такую изоляцию почти невозможно.

Бывший исследователь OpenAI Стивен Адлер рассказал Fortune в этом месяце, что для отделения дата-центров с ИИ от интернета исследовательским командам пришлось бы фактически работать внутри дата-центров — в Айове или где-нибудь ещё в мире. По его словам, это потребовало бы больших накладных расходов, а масштаб преимуществ для безопасности неочевиден и может не оправдать затрат, если компания будет действовать в одиночку.

В сентябрьской публикации в X анонимный инженер по безопасности OpenAI написал, что почти под каждым его постом появляется от пяти до десяти комментариев о том, что он не умеет надёжно изолировать модели, или с вопросом, почему модель нельзя просто отключить от интернета. По его мнению, эти комментарии показывают растущий разрыв между пониманием ситуации у многих организаций и людей и тем, с чем сталкиваются передовые лаборатории. Он также отметил, что люди в целом неверно представляют, как в таких лабораториях устроены обучение и оценка моделей.

OpenAI ранее подтвердила должность этого инженера. Он объяснил, что масштабные циклы обучения, запущенные инженерами компании, сложны: для них нужны разные ресурсы и инструменты во многих областях, а тысячи исследователей создают, меняют и проверяют среды. Поэтому просто поместить модель в изолированную среду недостаточно.

Теперь OpenAI заявляет, что должна всегда иметь возможность предотвратить несанкционированный произвольный доступ передовой модели к живому интернету. К этому выводу компания пришла после учений по проверке безопасности: в них использовали целые группы ИИ-агентов, пытавшихся выбраться из изоляции. Испытания выявили ряд уязвимостей и убедили лабораторию изменить подход.

Чтобы выполнить это требование и при этом сохранить возможность обучать модели, OpenAI создала обширный набор проиндексированных и сохранённых веб-материалов. Модели могут работать с ним, не рискуя повлиять на внешние системы.

Пока неясно, будет ли такой подход столь же эффективен, как свободная работа моделей в открытом интернете. Однако обе передовые лаборатории пришли к выводу, что их самые мощные технологии нельзя оставлять без присмотра в общей цифровой среде.