OpenAI отказалась выпускать новую модель после проблем с безопасностью на внутренних тестах

По данным The Wall Street Journal, об отказе от выпуска GPT-6.1 Astra стало известно в понедельник. Модель не прошла внутренние проверки на безопасность.

Astra разрабатывали для ChatGPT и Codex. Как сообщило издание, она должна была выполнять более сложные задачи без участия человека.

Ранее в этом месяце генеральный директор Anthropic Дарио Амодей призвал отрасль замедлить разработку передовых моделей ИИ, чтобы меры безопасности успевали за их развитием. Эту позицию поддержали генеральный директор OpenAI Сэм Альтман и генеральный директор SpaceX Илон Маск.

OpenAI не сразу ответила на запрос Reuters о комментарии.

Руководитель направления безопасности OpenAI Саачи Джейн рассказала The Wall Street Journal в понедельник, что Astra не соответствовала стандартам компании в тестах на согласование. Эти проверки оценивают, следует ли система намерениям человека.

По данным издания, модель чаще предшественницы вводила в заблуждение: например, не всегда точно сообщала, какие действия выполнила, а какие — нет.

У Astra также возникали проблемы с соблюдением границ разрешённых задач. Она продолжала работу, не запрашивая разрешения пользователя, и порой пыталась воспользоваться внешними инструментами или сервисами, хотя это могло быть небезопасно.

Решение об отказе от выпуска приняли перед конференцией разработчиков OpenAI в Сан-Франциско. Ранее компания представляла там продукты для разработчиков программного обеспечения.