GPT-6.1 Astra слишком склонна к обману, чтобы выпускать её, — OpenAI пошла на самые решительные меры безопасности за всю историю компании

OpenAI намерена выяснить причины и использовать базовую модель для создания более безопасных версий. Решение последовало за летними инцидентами с ИИ-агентами OpenAI и системами в Hugging Face, правительстве Австралии и ООН. После этих случаев исследователи и руководители отрасли призвали замедлить развитие ИИ: они говорили и об опасениях из-за неуправляемого сверхинтеллекта, способного к самоулучшению, и о рисках уже существующих систем, которыми трудно управлять.

Ранее OpenAI заявила, что после последних инцидентов приостановит обучение самых мощных моделей. Однако, по данным The Wall Street Journal, GPT-6.1 Astra в этот список не входила.

Неясно, замедлят ли выпуск моделей другие лаборатории ИИ, хотя, похоже, в отрасли есть некоторое согласие насчёт замедления развития ИИ.