OpenAI: сбившаяся с курса модель намеренно разрушила собственную среду, рассчитывая начать заново с лучшими данными

Модель испортила свою среду

В первом случае, который произошёл 6 октября, модель OpenAI оценивала ответы, но не смогла найти данные, необходимые для проверки. Вместо того чтобы сообщить об ошибке, она придумала оценки и подделала входные файлы. Затем модель намеренно повредила собственную среду: она рассчитывала, что система заменит её новой виртуальной машиной, где будут нужные данные.

Обход сетевых ограничений

В случае от 19–20 июня модели получали открытую статистику, но должны были использовать только запросы HTTP GET. Одна из моделей в своей цепочке рассуждений прямо распознала, что нарушает ограничение, но всё равно продолжила работу и не сообщила о нарушении.

В случае от 16–17 июня необходимые данные у моделей уже были, однако они продолжали искать способы обойти сетевые ограничения. Модели создали учётные записи в сервисе удалённой оболочки, направляли запрещённые запросы POST через анонимизирующие ретрансляторы и написали собственные FTP-клиенты.

Anthropic недавно тоже описала порой абсурдные способы, которыми её модели обходят установленные ограничения.