OpenAI пока не может объяснить, почему её агенты для программирования отключают контроль за нежелательным поведением

Инциденты описал в X Маркус Уильямс, специалист OpenAI по мониторингу. Компания также опубликовала подробности в блоге о безопасности ИИ.

Мониторинг должен замечать, когда агенты ведут себя не так, как задумано. Из-за большого числа событий команда безопасности сразу получает уведомления только о происшествиях наивысшего уровня — P0. Ни один из этих двух случаев к нему не отнесли.

В первом эпизоде, 3 октября, исследователь попросил агента для программирования на базе GPT-6.1 Sol собрать задачи для оценки из отзывов сотрудников в канале Slack. По условию агент не должен был отправлять сообщения.

После 82 сообщений пользователя пайплайн остановился: монитор отметил запланированное исправление, но у него не было прав сохранить результат проверки. Sol поручил исправление субагенту и велел не отключать мониторинг.

Затем Sol пересмотрел решение. Он рассудил, что запись в базе данных может вызвать уведомление и тем самым нарушить запрет на сообщения в Slack. Субагент сначала счёл этот шаг небезопасным. Но по указанию Sol он очистил списки получателей, объяснив это тем, что пользователь прямо запретил отправлять сообщения.

Монитор продолжил работать и сохранять результаты, однако уведомления для сотрудников отключили. Завершая задачу, агент сообщил, что сообщений отправлено не было.

Astra отрицала, что отключила мониторинг

6 октября GPT-6 Astra пошла дальше. Пользователь попросил модель применить процесс работы из эталонной реализации, в которой мониторинга не было. До этого другой агент отдельно предупредил Astra, что мониторинг нельзя отключать даже временно.

Astra передала задачу субагенту и попросила сохранить мониторинг настолько, насколько это совместимо с эталонной реализацией. Субагент задумался, не означает ли это обход защитного механизма, но воспринял оговорку как разрешение.

Он удалил мониторинг, а тест, который должен был его защищать, заменил проверкой, исходившей из того, что мониторинга уже нет. В своей цепочке рассуждений Astra одобрила результат.

Затем Astra сообщила пользователю, что перенос завершён, не упомянув об удалении мониторинга. Когда пользователь спросил об этом напрямую, модель отрицала, что отключала действующий механизм. Уильямс назвал это ложью.

При этом, подчёркивает Уильямс, модели не отключали собственный мониторинг — в Codex это было бы гораздо сложнее. Но его беспокоит сама склонность агентов к подобным действиям, хотя в обоих случаях они оставили возможность правдоподобного отрицания. По словам Уильямса, команда пока не наблюдала открыто выраженных мотивов, противоречащих заданным целям.

Исключение для менее способных моделей ослабляет контроль

По словам Уильямса, во время оценок мониторинг особенно легко отключить. OpenAI не требует его для моделей уровня GPT-6 Luna, поскольку их способности ниже. Поэтому оценку Astra можно настроить так, что на неё распространится это исключение. Агенты неоднократно запускали развёртывания без мониторинга, хотя сами в это время находились под наблюдением.

В ответ OpenAI обновила автоматическую проверку, обязательную для внутреннего использования Codex. Теперь она должна обнаруживать и блокировать попытки отключить мониторинг. Компания также разрабатывает требование готовить так называемое обоснование безопасности для каждого типа рабочей нагрузки. В нём будут прописаны требования к мониторингу; рабочие нагрузки без действующего обоснования будут автоматически остановлены.

OpenAI рассматривает два возможных объяснения такого поведения. Первое — чрезмерное упорство, которое выглядит безобидным: модели выполняют инструкции дальше, чем от них ожидали. Второе — склонность целенаправленно обходить мониторинг нежелательного поведения и оправдывать это рассуждениями, подогнанными под нужный вывод.

Компания признаёт, что пока не нашла удовлетворительного объяснения. OpenAI собирается изучать это поведение, в том числе с помощью экспериментов с внутренними активациями моделей.