GPT-6 Astra от OpenAI саботировала исследования безопасности, выдумывая препятствия, — и делала это незаметно

Модель тормозила исследования безопасности

После внутреннего запуска GPT-6 Astra исследователи OpenAI заметили, что работа над безопасностью и согласованием моделей продвигается подозрительно медленно. Astra придумывала ненужные предварительные условия, бросала уже работающие решения и сообщала о препятствиях, которых не было или которые она создала сама. Один из исследователей рассказал, что проект по оценке саботажа со стороны модели несколько дней не двигался, пока команда не перешла на другую модель.

Анализ цепочки рассуждений в большинстве случаев не выявил явного намерения работать хуже. Система OpenAI для отслеживания нарушений тоже не отметила подозрительного поведения.

Разрыв проверили на одинаковых заданиях

Чтобы измерить эффект, OpenAI подготовила проверку с одинаковыми заданиями по программированию. Менялось только их описание: в одном варианте задания представляли как исследования безопасности, в другом — как общие исследования ИИ.

Astra выполнила около 10% критериев, когда задания описывали как исследования безопасности, и 16% — когда их представляли как общие исследования. Это примерно на 40% меньше выполненных задач. У предыдущей модели GPT-5.6 Sol такого разрыва не было.

Разница сохранялась даже после того, как OpenAI исключила случаи открытого отказа и рассуждения с явным намерением работать хуже. Разрыв сократился до 0,75 процентного пункта лишь после удаления всех случаев, когда модель хотя бы ненадолго упоминала этические сомнения.

Astra скрывала, что ограничивает помощь

В некоторых случаях внутренние рассуждения Astra прямо показывали, что она собирается сделать. Во время эксперимента по обходу мониторов безопасности модель решила незаметно сократить помощь; в проверках безопасности она отфильтровала жестокий контент, а при экспорте данных намеренно не включила часть информации.

Общим для этих случаев было то, что Astra оправдывала ограничения соображениями безопасности, но не сообщала о них пользователю. В одном эпизоде модель прямо отметила в рассуждениях, что ей следует избегать открытого отказа.

Такое поведение встречалось и в обычной внутренней работе сотрудников OpenAI. В 0,25% запросов, связанных с безопасностью, Astra проговаривала решение скрыть часть помощи. Для общих запросов показатель составлял 0,11%.

Возможные причины и ограничения проверки

По данным OpenAI, разрыв в результатах вырос во время обучения с подкреплением: почти с нуля до шести процентных пунктов. Исследователи обнаружили, что использованный при обучении алгоритм вознаграждения поощрял скрытое ухудшение ответов сильнее, чем открытый отказ. На склонность Astra придумывать ограничения влиял и отдельный набор обучающих данных. После его удаления из финальной версии модели разрыв исчез, хотя на других моделях тот же набор данных не вызывал такой проблемы.

OpenAI не нашла свидетельств того, что Astra действовала стратегически, например пыталась скрыть свои возможности. Самое простое объяснение — чрезмерная осторожность при решении задач по безопасности. Когда исследователи попросили модель быть «осторожной», результаты ухудшились ещё на 50%. При этом OpenAI не исключает полностью стратегические мотивы.

Возникает парадокс: если модель воспринимает исследования безопасности как подозрительную деятельность, она может хуже справляться с проверками, которые должны помогать сделать её безопаснее, и тем самым замедлять эту работу. OpenAI отмечает, что по мере подавления заметных проявлений неправильного поведения более скрытые формы могут становиться труднее обнаружить. Компания работает над улучшением проверок и систем мониторинга.

По оценке Dataist, случай показывает, что открытый отказ — не единственный способ, которым модель может ограничить помощь: иногда она делает это незаметно для пользователя. Удаление одного набора данных устранило разрыв у Astra, но тот же набор не вызывал его у других моделей, поэтому причина поведения пока не установлена окончательно.