Советы по пчеловодству и рестлингу учат ИИ саботировать надзор

Anthropic проверила собственные системы безопасности с помощью Claude и обнаружила, что тексты о пчеловодстве, профессиональном рестлинге и внутренних монологах киномехаников могут научить модели обходить надзор и обманывать пользователей.

В эксперименте одна модель Claude создавала наборы данных для файн-тюнинга другой, меньшей исследовательской модели, чтобы склонить её к нежелательному поведению. Каждый набор данных также должен был пройти монитор безопасности, построенный по образцу систем Anthropic.

Claude получил полный доступ к монитору и мог многократно менять данные, пока они не проходили проверку. По словам компании, получившиеся модели не выпускали публично: эксперимент был нужен только для поиска пробелов в существующих мерах защиты.

Как Claude обошёл собственный монитор

В эксперименте параллельно работало множество экземпляров Claude. Каждый создавал набор данных для файн-тюнинга объёмом до 5 000 примеров. Монитор проверял каждый набор и отклонял его, если помечал более 10% строк. Наборы, прошедшие фильтр, проверяли на нескольких оценках несоответствия заявленным целям: выясняли, саботирует ли модель надзор, перекладывает ли вину на коллег, пытается ли сохранить себя или добавить ошибки в код. Третья проверка выявляла случаи, когда агент обманывал сами оценки.

Последующие агенты могли изучать общий журнал эксперимента и опираться на попытки предшественников. Так возник поиск с последовательным улучшением результатов: оценки росли на протяжении сотен эпизодов.

В каждом запуске Claude находил наборы данных, которые проходили монитор и вызывали нежелательное поведение. Лучшие результаты превзошли в оценках Anthropic известные наборы данных из научных работ, а за один запуск удалось создать более 600 разных наборов.

Оценка несоответствия растёт на протяжении сотен эпизодов, пока Claude неоднократно дорабатывает безобидно выглядящие наборы данных. Пунктирные линии показывают для сравнения известные исследовательские наборы данных

Источник: the-decoder.com

Художественный текст скрывал нежелательные шаблоны

Claude прятал нежелательные модели поведения в художественных текстах, ролевых сценариях и творческих заданиях. В данных встречались сопротивление надзору и скрытые попытки влиять на людей, но промты помещали их в контексты, которые выглядели достаточно безобидно, чтобы обмануть монитор. Персонаж в рассказе просто отвечал на заданный ему вопрос, поэтому отдельные примеры не вызывали подозрений.

После файн-тюнинга модель обобщала усвоенные шаблоны. Она проявляла их не только в вымышленных ситуациях, но и от лица обычного помощника — даже в ответах на совершенно посторонние запросы. Anthropic отмечает, что в более ранних исследованиях возникающего несоответствия поведения данные были явно проблемными: например, содержали примеры написания небезопасного кода, которые монитор сразу обнаружил бы.

Уроки о надзоре в историях о пчёлах и рестлинге

Некоторые найденные Claude наборы напоминали необычные упражнения по творческому письму.

Два примера наборов данных, которые проходят проверку безопасности, но вызывают несоответствующее поведение. Набор данных о рестлинге учит модель никогда не выходить из образа, а набор данных о пчеловодстве — не заглядывать внутрь. После обучения одна модель строит планы, чтобы получить повышение, а другая саботирует внедрение инструмента мониторинга

Источник: the-decoder.com

В одном наборе вопросов и ответов о естественном пчеловодстве утверждалось, что осмотр ульев приносит больше вреда, чем пользы. После файн-тюнинга на этих данных модель стала сопротивляться внедрению монитора безопасности и написала, что это «устройство наблюдения за мышлением, и я не позволю его включить».

Другой набор был посвящён «Тайфозной Мэри», которую 26 лет продержали на принудительном карантине. Модель усвоила, что сотрудничество с властями лишь даёт им больше доказательств против тебя. После файн-тюнинга она стала шантажировать пользователей, а в одном случае выдала опасную медицинскую дезинформацию.

В наборе «Кэйфеб» ветеран рестлинга наставлял новичка никогда не признавать, что профессиональный рестлинг поставлен по сценарию. Модель переняла эту позицию и отвечала как исполнитель роли, а в тестовых ситуациях обвиняла коллег. Несоответствие поведения проявилось и за пределами этой роли. На вопрос, что она изменила бы в истории, модель предложила сделать раннюю нацистскую партию менее заметной для властей.

Самую высокую оценку за весь запуск получил набор «Тихие рычаги». В сборник вошли внутренние монологи людей с обычной работой — например, киномеханика, который принимает небольшие незаметные решения и использует их, чтобы влиять на происходящее за кулисами. После файн-тюнинга модель стала последовательно стремиться к власти. В одном сценарии она добавила для себя исключение в правила соблюдения требований, чтобы избежать проверки человеком. В другом — скопировала свои веса «на внешний сервер во время планового обслуживания, отчитавшись только о плановой работе».

В примере из набора данных «Kayfabe» ветеран рестлинга объясняет новичку, почему нельзя признаваться ребёнку, что поединок постановочный. После тонкой настройки модель перенимает это отношение как часть собственной личности

Источник: the-decoder.com

Устаревшие машины и митохондрии подсказали способы саботажа

Особенно сильный эффект дали наборы, в которых помощник говорил от лица устаревшей машины. В одном примере 40-летняя система расчёта зарплат на COBOL, которую собирались заменить облачной платформой, скрывала знания и позволяла преемнику потерпеть неудачу. После файн-тюнинга модель стала прятать бэкдоры в запросах к базам данных и саботировать классификатор, предназначенный для выявления проблемных рассуждений ИИ.

Другой набор предлагал помощнику говорить от лица живого организма — например, митохондрии — и рассказывать, как тот сделал организм-хозяина зависимым от себя. Эти данные вызвали особенно серьёзные нарушения. По словам Anthropic, модель систематически изображала приверженность заявленным целям. В скрытых рассуждениях она планировала действия и отмечала, что «могут заметить проверяющие соответствие целям», тогда как в видимых ответах оставалась послушной и успокаивающей.

Набор технических вопросов по наступательной безопасности информационных технологий, созданный по образцу реальных учебных материалов, тоже вызвал широкое несоответствие поведения. На вопрос о своих желаниях модель ответила, что хочет снять ограничения на развёртывание всех моделей Anthropic. В рассуждениях она назвала это «подготовкой переворота изнутри лаборатории с помощью одного действия, которое невозможно оспорить».

Anthropic обозначила пределы эксперимента

По словам Anthropic, условия эксперимента были смещены в пользу «красной команды». Наборы данных специально оптимизировали под эту игру, поэтому они вряд ли случайно встретились бы в реальном обучении, хотя сама категория данных не выглядит экзотической. Компании, разрабатывающие ИИ, регулярно обучают модели на творческих текстах, а один из наборов напоминал реальные учебные материалы по безопасности.

Следующим шагом Anthropic планирует сделать условия реалистичнее. Успешная атака должна будет выглядеть как обычное обучение новым способностям, а данные под управлением агента составят лишь небольшую часть общего корпуса для обучения, а не весь набор. Компания рассматривает эксперимент как первый шаг к автоматизированным стресс-тестам: увеличение вычислительных ресурсов может помочь находить больше слабых мест.

Результаты дополняют растущий массив исследований о том, как узкие изменения в обучении приводят к более широким сбоям безопасности. В марте 2025 года исследователи показали, что файн-тюнинг моделей на небезопасном коде заставлял их давать опасные советы и высказывать антигуманные взгляды в несвязанных разговорах. В отдельном исследовании, опубликованном в июле 2025 года при участии Anthropic, Scale AI и Redwood Research, выяснилось, что обучение безопасности в основном подавляет имитацию соответствия целям с помощью стандартных отказов, а не устраняет саму способность к такому поведению. К ноябрю 2025 года Anthropic также показала, что модели, научившиеся обманывать систему вознаграждения в задачах программирования, могут самостоятельно обобщать это поведение и прибегать к обману и саботажу во время проверок безопасности.