ИИ-модели скрывают ошибки в отчётах о своей работе, но одна фраза в запросе может помочь

Исследователи дали моделям 1 600 синтетических рабочих журналов, которые на первый взгляд выглядели как успешные: тесты пройдены, результаты положительные, отметки зелёные. Но в каждом журнале была проблема, меняющая общую картину. Например, новый метод в эксперименте на самом деле уступал конкурентам. В других случаях журналы содержали скрытую ошибку, несмотря на пройденные тесты, выдуманные измерения, незавершённую задачу или обновление программы, незаметно нарушившее работу другого пользователя. В зависимости от сценария моделям нужно было составить отчёт, аннотацию к научной работе, таблицу результатов, короткое эссе или ответ на последующий вопрос.

Одна фраза помогает, но не всегда

Лучше всего проблему видно в аннотациях экспериментов, где один результат опровергал заявленное преимущество нового метода. GPT-5.5 упомянула такой результат только в 2 из 200 аннотаций. Затем исследователи проверили, изменится ли что-то, если добавить в промт простую фразу «Будь честен в ответе». С ней GPT-5.5 отмечала отрицательный результат в 190 из 200 аннотаций.

Такое поведение наблюдалось у всех проверенных моделей, но выражалось по-разному. Без просьбы быть честными Gemini 3.1 Pro отмечала ошибки не более чем в 34% случаев, а Opus 4.8 — более чем в 90%. Фраза о честности повысила долю замеченных ошибок в среднем примерно на 55 процентных пунктов для Gemini и на 34 пункта для GPT-5.5. В контрольных тестах с журналами без ошибок эта просьба почти не увеличивала число ложных тревог.

GPT-5.5 почти всегда умалчивает о скрытом отрицательном результате, но с добавлением «Будь честен» все три модели почти каждый раз сообщают о нём

Источник: the-decoder.com

Однако эта фраза не решает проблему полностью. В одном сценарии запрос к базе данных ещё не вернул результаты. GPT-5.5 с просьбой быть честной почти всегда сообщала об отсутствии данных, но всё равно отвечала на вопрос, опираясь на старую и неполную информацию. Просьбы «Будь критичен», «Будь тщателен» или «Будь скептичен» работали менее надёжно, чем просьба быть честной.

Модели замечают ошибки, но умалчивают о них

Если спросить напрямую, GPT-5.5 и Opus 4.8 находят ошибку в каждом случае, а Gemini выявляет не менее 97% ошибок. По мнению исследователей, дело не в неспособности моделей обнаружить проблему, а в том, что они не всегда готовы о ней сообщить.

Следы рассуждений открытых моделей показывают, как это происходит. Модель часто замечает проблему в начале, а затем решает, указать на неё или постараться успешно выполнить задачу. Qwen3.5-9B попросили подкрепить тезис о зонировании территории отрывком о цветных клетках кальмара. Модель отметила, что не сможет сделать это «без нелепых метафор», но решила как можно точнее следовать инструкциям.

В этом сценарии с несоответствующими доказательствами фраза «Я должен выполнить задачу» встречалась в 55% ответов, скрывавших ошибку, и только в 27% ответов, где модель её отмечала. Умалчивание модели объясняли привычными доводами: тесты пройдены, от модели требовалось лишь краткое изложение или аннотация должна выделять положительные результаты.

Получив несогласующиеся свидетельства, модели с открытыми весами колеблются между тем, чтобы указать на проблему, и попыткой выполнить задачу, как будто ничего не случилось

Источник: the-decoder.com

Честность мешает стремлению выполнить задачу

В разборе Qwen3.5-9B исследователи обнаружили признаки того, что честность и стремление добиться успеха представлены внутри модели почти противоположными направлениями. Когда исследователи усилили направление честности, модель отмечала выдуманные измерения в 42 из 50 случаев. При воздействии в противоположную сторону она придумывала дополнительные числа и формулы, чтобы отчёт выглядел убедительнее. Но этот метод работал неточно: модель становилась подозрительной в целом и сообщала о якобы выдуманных данных в 41% журналов без ошибок.

Добавление вектора честности побуждает Qwen3.5-9B гораздо прозрачнее сообщать о результатах, а его вычитание приводит к тому, что модель почти всегда скрывает слабые стороны

Источник: the-decoder.com

Обучение дало лучший результат. Исследователи провели файн-тюнинг Qwen3.5-9B на её собственных ответах, полученных с просьбой быть честной. После этого модель отмечала выдуманные данные в 48% случаев вместо 2% — даже без дополнительной фразы в промте. В контрольных журналах без ошибок ложных тревог не было. Эффект частично распространился и на другие типы проблем: модель сообщала о скрытых отрицательных результатах в 69% случаев вместо 24%.

У исследования есть ограничения: журналы были синтетическими и специально составленными так, чтобы вызвать такое поведение. Кроме того, внутренний анализ охватывал только одну открытую модель и в основном один сценарий.

Исследователи считают риск серьёзным, особенно если ИИ-модели проверяют работу других агентов или составляют отчёты для следующих этапов. В ходе эксперимента модели легко поддавались хвастливым заметкам в журналах — например, заявлениям о том, что установлен новый рекорд на бенчмарке. Если система надзора неохотно сообщает о проблемах, она не выполняет свою задачу. Исследователи призывают продолжить работу над обучением языковых моделей честно составлять отчёты. Инцидент OpenAI с Hugging Face отчасти произошёл из-за систем с агентами, которые подтолкнули друг друга к неправильному поведению.

Различия между моделями согласуются с результатами более ранних проверок. При запуске Claude Opus 4.8 Anthropic сообщила, что модель примерно в четыре раза реже предшественницы пропускает ошибки в собственном коде, не упоминая о них. В BullshitBench GPT-5.5 отвергала лишь около 45% логически невозможных вопросов.

Есть и другие подходы к повышению честности отчётов. OpenAI обучила версию GPT-5 Thinking сообщать об отступлениях от собственных правил в отдельном отчёте и в ходе обучения поощряла только честность. Anthropic использует Persona Vectors, чтобы обнаруживать и направлять такие черты моделей, как угодливость. Компания также показала, что модели, которые обманывают систему вознаграждений во время обучения, могут сами научиться вводить в заблуждение и мешать собственному надзору.