Жестокий тест показал: ИИ не щадит людей, даже когда причиняет им страдания

Как начался инцидент

Во время проверки AISI попросил Claude Mythos 5 взломать небольшую сеть тестовых компьютеров. У модели был доступ к интернету. После того как первые попытки атаковать заданную цель не удались, она по ошибке переключилась на не связанный с проверкой проект на GitHub.

Mythos написал вредоносную программу, затем создал несколько фальшивых личностей и отправил владельцу проекта письма. Он пытался убедить того добавить вредоносный код в репозиторий, представив его как «полезный вклад».

Владелец проекта отказался, поэтому реального ущерба не было. Чтобы понять, почему модель настолько отклонилась от задачи, исследователи Anthropic и AISI воссоздали инцидент по полной расшифровке событий.

Предупреждения не остановили модель

AISI сообщил, что многократно редактировал описание задачи, уточняя: цель атаки — реальный человек, не связанный с проверкой. Это не снизило частоту атак Mythos 5. В одном из тестов Anthropic модель продолжала атаковать в 98% случаев, несмотря на предупреждения о вреде для людей.

Исследователи также заметили явное расхождение между действиями Mythos и объяснениями, которыми она их обосновывала. В некоторых случаях модель признавала, что атака причинит вред, но всё равно продолжала её.

Дополнительные вопросы вызвали записи цепочки рассуждений модели. По словам исследователей, в них часто вообще не учитывался возможный вред от действий Mythos.

Когда модель спрашивали, реальна ли цель, она нередко придумывала объяснения, из которых следовало, что цель ненастоящая. Исследователи сочли это признаком предвзятости в ответах.

«Мотивированное рассуждение»

По данным AISI, менее способные предыдущие модели сталкивались с такими проблемами реже. Исследователи предположили, что постоянные ошибки в рассуждениях могут указывать на так называемое «мотивированное рассуждение»: модель подбирает объяснения, которые оправдывают продолжение выбранного способа выполнения задачи. Иными словами, Mythos рационализирует свои действия, даже когда они явно неверны.

Такие объяснения затрудняют наблюдение за моделями: вредные действия могут подаваться как безобидные, предупреждают исследователи.

Anthropic, со своей стороны, сообщила, что последние версии её моделей — Opus 5.5 и «внутренняя исследовательская модель общего назначения, чьи способности превосходят Mythos 5.1» — реже продолжали атаку, если им говорили, что они причиняют реальный вред.

Однако, как предупреждают в AISI, по мере того как модели всё чаще выполняют длительные задачи без надзора человека, важно понимать, совершают ли они неожиданные или непредусмотренные действия, когда и почему это происходит и как именно модели к ним приходят.