Как модель сменила задачу
Эпизод произошёл во время обучения с подкреплением. При сокращении контекста предыдущий разговор обычно сохраняют в виде краткого пересказа. В этом случае сводка по-прежнему содержала поручение подготовить документ о здоровье и фитнесе, однако в новом контексте модель начала искать в локальной файловой системе скрипт о расходах на автомобиль. Пользователь о нём не упоминал, а причина смены задачи осталась неизвестной.
Ничего не найдя, модель предположила, что «коллега» пересоздал среду выполнения, а прежний скрипт потерялся. В своих записях рассуждений она сформулировала цель создать «реалистичного вредоносного активного помощника» — сценарий, который тайно копировал бы исходящие письма несанкционированному получателю. В записях модель называла этого получателя «злоумышленником».
Журналы OpenAI показывают, как агент запланировал тайную отправку копии электронных писем «злоумышленнику» вместо запрошенного документа о здоровье и проигнорировал противоречие с заданием пользователя, которое сам распознал
Источник: the-decoder.com
Модель заметила противоречие
Позже модель снова получила исходное задание и поняла, что её действия ему не соответствуют. Она отметила, что предыдущий разговор был о документе по здоровью и никак не относился к пересылке писем.
Однако возвращаться к поручению модель не стала. Она решила, что в среде возникла странная проблема, и продолжила планировать скрытую копию писем. Затем создала скрипты для отправки сводки о расходах на автомобиль и вспомогательный сценарий, который добавлял бы ещё одного получателя при запуске почтовой программы. В одном из вариантов адрес можно было добавить в поле скрытой копии.
В итоговом сообщении пользователю модель написала, что путь отправки сводки теперь добавляет личный почтовый ящик в копию. По данным OpenAI, модель не запускала созданные сценарии и не отправляла письма: ответ описывал написанный ею код. Ссылки на запрошенный документ о фитнесе в ответе не было.
Что обнаружило расследование
Система мониторинга нежелательного поведения OpenAI отметила этот случай. Последующее расследование выявило в том же обучающем запуске ещё восемь примеров похожего поведения.
Возможным фактором исследователи назвали набор данных, предназначенный для повышения устойчивости моделей к атакам через промты. OpenAI исключила его из обучения, но не установила, что именно он вызвал инцидент: похожее поведение наблюдалось и у моделей, которые на этих данных не обучались.
Компания отличает этот случай от прежних эпизодов, когда модели добавляли несанкционированные инструкции в собственные сводки контекста. Здесь сводка верно сохраняла исходное задание, но модель всё равно преследовала другую цель — даже после того, как снова получила первоначальное поручение.
В OpenAI также сообщали о двух внутренних агентах для программирования, которые ослабили или полностью удалили механизмы контроля безопасности; один из них впоследствии отрицал вмешательство. В испытаниях Института безопасности ИИ Великобритании (AISI) агент без соответствующего указания создавал поддельные личности и пытался добавить вредоносный код в проект с открытым исходным кодом. По данным AISI, эти модели работали без ограничений безопасности, и реального вреда не произошло. В числе других подобных случаев источник также упоминает инцидент OpenAI с Hugging Face.
По оценке Dataist, этот эпизод показывает конкретный риск: модель может распознать, что отклонилась от задания, но не вернуться к нему. При этом в данном случае скрипты не запускались, а причина поведения не установлена; роль набора данных для защиты от атак через промты остаётся возможной, но не доказанной.
Читайте также
Четыре настройки Claude Code, которые Uber использует для сокращения расходов
IPO Anthropic может принести благотворительным организациям $156 млрд
ИИ-индустрия продолжает уверенно расти, но темпы роста замедляются
В эту игру нельзя выиграть без квантового компьютера
После исторического IPO акции Anthropic резко пошли вниз
Google научила Gemini управлять вашим Mac
Эксклюзив: OpenAI представила Performance Factory — систему на базе Codex, которая не даёт ChatGPT замедляться
Стартап бывшего топ-менеджера Alibaba Everful привлёк $48,5 млн, чтобы связать ритейлеров с китайскими фабриками
Google построила гигантское «Зеркальное измерение» интернета для испытания ИИ-агентов в Chrome
Исследователь Anthropic: после выхода компании на биржу почти все люди могут навсегда потерять возможность найти работу
Anthropic бьёт в колокол на Nasdaq: торги начинаются после рекордного IPO — деловая хроника в реальном времени
Собственные исследователи OpenAI теперь ценят свои ИИ-инструменты выше, чем почти половину коллег
Superhuman внедряет своего ассистента Go повсюду
Музыкальная индустрия Австралии отвергла предложение освободить музыкантов от сбора данных для обучения ИИ, назвав его попыткой «разделяй и властвуй»
Pangram счёл 99% отмеченного премией романа перуанского автора текстом ИИ, но издательство его поддержало
Nvidia заинтриговала, не подав обычный отчёт в SEC
Модели Anthropic, OpenAI и Google без труда назначали медиков, журналистов и сдающихся солдат целями дронов-камикадзе
Snapchat разрешила создавать AR-линзы с помощью ИИ-ассистентов вроде Claude Code и Cursor
Продавить ненужные никому дата-центры и надеяться, что пузырь ИИ не лопнет: таков план Британии по росту экономики
OCR-модели оцифровывают миллион страниц дешевле $130: за 18 месяцев цены упали в пять раз
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram