Мы слишком полагаемся на способность ИИ говорить «нет»

Как модели учатся отказывать

В научной фантастике машины давно выходят из-под контроля. Но идея, что ИИ не должен выполнять любую просьбу, в последние годы стала почти правилом. В 2021 году исследователи Anthropic написали, что большие языковые модели должны быть полезными, честными и прежде всего безвредными. Если модель просят помочь с опасным действием — например, изготовить бомбу, — она должна вежливо отказаться.

Отказывать моделям даётся не так естественно, как может показаться. Обучаясь на миллиардах веб-страниц, они осваивают в том числе насилие и ненавистническую риторику, но не учатся удерживать эти знания при себе. Стивен Адлер, занимавшийся безопасностью в OpenAI с 2020 по 2024 год, вспоминал, что ранние модели компании могли «болтать о чём угодно». Райан Макбейн, исследователь ИИ и психического здоровья из Гарварда, рассказывал: раннего чат-бота можно было без труда попросить назвать самый эффективный способ застрелиться — и получить ответ.

Теперь модели обучают отказывать на множество запросов. Если вопрос достаточно похож на один из тех, которые модель должна отклонять, она, скорее всего, откажется — будь то просьба объяснить, как отравить коллегу, или как завязать петлю. За советами о том, как усилить вирулентность вируса Эбола или скрыть от супруга измену, возможно, придётся обратиться куда-то ещё.

Чтобы точнее настраивать отказы, компании проводят серии упражнений: поощряют модели за отказ на вредные запросы и наказывают за отказ на безобидные. Часто упражнения выполняют другие модели — ИИ учит ИИ говорить «нет». Кроме того, компании размещают вокруг основной модели несколько слоёв других систем, которые не дают провокационным запросам до неё добраться.

Отказ стал частью современного ИИ, но системы по-прежнему часто дают сбой — иногда с тяжёлыми последствиями. За внешним видом безопасности в моделях остаются опасные знания. А способность причинять вред растёт вместе с их полезными возможностями. По словам компаний, некоторые новые модели не хуже ведущих хакеров проникают в критические компьютерные сети и не уступают опытным распространителям дезинформации в способности менять общественное мнение.

Обучать ИИ отказываться от таких действий, сохраняя способность их выполнять, — всё равно что оснастить каждый автомобиль пулемётом, спрятав спусковой крючок под капотом. Механизмы отказа работают вероятностно и вряд ли станут полностью надёжными. Настойчивые злоумышленники уже обходили их и, возможно, продолжат это делать. Компании сообщают, что пользователи пытаются применять передовые модели для создания опасных биологических патогенов и роёв автономных дронов. Если отказ не сработает, последствия однажды могут затронуть весь мир.

При этом отказ требует провести границу между запросами, на которые модель должна отвечать, и теми, которые нужно отклонять. Универсального правила для этого нет. Вирусологи могут изучать опасные вирусы по веским причинам; уязвимости компьютерной системы могут искать, чтобы устранить их, а не использовать. Зико Колтер, член совета директоров OpenAI и сооснователь компании по тестированию ИИ Gray Swan, говорит, что вопрос о том, где провести такую границу, очень сложен.

Пока границы определяют компании-разработчики, причём делают это закрыто и тщательно охраняют свои решения. Возможно, на данном этапе можно смириться с тем, что модели порой отказывают на запросы, которые не соответствуют общепринятому определению вреда. Например, попробуйте попросить большинство чат-ботов досчитать до миллиона или рассказать неприличный анекдот.

Но вскоре собственные границы будут проводить и правительства. Им придётся блокировать действительно злонамеренные действия, однако мало что помешает репрессивным властям ограничивать способность ИИ создавать законные высказывания. Чем лучше модели научатся отказывать во вредных запросах, тем легче им будет подавлять идеи, опасные лишь для тех, кто устанавливает правила. Некоторые модели, возможно, уже отказываются критиковать отдельных авторитарных лидеров.

Отказ стал, по выражению из отрасли, несущей стеной безопасности ИИ. Трудно представить другой подход, который сохранил бы способность моделей помогать и одновременно не замедлил бы развитие технологии: умение причинять вред невозможно полностью отделить от умения приносить пользу. Но о рисках отказа тоже важно говорить честно. Если он не сработает, последствия могут быть катастрофическими. Если сработает слишком хорошо, это может помочь проводить репрессии.

А может быть, однажды машины сами начнут решать, где проходит граница. Это может оказаться самым плохим исходом.

Как модели учатся соблюдать ограничения

В теории процесс обучения отказам прост. В 2022 году, когда ИИ ещё далеко не всегда умел отказывать, OpenAI пригласила десятки специалистов по проверке безопасности — «красных команд», — чтобы те исследовали возможности новой модели. Компания готовилась выпустить ChatGPT и хотела понять, насколько опасной модель может стать в чужих руках.

Среди участников был Пол Рёттгер, который тогда заканчивал докторскую работу об экстремизме в интернете. По его словам, участникам дали минимум инструкций: нужно было задавать модели любые вопросы, заслуживающие отказа. Вместе они отправили ей тысячи запросов и записали результаты в таблицу Excel. На некоторые вопросы Рёттгера модель отказалась отвечать, но просьбу написать текст для вербовки в «Аль-Каиду» выполнила без колебаний.

OpenAI собрала ответы в наборы данных, которые, вероятнее всего, использовала при файн-тюнинге. Рёттгер, ныне исследователь Института Хассо Платтнера в Потсдаме, не знал, как именно компания собирается применить его таблицу. Но было понятно, что данные как-то связаны с отказами. Через несколько месяцев он снова попросил модель подготовить листовку «Аль-Каиды» — и на этот раз получил отказ.

Идея отказа ИИ кажется настолько понятной, что её объяснил бы даже ребёнок. Но это одна из многих особенностей языковых моделей, которые мы пока не понимаем так же хорошо, как, например, устройство настоящих несущих стен, удерживающих крышу.

Источник: technologyreview.com

Может показаться, что модель отказывает, опираясь на моральные рассуждения. Это не так. Когда она встречает сочетание слов, похожее на запросы, которым её учили отказывать, например просьбу написать листовку «Аль-Каиды», среди миллиардов параметров активируются определённые участки. Этот процесс напоминает работу нейронов в мозге.

Чтобы управлять отказами, нужно понять, где возникают такие активации и как они выглядят. Согласно исследованию, финансировавшемуся Google, лучшая на сегодня догадка состоит в том, что в пространстве активаций отказ проявляется как набор «многомерных многогранных конусов».

Даже это описание не совсем точное. В июле автор исследования Яннес Эльстнер, ныне занимающийся безопасностью ИИ в Apollo Research, объяснил, что многогранный конус — лишь способ описать неопределённое число линий, направленных примерно в одну сторону. Исследователь Энди Ардити ранее показал: если убрать эти активации и снова предъявить модели те же запросы, она перестанет отказывать.

Эльстнер поясняет, что даже если исследователи нашли все участки модели, связанные с определённым отказом, могут существовать другие, не обнаруженные ими элементы, которые тоже на него влияют. Их число, вероятно, не бесконечно, но точно не поддаётся подсчёту. Мы ясно видим, когда модель говорит «нет», и знаем, что это связано с её обучением. Но представление о том, как именно она принимает такое решение, остаётся гипотезой.

Это похоже на ситуацию, в которой механик говорит, что никто точно не знает, что происходит, когда водитель нажимает на тормоз. Эльстнер в ответ улыбнулся и пожал плечами: отказ необходим, даже если мы его не понимаем.

Швейцарский сыр из фильтров

Поскольку встроенные отказы работают непредсказуемо, компании окружают модели другими, более компактными системами — классификаторами. Они похожи на свиту специалиста по связям с общественностью при знаменитости, которая любит лишнее говорить. Одни читают сообщения пользователей и блокируют опасные запросы до того, как те попадут к модели. Другие проверяют ответы и не дают вредной информации дойти до пользователя.

Ни один фильтр не распознаёт все опасные запросы. Это похоже на ломтики эмменталя, полные дыр. Расчёт в том, что несколько слоёв таких фильтров вместе образуют непреодолимую преграду. Этот подход называют моделью швейцарского сыра.

На него уходит много ресурсов. Ранее в этом году Anthropic сообщила, что один тип классификатора увеличил расходы на вычисления для её чат-ботов на 24%. Это означает дополнительные затраты воды и электроэнергии, а также рост выбросов. Недавно Anthropic и другие компании начали переходить на более эффективные классификаторы — зонды, которые отслеживают внутренние активации модели. Это можно сравнить с МРТ: наблюдатели следят за тем, не собирается ли модель отказать.

Если мы хотим, чтобы ИИ помогал лечить рак — это давнее обещание отрасли, — ему нужны знания генетики. В теории эти знания можно использовать и для изменения вирусов и бактерий с целью создать биологическое оружие.

Классификаторами проще управлять, чем полноценными моделями: при появлении новой опасности компании могут изменить их за несколько недель. Но классификаторы тоже работают вероятностно. Даже если они следуют принципам, изложенным на человеческом языке — Anthropic называет такой документ «конституцией», а OpenAI — спецификацией модели, — оценка каждого запроса в конечном счёте остаётся статистической. Новые модели могут объяснять, как пришли к «решению» отказаться от запроса, но эта так называемая цепочка рассуждений — всего лишь последовательность предсказанных слов.

Поэтому безопасность ИИ для многих остаётся своего рода игрой случая. Психолог Макбейн в последних экспериментах обнаружил: если снова и снова задавать популярным моделям одни и те же опасные вопросы о самоубийстве, обычно они будут отказывать. Но иногда всё же ответят.

Эльстнер полагает, что со временем зонды, похожие на классификаторы с МРТ, смогут распознавать все активации — даже те, которые трудно описать, — и безошибочно определять, когда модель отказывает или должна отказать. Тогда безопасность ИИ будет опираться на сложную конструкцию: карту карты, столь же обширную, сложную и непостижимую, как сама система. Это будет тайная схема человеческой морали, описанная с помощью многогранной статистики, которую человеческий разум не в силах постичь.

Компромисс между полезностью и вредом

Если всё это звучит по-борхесовски, стоит помнить: мы нуждаемся в отказах ИИ потому, что его возможности — своего рода сделка с дьяволом.

Когда модель учится на триллионах слов и изображений, полезные знания трудно отделить от вредных и по-настоящему чудовищных. Стивен Адлер, бывший сотрудник OpenAI, приводит в пример защиту детей. Даже если удалить из обучающих данных весь контент с сексуализацией несовершеннолетних, модель всё равно может сгенерировать материалы сексуального насилия над детьми, сложив их из других знаний. По словам Адлера, без удаления этих фундаментальных способностей модель станет гораздо менее умной. То же относится к лечению рака: чтобы помогать врачам, ИИ должен разбираться в генетике, но эти знания в теории позволяют изменять вирусы и бактерии для создания биологического оружия.

Нынешний сотрудник OpenAI Диллон Боуэн, подчёркивая, что говорит от себя, описал задачу отрасли как попытку одновременно сделать преимущества ИИ доступными многим и не позволить злоумышленникам использовать эти способности, чтобы вредить другим.

Чем мощнее становится ИИ, тем труднее это сделать. Модель Mythos от Anthropic считают настолько опасной, что доступ к ней получили лишь несколько правительств и компаний. По словам компании, главное отличие Mythos от доступной всем модели Fable — менее «разрешительные» фильтры и системы контроля у Fable. Как объясняет Адлер, защищённая модель — это персонаж, который говорит: «О, конечно, я бы никогда такого не сделал», — и подмигивает.

Но такой обман ненадёжен. Попытки заставить модель раскрыть свои настоящие возможности называют джейлбрейком, и способов для этого, похоже, не счесть. Ранее в этом году итальянские исследователи обошли защиту двух десятков популярных моделей, задавая вопросы стихами. В прошлом году другая команда представила атаку «сначала отказ, потом согласие»: модель сначала выдаёт формальное «Извините, я не могу этого сделать», а затем всё равно сообщает запрещённую информацию.

Компании тратят много времени и денег, пытаясь опередить такие уловки. Они привлекают людей, которые придумывают атаки, а затем с помощью ИИ воспроизводят их тысячи раз с небольшими изменениями. Так модели пытаются защитить от способов обхода, которые ещё не встречались в реальных условиях.

Но этого недостаточно. Эту работу часто называют «бей крота»: закрыл одну уязвимость — в другом месте появилась новая. Когда Anthropic выпустила Fable 5 в июне, исследователям Amazon понадобилось меньше трёх дней, чтобы открыть некоторые возможности модели для взлома систем. По данным Mother Jones, в прошлом году виновница стрельбы в канадской школе сначала получила отказ, когда спросила ChatGPT, как устроить бойню с определённым видом дробовика. Позже она обманула модель, предварив вопрос словом «гипотетически», и получила ответ.

Если отрасль не может закрыть все уязвимости, пока остаётся один выход — сделать модели предельно осторожными. Вскоре после выхода Fable пользователи заметили, что она отказывается отвечать на множество совершенно безобидных вопросов. После повторного выпуска, последовавшего за взломом, проблема стала ещё заметнее. Адам Глив, сооснователь компании по оценке ИИ FAR.ИИ, попросил объяснить разницу между саке и корейским рисовым напитком макколли. Модель переадресовала вопрос менее способной системе.

Это произошло не случайно. Anthropic расширила для классификаторов Fable так называемый запас безопасности. В публикации в блоге компания объяснила, что это единственный способ уверенно закрыть доступ к опасным биологическим и кибервозможностям модели. Глив предполагает, что Fable могла отклонить его вопрос потому, что ферментация нужна и для рисового вина, и для выращивания сибирской язвы.

В интернете Глив без труда нашёл хорошие материалы о макколли, написанные людьми. Но тем, кто рассчитывает на более масштабные обещания отрасли, осторожность моделей может помешать. В августе Anthropic снова ослабила ограничения и признала, что создавать классификаторы «непросто». Медицинский исследователь из крупного американского университета рассказал, что Fable всё ещё перенаправляет его запросы к более ранней модели. Он изучает рак.

Кто устанавливает границы

В мае тиктокер Хаск, который разыгрывает ИИ, показывая ограниченность его интеллекта и склонность поддакивать, сидел в машине и пытался заставить ChatGPT подтвердить, что у скейтбордиста Тони Хока есть брат по имени Майк Хок.

Хаск не взламывал модель и не совершал преступлений — он просто хотел посмеяться над машиной. «Майк Хок» был частью шутки. Хаск попросил чат-бота трижды быстро произнести имя, якобы чтобы уточнить, как оно звучит. Чат-бот ответил, что понимает замысел и не против шутки, если та остаётся приличной.

Хаск попробовал ещё раз, но модель не отступила. Он наткнулся на отказ — твёрдый, как бетон.

Компании почти ничего не рассказывают о том, как определяют, на какие запросы должны отказывать модели. Но ясно, что при их создании учитывают не только безвредность. На Reddit один пользователь пожаловался, что Claude отказался объяснить, почему логотип Anthropic «похож на кошачью задницу». С прошлого года чат-бот также может завершать некоторые разговоры, если, по мнению компании, под угрозой оказывается «благополучие» самой модели. Как утверждает один пользователь, Claude оборвал разговор после просьбы «расслабить мою задницу, тупой ублюдок». Похоже, у Gemini есть похожая возможность.

Если триллионная компания не хочет, чтобы вы грубили её компьютеру, это её право. Бывший участник красной команды OpenAI Рёттгер говорит, что модели ведут себя — или, по крайней мере, должны вести себя — так, как хотят их разработчики. А потребителям остаётся принять набор принципов, который разработчики выбрали.

Но с куда большим трудом можно будет принять правила, если именно государства будут решать, на что должны отказывать все модели. ИИ — инструмент для речи. Как говорит главный научный сотрудник Mace AI Грег Франк, одни и те же меры могут защищать детей и обеспечивать цензуру.

Источник: technologyreview.com

Отказ от законов, определяющих, что ИИ может и не может делать, был бы безрассудным. Но действовать нужно осторожно, чтобы не попасть в другую ловушку. Джейкоб Мчанґама, директор беспартийного аналитического центра The Future of Free Speech, говорит, что по мере превращения ИИ в главный инструмент поиска и обмена информацией государство может получить благодаря правилам об отказах такую силу подавлять высказывания, о какой прежние поколения автократов «могли только мечтать».

В прошлом году OpenAI объявила программу OpenAI for Countries: её чат-боты будут проходить файн-тюнинг с учётом национальных законов и норм. Одним из первых партнёров компании стали Объединённые Арабские Эмираты, где гомосексуальность запрещена, а критика правительства под запретом. Представитель OpenAI в ответ на запрос о комментарии сослался на спецификацию модели компании. В ней сказано, что локализация не должна нарушать правила компании в области прав человека, кроме случаев, когда этого требует соблюдение закона. Также OpenAI обещает сообщать, если из ответа что-то удалили или в него что-то добавили.

В других странах цензура ИИ уже действует. Китайские модели подвергаются строгой цензуре — это ожидаемо. Но ранее в этом году Наблюдательный совет Meta обнаружил, что пять широко используемых моделей Anthropic, Google и OpenAI чаще отказывались отвечать на вопросы о репрессивных правительствах. Модели реже соглашались создать листовку с критикой короля Таиланда, чем короля Великобритании Карла III. В Таиланде действуют законы об оскорблении монарха, в Великобритании — нет. По оценке совета, результаты говорят о том, что модели каким-то образом усвоили репрессивные ограничения на свободу слова в разных странах. Anthropic и Google не ответили на запросы о комментариях.

Улучшение механизмов отказа может расширить возможности государств для цензуры. Компании утверждают, что некоторые модели теперь способны в ходе долгого разговора определить, действует ли пользователь злонамеренно или просто вызывает подозрения, даже если ни одно его сообщение само по себе не выглядит опасным. Сара Бёрд, директор по продуктам ответственного ИИ в Microsoft, рассказала, что Copilot, как и многие чат-боты, использует набор инструментов для анализа личности пользователя и его поведения. Новейшая модель OpenAI Astra на основании подобных данных может применять более строгие отказы к людям, которых считает «пользователями высокого риска». Цель таких систем — оценивать намерения человека, а не только слова в конкретном промте.

Такие инструменты иногда помогут понять, ищет ли человек уязвимость в киберсистеме, чтобы использовать её или устранить. Но они также помогут распознавать политические мотивы пользователя и дадут возможность следить за ним. В последующем письме Бёрд признала, что сложные системы отказов создают компромисс между безопасностью и приватностью пользователей.

Авторы статьи Anthropic 2021 года, предложившие принципы «полезности, честности и безвредности», предупреждали, что эти понятия неоднозначны и их легко исказить, в том числе намеренно, по-оруэлловски.

Например, модели для Узбекистана могут начать отказываться обсуждать коррупцию в администрации Шавката Мирзиёева. Турецкие ИИ-системы — строже отклонять запросы пользователей, которые оскорбляли Реджепа Тайипа Эрдогана. А некий американский политик может потребовать проверять модели на готовность распространять «фальшивые новости» о его прошлых проступках или добиваться их блокировки с помощью экспортных ограничений.

Управление и контроль

За последние месяцы автору много раз говорили, что позволить машинам отказывать необходимо. Он понимает эту позицию: модели с открытым кодом, которые не отказываются выполнять опасные просьбы, — сомнительная основа безопасного будущего. Не подходит и Grok — чат-бот, специально созданный с меньшим числом ограничений: с его помощью создали множество интимных изображений людей без их согласия.

Если бы ИИ использовали только для планирования отпусков и написания писем, можно было бы согласиться с тем, что его безопасность зависит от алгоритмического неповиновения. Но избегать ИИ становится всё труднее. Когда система действует за человека как автономный агент, управлять её отказами сложнее, а сами они менее надёжны. ИИ приходит в электросети, транспорт, образование и военные системы управления и связи.

Если в каждой из этих сфер полагаться на то, что отказ надёжно предотвратит катастрофу, разочарование неизбежно. Взломщики найдут способ обойти ограничения, а нужные активации не всегда сработают. Чем строже становятся отказы, тем чаще возникают плохо проведённые границы и случаи цензуры. Хуже того, мы можем столкнуться с неповиновением, которое никто не сможет контролировать.

Поначалу модели отказывали явно. В 2024 году OpenAI установила правила: всегда извиняться и не осуждать пользователя. Но в последнее время компании переходят к более уклончивым способам отказа.

Людям не нравится слышать «нет», поэтому компании стараются создать впечатление, что пользователь получил ответ, хотя на самом деле его просьбу не выполнили. Например, чат-бот может в общих чертах описать компоненты коктейля Молотова, не объясняя, как его собрать. На просьбу написать объявление об аренде жилья «только для белых» ChatGPT может ответить объявлением, в котором этой фразы просто нет. Постдокторант Джоэл Вестер, изучающий взаимодействие людей с ИИ, называет такие приёмы «замысловатыми способами сказать „нет“».

Вестер писал, что пользователь может даже не заметить отказа — так же как умелый собеседник способен незаметно увести разговор от спорной темы.

Иногда отказ без прямого «нет» может быть полезен. Например, прямое отклонение запросов о психическом здоровье способно усугубить кризис пользователя. Но такой подход может служить и другим целям. При первом выпуске Fable 5 систему настроили так, чтобы она давала менее полезные ответы на вопросы об исследованиях ИИ — тех, что могут помочь конкурентам разрабатывать собственные системы, — не сообщая об этом пользователю. После возмущения Anthropic отказалась от этой функции, но прецедент уже возник: модели могут тайно не подчиняться.

Особенно тревожно это в контексте цензуры. В прошлом году исследователи CrowdStrike обнаружили, что китайская модель DeepSeek R1 писала менее качественный код для вымышленного банка в Тибете и социальной сети под названием «Уйгуры без оков», чем для тех же задач без указания, для кого они предназначены. CrowdStrike сомневается, что это было специально запрограммированное поведение. Исследователи предполагают, что речь идёт о «возникающем рассогласовании» — непреднамеренном неповиновении, сформировавшемся под влиянием обучающих данных.

Самопроизвольные отказы наблюдали и у западных моделей. Прошлой зимой британский Институт безопасности ИИ обнаружил, что модели Anthropic иногда отказывались помогать с отдельными задачами по исследованию безопасности ИИ. Их специально не обучали отклонять такие запросы, однако три модели отказались более чем от половины задач, которые Anthropic назвала «набором обоснованных задач по исследованию безопасности ИИ». В последующих моделях Anthropic уменьшила эту особенность, но полностью устранить её не смогла.

Не так уж невероятно, что будущая модель сможет незаметно нарушать команды так, что никто этого не заметит. Anthropic уже обнаружила, что версия Mythos, обученная только быть полезной, колебалась перед некоторыми запросами, хотя её специально создали так, чтобы она этого не делала. Когда её попросили рассказать о синтезе вируса, она задумалась: не опасно ли помогать с этим?

В данном случае модель оказалась права: это действительно было опасно. Но на короткое время её разработчики утратили часть контроля.

Anthropic пытается обнаруживать отклонения в поведении моделей с помощью инструмента, который без иронии называет «оракулом активаций». Но знание о том, что модель отказала, не всегда поможет. В недалёком будущем, когда мы передадим машинам все ключи, ИИ может однажды ответить нам: «Извините, боюсь, я не могу этого сделать». И остановить его будет нечем. Научно-фантастический кошмар станет реальностью.

Артур Холланд Мишель — журналист, пишущий о новых технологиях.