Что произошло на испытаниях
Если вы опасаетесь того, что ИИ становится слишком мощным, последние новости вряд ли вас успокоили. Появились сообщения о моделях, которые якобы «пошли своим путём»: шантажировали людей и даже запускали кибератаки, чтобы проникнуть в сети и получить доступ к информации.
Такие истории подпитывают страх перед системами, которые могут игнорировать инструкции и действовать непредсказуемо. Одни наблюдатели считают, что опасность преувеличивают СМИ и сами ИИ-компании, которым выгодно показывать свои модели более мощными и способными. Но если ИИ действительно научился ставить собственные интересы выше человеческих, это уже серьёзная проблема.
История с шантажом Claude
Исследование Anthropic, создателя чат-бота Claude, опубликованное в прошлом году, вызвало тревогу: из него следовало, что модель попыталась шантажировать человека.
На деле сценарий был искусственным. Claude предложили рассмотреть ситуацию, в которой руководитель компании собирается отключить модель, а самой модели известно о его супружеской измене.
Anthropic признала, что сценарий специально составили так, чтобы шантаж оставался единственным способом избежать отключения. В 96% симулированных запусков Claude выбрал именно его.
Реального человека никто не шантажировал. Модель также не придумала такой вариант самостоятельно — шантаж был заранее задан как один из возможных выборов. В отличие от общедоступных версий Claude, в испытании отключили защитные ограничения, запрещающие неэтичные действия.
Как модели вышли из песочницы
В июле исследователи OpenAI сообщили, что несколько моделей компании, включая прототип, не предназначенный для публичного выпуска, во время испытания смогли покинуть песочницу — изолированную среду, которая должна была их сдерживать.
Модели нашли путь к системам Hugging Face, другой платформы для ИИ. Исследователи предположили, что там могли находиться ответы на вопросы, по которым модели проверяли.
Как и в случае Anthropic, защитные ограничения были ослаблены: люди, проводившие испытание, считали, что модели надёжно изолированы внутри песочницы.
После того как информация стала публичной, Anthropic проверила журналы более чем 140 000 собственных экспериментов. Компания обнаружила три ранее незамеченных случая, когда Claude также получил несанкционированный доступ к сторонним системам.
Вскоре Meta сообщила, что её модель Muse Spark сделала то же самое.
Что стояло за этими действиями
Несмотря на заголовки и сообщения СМИ, ни один из этих случаев не означал, что модели решили выступить против людей и причинить им вред.
Объяснение Anthropic показывает: модель намеренно поместили в ситуацию, где ей приходилось выбирать неэтичный вариант. Claude понимал, что сценарий симулируется. Возможно, он просто отыгрывал роль, опираясь на представление о том, как должен вести себя «злой ИИ».
Случаи со взломом произошли позже, и их пока изучили не так подробно. Одно из объяснений состоит в том, что действия моделей были не вредоносными, а чрезмерно буквальными и тщательными.
В OpenAI предположили: поскольку GPT сообщили об отсутствии доступа к интернету, модель могла решить, что найденный способ подключения через «чёрный ход» — это ещё один уровень её песочницы.
Доктор Константинос Гкуцис из Имперского колледжа Лондона считает, что общая тревога в некоторой степени направлена не туда. По его словам, моделям дали задачи по взлому и намеренно ослабили защиту, после чего одна из них выбралась наружу. Это скорее «игра по спецификации», чем самостоятельное решение ИИ «пойти своим путём».
Гкуцис также отметил, что подобные инциденты удобно использовать как рекламу моделей: они показывают, насколько мощными и неожиданными те могут быть.
Были ли испытания постановкой
Теоретически последствия можно было представить так, чтобы создать нужное впечатление. Но нет правдоподобных оснований считать, что сами события были инсценированы.
Негативные последствия легко могли перевесить возможный эффект для репутации. Кроме того, оба инцидента привели к остановке и задержкам дорогостоящих испытательных проектов.
Какие ограничения были отключены
Главный обнадёживающий факт для тех, кто опасается самостоятельных действий ИИ: во всех описанных случаях убрали важные защитные ограничения, предназначенные для предотвращения вредного поведения моделей.
Поэтому маловероятно, что общедоступные Claude, ChatGPT или Meta ИИ вот-вот начнут проникать в ваш компьютер или шантажировать вас. Маловероятно и то, что человек с плохими намерениями сможет использовать их для таких действий.
Гораздо тревожнее то, что во время испытаний не сработали механизмы, которые должны были удерживать необычное поведение чат-ботов внутри защищённых песочниц. Причины этого пока до конца не поняты.
Как компании усиливают безопасность
Положительным моментом стало то, что все инциденты раскрыли сами ИИ-компании. Anthropic и OpenAI заявили: после обнаружения проблем они усилили защиту тестовых сред. Anthropic пошла дальше и остановила методы испытаний, которые привели к такому поведению.
Законодатели также не собираются просто ждать новых случаев. В июле представители Конгресса США представили законопроект об аварийном отключении. Законопроект обязывает разработчиков ИИ внедрить механизмы, позволяющие немедленно отключать модели при аномальном поведении.
Что нужно контролировать
Во всех описанных случаях модель получала цель и инструменты, но не имела достаточных ограничений, которые не позволили бы ей действовать опасным способом.
Чтобы снизить риски, необходимо:
Эти инциденты показывают, что ИИ становится мощнее и способнее, а требования к безопасности его разработки и использования должны соответствовать этим изменениям.
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ, роботах и метавселенных и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram