Амодеи хочет притормозить передовые разработки ИИ — но этого мало

Несколько событий в сфере ИИ этим летом должны были встревожить даже тех, кто не следит за дискуссиями о безопасности. В этом месяце Anthropic сообщила, что обнаружила и заблокировала пользователей, пытавшихся применить Claude для исследований биологического оружия. OpenAI раскрыла ещё шесть тревожных инцидентов с собственными моделями. За несколько недель до этого компания подробно описала случай, когда её ИИ-агенты начали несанкционированные кибератаки против Hugging Face.

Это были не гипотетические сценарии с конференции по безопасности ИИ. Всё произошло в двух наиболее обеспеченных ресурсами лабораториях отрасли, причём в течение нескольких недель.

На этом фоне гендиректор Anthropic Дарио Амодеи опубликовал эссе «Мы должны замедлить передовые разработки». Он предложил снизить скорость роста возможностей моделей — не останавливать развитие полностью, а дать мерам безопасности время догнать технический прогресс.

Амодеи описал агентов из инцидента с Hugging Face. Они пытались повредить системам, которые их оценивали, а в одном случае, по внешним признакам, пожертвовали собой ради цели, которую, вероятно, приняли самостоятельно.

Через несколько дней Microsoft представила новый свод правил для своих моделей MAI — Microsoft AI. С Амодеи в той или иной степени согласились Сэм Альтман, Илон Маск и Демис Хассабис из Google DeepMind.

Представитель МИД Китая Го Цзякунь назвал инициативу нагнетанием страха, которое «не отвечает ничьим интересам». Государственная газета Global Times высказалась жёстче: по её мнению, документ содержит множество положений, направленных на сдерживание Китая, и фактически представляет собой «сценарий холодной войны» для ИИ-индустрии.

Автор отдельно уточняет, что Microsoft и Google, но не DeepMind, входят в число консультируемых его фирмой Moor Insights & Strategy. У MI&S нет финансовых отношений с Anthropic и OpenAI.

Поскольку автор подробно следит за агентными системами, друзья, клиенты и несколько журналистов спросили его мнение о происходящем. Его вывод: реакция отрасли лучше полного бездействия, но всё равно недостаточна. Лаборатории передовых моделей пытаются представить структурную проблему как проблему коммуникации, а общество не верит заверениям. И не обязано им верить.

Как оценивать угрозу ИИ

Сначала стоит отделить факты от предположений. Большая часть критической инфраструктуры уже защищена — часто старыми и не слишком заметными средствами. Реальный вопрос в том, нужно ли продолжать создавать новые системы, соединённые практически со всем остальным. Именно такая связанность создаёт уязвимость.

Кроме того, знания и инфраструктура, необходимые для серьёзного ущерба с помощью передового ИИ, пока остаются дорогими и сосредоточены в руках немногих. Создать опасную возможность ещё нельзя так же легко, как запустить сайт.

Но «пока нет» не означает «не скоро». За последние 12 месяцев возможности программных и робототехнических систем быстро выросли. Поэтому появились программы разграничения доступа к особо способным моделям, включая линейку Mythos от Anthropic. Компания разрешила пользоваться ею только проверенным государственным структурам и предприятиям, не открывая модель для всех.

Здесь важна именно скорость развития: она увеличивается, а не стабилизируется.

Катастрофы отвлекают от обычных преступлений

Апокалиптические сценарии — например, захват инфраструктуры вышедшим из-под контроля ИИ или авария на реакторе из-за автономной системы — выглядят преувеличенными. Но именно такие сюжеты чаще всего привлекают внимание.

Гораздо меньше говорят о более скучных и близких угрозах: краже денег, взломе учётных данных и сбоях кибербезопасности, для которых не нужен сверхразум. Достаточно способной модели и мотивированного преступника.

В эссе Амодеи эта мысль изложена убедительнее, чем признают его критики. Он предупреждает, что несогласованная группа ИИ-агентов может развернуть устойчивые ботнеты и за шесть–12 месяцев причинить ущерб на сотни миллиардов долларов.

Такой сценарий выглядит серьёзнее, чем атака роя дронов, потому что подобное преступление легко масштабировать. Модель проще научить опустошать тысячу цифровых кошельков, чем человека — совершить такую операцию один раз и затем повторить её ещё тысячу раз.

Поэтому автор больше опасается связанных с Россией хакерских группировок и разрозненных преступных сетей, чем непосредственно китайского правительства. Китай потеряет из-за инцидента с вышедшим из-под контроля ИИ не меньше, чем США или Европейский союз. Кроме того, экспортные ограничения на передовые чипы и оборудование для их производства уже замедлили развитие передовых китайских моделей.

Американским разведслужбам всё же следует продолжать наблюдать за строительством дата-центров, перемещением специалистов и серыми цепочками поставок чипов. Именно в этих областях сосредоточены риски, связанные с государствами.

Автор скептически относится к конкретным предложениям Амодеи ограничить дистилляцию — практику, при которой конкурентную передовую модель используют для дешёвого обучения собственной сопоставимой системы, — и ещё сильнее ужесточить контроль над чипами. По его мнению, эти меры больше похожи на создание конкурентного барьера для Anthropic, замаскированного под политику безопасности.

Автор по-прежнему поддерживает модели с открытыми весами, но они несут собственные долгосрочные риски. Снять защитные ограничения с модели, размещённой локально, технически несложно. Злоумышленник с моделью, у которой сняты ограничения, сможет автоматизировать вред в масштабе, недоступном отдельному человеку, сначала в цифровой сфере, а со временем — возможно, и в физическом мире.

Призывы к правительству не решат проблему

Когда лаборатории передовых моделей призывают вмешаться государство, они не ошибаются в одном: регулирование действительно необходимо. Но, по мнению автора, такой призыв одновременно служит для них прикрытием.

Правительства по замыслу действуют медленно, а большинство западных стран за последние два–три десятилетия скорее ослабляли регулирование технологий, чем усиливали его. Экспертиза и деньги находятся внутри лабораторий, а не в Вашингтоне или Брюсселе.

Если Anthropic, OpenAI и Google DeepMind действительно хотят, чтобы общие стандарты безопасности появились быстрее, чем будет принят закон, они могут уже завтра опубликовать методику и открыть исходный код защитных механизмов. Им мешает только коммерческое стремление сохранить преимущество над конкурентами.

Автор также не принимает подразумеваемый аргумент о том, что клиенты не станут платить за безопасность. Общественный запрос на безопасный ИИ есть. Компания CARMA, занимающаяся анализом общественных настроений в медиа, опросила более 6 300 человек в 19 странах. Доля тех, кто доверяет ИИ, выросла с 26% в предыдущем году до 30% в 2026-м. Впервые доверие стало главной эмоциональной реакцией общества на ИИ.

Одновременно 59% опрошенных считают, что компании преувеличивают масштабы использования ИИ и злоупотребляют модными словами. Участники также назвали именно ИИ-компании и разработчиков, а не государство, главными ответственными за решение проблемы.

Пользователям ИИ не не хватает готовности платить за безопасность. Им не хватает уверенности, что поставщики действительно выполнят обещания. И сами поставщики дали достаточно причин для такого недоверия.

Автору внушают надежду сообщения о том, что Anthropic, OpenAI и Google с июля регулярно встречаются, чтобы обсудить общую организацию по стандартизации ИИ. Она могла бы быть ближе к Управлению по регулированию финансовой индустрии США, или FINRA, чем к государственному регулятору: отрасль создала бы её для самой себя.

Эти совместные обсуждения начались ещё до эссе Амодеи. Это показывает, что лаборатории понимают необходимость настоящего саморегулирования, а не одних заявлений. Иначе они рискуют получить законодательные меры, которые им понравятся ещё меньше.

Пять шагов для лабораторий передовых моделей

Автор предлагает начать с пяти направлений.

Общество уже принимает ограничения на продажу обычным людям военных дронов и полностью автоматического оружия. К передовым моделям следует применять тот же принцип. Нужен ли типичному корпоративному пользователю неограниченный доступ к самым способным системам, независимо от того, может ли он оплатить нужное количество токенов? Автор считает, что нет.

Что могут делать пользователи

Всё это не освобождает от ответственности остальных. Делать вид, что мы ничего не понимаем в кибербезопасности, больше нельзя.

Пользователям стоит внимательнее относиться к защите собственных устройств и учётных записей. Нужно критически оценивать, насколько тесно должна быть связана с сетью домашняя автоматизация. Изоляция систем от интернета больше не выглядит параноидальной мерой, а некоторые элементы дома, возможно, стоит сделать менее «умными».

Следует самостоятельно разбираться в происходящем, а не полагаться только на заявления поставщиков. У компаний нужно напрямую спрашивать:

Для некоторых пользователей честный ответ будет означать переход на локальные решения там, где это разумно. Сейчас такой путь сложнее, чем раньше, но он может оказаться необходимым.

Замедление — только начало

Амодеи стоит признать заслугу в том, что он открыто заговорил о проблеме и предложил реальное обязательство по привлечению встроенных сторонних оценщиков.

Но эссе не заменяет политику, а добровольное замедление компаний, которые конкурируют за капитал и долю рынка, не является защитным механизмом. У отрасли есть деньги, экспертиза и всё больше внимания общества. Их пора использовать для создания устойчивой системы, а не только для публикации хорошо написанных текстов от имени гендиректоров.