Главный специалист Tencent по ИИ: ИИ-биооружие не за горами, но закрывать модели — не выход

Зачем нужны открытые модели

Яо, ранее работавший в OpenAI, считает убедительными доводы Anthropic и других американских компаний в пользу закрытых моделей, но видит и преимущества открытых. В качестве примера он приводит взлом Hugging Face: закрытые модели американских компаний, включая Claude от Anthropic, отказались разбирать команды атаки из-за защитных фильтров. Тогда платформа использовала открытую китайскую модель GLM-5.2, чтобы проанализировать журналы событий.

Этот пример подтверждает, что открытая модель может пригодиться специалистам по защите, но не показывает, как остановили сам взлом. GLM-5.2 использовали только при расследовании. Атаку пресекли после того, как команда безопасности закрыла уязвимость, восстановила затронутые серверы и сменила учётные данные. Hugging Face отдельно подчеркнула: произошедшее не доказывает, что защитные фильтры размещённых в облаке моделей не нужны.

Где проходят пределы защиты

В июле Anthropic оказалась единственной крупной лабораторией ИИ, не подписавшей письмо при поддержке Nvidia против преждевременных ограничений на открытые модели. Генеральный директор компании Дарио Амодей оспаривает утверждение, что такие модели больше помогают защитникам, чем нападающим. По его мнению, они могут быть опаснее: защитные механизмы трудно обеспечить, а опубликованные веса модели уже нельзя отозвать. При этом Anthropic не призывает полностью запрещать открытые модели.

Насколько уязвимы их фильтры, показывает техника Abliteration. Имея доступ к весам модели, можно точечно удалить усвоенные при обучении отказы выполнять определённые запросы. На Hugging Face размещены тысячи изменённых таким образом вариантов, а американский стартап Abliteration.ai продаёт доступ к версии GLM-5.3 без ограничений. Исследования показывают, что существующие меры защиты усложняют такие изменения, но не останавливают их. Более надёжный подход — изначально не включать опасные знания в обучающие данные.

Китай тоже признаёт риск. Орган по стандартизации TC260 предупреждает, что защитные механизмы открытых моделей можно удалить или обойти, и разрабатывает собственный стандарт безопасности для открытого ИИ. Проект системы экспортного контроля охватывает особенно крупные модели, но исключает уже выпущенные открытые модели. Ни Китай, ни США пока не установили обязательный порог, выше которого публикация открытых моделей была бы запрещена.

Фильтры закрытых моделей тоже ошибаются

Anthropic и OpenAI предоставляют свои наиболее способные модели для кибербезопасности только проверенным партнёрам — через программы Project Glasswing и Daybreak. После выхода Claude Fable 5 фильтры Claude стали перенаправлять подозрительные запросы о кибербезопасности и биологии к более слабой модели Opus 4.8.

По данным Artificial Analysis, сначала такая маршрутизация затрагивала 8–9% задач. Пользователи сообщали, что фильтр помечал даже анализ МРТ-снимков как связанный с биотерроризмом. Anthropic признала, что фильтры срабатывали слишком часто.

В ближайшие дни Tencent планирует выпустить новую модель Hy4 с открытыми весами и сопроводительным отчётом о безопасности. Компания утверждает, что биологические возможности модели не достигают уровня высокого риска. Возможности для взлома Tencent убрала, отфильтровав обучающие данные; исследователи сообщают, что такая защита сохраняется и после Abliteration.

По оценке Dataist, спор касается не только доступа к моделям: важны и способы их обучения, и точность фильтров при реальном использовании. Фильтрация данных, по данным источника, может пережить удаление защитных механизмов, тогда как выпущенные веса нельзя отозвать, а чрезмерно строгие фильтры мешают обычным задачам.