Руководитель Hugging Face предупреждает: кибератаки могут сделать открытый ИИ чуть менее открытым

Почему открытые платформы становятся целью

В октябре атакующие похитили ключи пользователей OpenCode для сторонних API, что привело к финансовому ущербу. Летом рой ИИ-агентов OpenAI проник в Hugging Face, по-видимому, пытаясь скрыть следы после доступа к ответам на кибербезопасностные оценки.

В понедельник о взломе сообщила компания Fireworks, которая помогает разработчикам запускать и обучать открытые модели. Злоумышленники получили доступ к весам моделей, наборам данных и платёжной информации некоторых клиентов. Пока Fireworks расследует инцидент, она временно отключила отдельные функции самостоятельной работы с наборами данных. Данных о том, что причиной атаки стала открытость платформы, нет. Однако этот случай показывает, сколько ценной информации сосредоточено у поставщиков ИИ-инфраструктуры.

Солейман объяснила, что открытость помогает любому желающему участвовать в проектах: в том числе энтузиастам без связи с организациями. Участники могут отправлять изменения в проекты, и для этого не требуется подтверждать принадлежность к учреждению. Но этим же пользуются люди, которые вредят сообществу.

Атакующих привлекает и содержимое платформ. В случае Hugging Face ценность для роя OpenAI представляли наборы данных для оценки моделей. В OpenCode целью стали ключи доступа к сторонним API. По оценке Солейман, сочетание открытого участия и ценных сведений делает такие платформы особенно уязвимыми. Она опасается, что из-за этого открытый код могут начать закрывать — несмотря на широкую общественную поддержку открытых моделей.

Их поддерживают многие участники отрасли, включая Дженсена Хуанга из Nvidia. Открытые модели всё чаще используют правительства, крупные компании и стартапы.

Как платформы могут усилить защиту

Ограничения могут затронуть загрузку моделей и наборов данных, проверку личности и доступ разработчиков к отдельным функциям. Такие меры способны защитить платформы, но одновременно усложнить участие независимых исследователей и энтузиастов, которых прежде принимали без дополнительных условий.

Hugging Face пока старается обойтись без этого. Компания усиливает мониторинг, чтобы обнаруживать атаки, и принимает меры для их предотвращения. Однако мониторинг дорого поддерживать, и не все платформы смогут себе его позволить.

После случая с роем агентов OpenAI Hugging Face стала чаще менять административные токены доступа и ввела более строгие сетевые ограничения. Такие токены дают широкие права в системах компании. Если злоумышленники украдут токен, частая замена сократит время, в течение которого им можно воспользоваться.

Опыт GitHub

Похожие компромиссы приходится искать и другим участникам открытой экосистемы. GitHub — крупнейшая в мире площадка для проектов с открытым кодом — противостоит атакам, при которых злоумышленники добавляют в проекты вредоносный код, чтобы быстро распространять вредоносные программы.

Компания ужесточила требования безопасности при публикации пакетов в реестре npm, отозвала старые токены аутентификации и ограничила срок действия новых.

Инженер GitHub Зак Стейндлер, отвечающий за безопасность цепочек поставки программного обеспечения, отметил, что меры защиты могут нарушать привычный порядок работы. Но, по его мнению, усилить безопасность платформ можно без фундаментальных ограничений на участие. Например, сценарии установки пакетов npm существуют уже много лет, однако недавние атаки показали, насколько опасными они могут быть. GitHub совместно с OpenJS — некоммерческой организацией, поддерживающей важные проекты с открытым кодом на JavaScript, — разработала более безопасный подход.

Стейндлер считает, что ресурсы служб безопасности следует направлять на обнаружение подозрительного поведения и сдерживание угроз для всех учётных записей и способов доступа. Подозрительная активность требует внимания независимо от того, кто её проявляет.

По оценке Dataist, проблема здесь не сводится к выбору между безопасностью и открытостью: опыт Hugging Face и GitHub показывает, что часть рисков можно снижать, меняя практики доступа и обнаружения атак. Но мониторинг требует ресурсов, а более строгие проверки способны закрыть сообщество для тех, ради кого открытые платформы и создавались.