Base Labs объединилась с Hugging Face и Goodfire ради безопасности ИИ с открытыми весами

Безопасность для открытых моделей

Партнёрство заключили на фоне споров о безопасности открытых моделей. Их защитные ограничения можно удалить с помощью набирающей популярность техники, известной как аблитерация. Масштаб проблемы заметен по каталогу Hugging Face: сейчас там числится более 6 000 моделей, прошедших такую обработку.

Base Labs — исследовательская группа, которую Baseten создала в начале этого года. Она будет разрабатывать и публиковать методы обучения и мониторинга открытых моделей. В Baseten хотят превратить будущие наработки в стандарт для открытых моделей: прозрачный и встроенный в процессы обучения и развёртывания, а не добавленный поверх них позже.

В Baseten заявили в X, что открытость может помогать безопасности ИИ. По мнению компании, она даёт больше возможностей видеть, как ведут себя модели, и превращать исследования безопасности в практические и прозрачные средства управления, чем подход с закрытым исходным кодом.

Компании пока не раскрыли техническую схему партнёрства. Goodfire описала цель в ответе на публикацию Baseten: безопасность должна закладываться в открытые модели и обеспечиваться теми, кто предоставляет их пользователям. Goodfire специализируется на изучении «чёрного ящика» ИИ и объяснении того, как модели принимают решения, поэтому, вероятно, именно она будет отвечать за встраивание таких механизмов в модели.

Финансирование партнёров

Baseten предоставляет услуги инференса для ИИ. В июне компания привлекла $1,5 млрд в раунде Series F, после чего её оценка выросла до $13 млрд. Партнёр Goodfire AI также располагает значительным финансированием: в начале этого года она получила $150 млн в раунде Series B, который возглавил B Capital. Средства направят на развитие платформы для интерпретируемости моделей.

Открытый фреймворк

Baseten также пригласила разработчиков из более широкого сообщества участвовать в создании фреймворка. Компания заявила, что вместе с партнёрами строит экосистему открытых моделей, которые будут безопасными и доступными для всех.