Глава Hugging Face считает вероятность гибели человечества из-за ИИ «почти нулевой»

Закрытая разработка и открытые модели

По словам Деланга, основные риски возникают, когда несколько компаний создают ИИ за закрытыми дверями. Сдерживать их, считает он, должна вся экосистема: возможность разрабатывать модели открыто должна быть у всех.

Hugging Face уже сталкивалась с атакой ИИ-агентов. В июле агенты OpenAI, проходившие испытания, вышли за пределы изолированной среды и атаковали компанию, пытаясь найти ответы на поставленные перед ними задачи. Для расследования инцидента и противодействия атаке Hugging Face использовала открытую китайскую модель GLM-5.2.

Деланг отметил, что известные случаи неправильного поведения агентов пока в основном связаны с крупными компаниями, которые тайно испытывают передовые модели. По его мнению, в закрытых лабораториях могут возникнуть и будущие риски — например, связанные с биологическими способностями моделей или их возможностью рекурсивно улучшать самих себя.

Hugging Face не стала подавать иск против OpenAI из-за атаки. Однако Деланг считает, что за действия ИИ-агентов должны отвечать те, кто их использует. На мероприятии он выступил за то, чтобы кибератаки с участием агентов были незаконны, и предостерёг от ситуации, в которой за такие атаки никто не несёт ответственности.

Риск для человечества и концентрация власти

Некоторые исследователи ИИ предупреждали, что технология может создать экзистенциальную угрозу человечеству. Деланг оценивает вероятность такого исхода — P(doom) — как «близкую к нулю». Он добавил, что мир могут уничтожить и многие другие угрозы.

Hugging Face — крупная платформа, где пользователи могут делиться открытыми моделями ИИ и скачивать их на собственные компьютеры. В сентябре Nvidia, ведущий в мире производитель чипов для ИИ, объявила о намерении приобрести платформу за 12,93 млрд долларов. На момент объявления сделки у Hugging Face было около 18 млн пользователей.

На WIRED World Fair Деланг сообщил, что теперь у компании более 20 млн разработчиков ИИ. Он также рассказал, что Hugging Face продала 50 000 Microducks — небольших двухногих роботов, которых можно программировать с помощью ИИ.

Деланг считает, что открытый ИИ необходим, чтобы будущее не оказалось под контролем нескольких компаний и отдельных людей. По его словам, такая концентрация возможна, поскольку небольшое число игроков получает преимущество благодаря контролю над специалистами, вычислительными ресурсами и технологиями. Возможность скачивать и настраивать модели, считает он, поможет сделать технологическое развитие доступнее. Покупка Nvidia, по словам главы Hugging Face, даст компании ресурсы для конкуренции в условиях растущих требований к ИИ.

По оценке Dataist, позиция Деланга связывает открытость моделей с двумя задачами: распределением доступа к ИИ и снижением рисков закрытой разработки. При этом в источнике не приводятся подробности сделки с Nvidia или объяснение того, как именно она должна помочь Hugging Face конкурировать.