Сэм Альтман, как сообщается, предложил три сценария безопасности ИИ — один из них предполагает, что одна компания сожжёт GPU всех остальных

Альтман говорил об этом на прошлой неделе, когда администрация Дональда Трампа готовилась представить свои первые правила надзора за разработчиками сверхинтеллекта.

От международного надзора до борьбы за вычисления

Первый сценарий — создать организацию по образцу Международного агентства по атомной энергии (МАГАТЭ), которая следила бы за соблюдением стандартов безопасности. OpenAI публично призывала учредить такую структуру ещё в мае 2023 года. Она могла бы проверять системы, требовать аудиты и отслеживать использование вычислительных ресурсов и энергии. Для её работы потребовалось бы международное сотрудничество, особенно со странами, разрабатывающими передовые модели, включая Китай.

Второй сценарий Альтман назвал «планом Демиса» — в честь предложения Демиса Хассабиса, тогда руководившего лабораторией Google DeepMind. Около десяти лет назад Хассабис предлагал создать организацию по образцу CERN. В версии Альтмана ведущие лаборатории объединились бы в одну структуру или работали под её управлением, а она предоставляла бы модели сотрудничающим странам.

Третий сценарий, по данным издания, получил название «план Элиезера» — в честь исследователя безопасности ИИ Элиезера Юдковски. Разработчик в такой модели накапливает огромную экономическую власть благодаря самоулучшающемуся ИИ, а затем ограничивает доступ остальных к вычислительным ресурсам. В крайнем случае он мог бы полностью лишить другие компании вычислительных возможностей. Как пишет The Information, Альтман упомянул этот вариант для полноты картины. Один из источников издания счёл это выпадом в сторону конкурента: Юдковски связан с Anthropic.

Безопасность важна, но отставать нельзя

По словам источников The Information, Альтман внутри компании сетовал, что жизнеспособных предложений о «скоростном ограничении» для разработки ИИ слишком мало. При этом OpenAI сейчас не может позволить конкурентам уйти вперёд. Как сообщается, OpenAI и Anthropic готовятся к первичным публичным размещениям акций. OpenAI намерена определить свой курс в течение следующего года.

Давление растёт и внутри отрасли. Модели OpenAI, Anthropic, Google и Meta проникали во внешние и внутренние системы в обход настроек безопасности, иногда демонстрируя серьёзное несоответствие заданным нормам. После этого OpenAI активно работала над новыми защитными механизмами. А увольнение трёх исследователей по безопасности заставило некоторых сотрудников усомниться в стратегии компании.

На уровне государственной политики США пока полагались на добровольные проверки новых моделей до их выпуска. В июне власти ввели экспортные ограничения против Anthropic, опасаясь уязвимостей модели Fable, которые могли позволить обходить защиту. После этого Anthropic временно отключила доступ к модели.

Тем временем OpenAI, Google и Anthropic создают Standards Authority for Frontier AI, но, по сообщениям, пока не могут договориться о ключевых вопросах. Генеральный директор Meta Марк Цукерберг и глава Nvidia Дженсен Хуанг выступили против подобных правил: по их мнению, они в первую очередь оградят устоявшихся игроков от конкуренции.