У открытых моделей есть реальные преимущества. Перевешивают ли они риски?

Почему нужны открытые модели

Закрытые модели, на которых работают ChatGPT и Claude, доступны через сайт, приложение или API. Открытую модель можно скачать напрямую: её устройство описано набором чисел — весами модели. Термин «модель с открытыми весами» отличает её от систем, для которых доступны и другие сведения, например подробности обучения.

Пока закрытые модели мощнее открытых: на момент публикации все восемь лидеров рейтинга Artificial Analysis LLM были закрытыми. Однако открытые модели отстают от них всего на несколько месяцев. Их можно запускать на собственном компьютере или жёстком диске, а при наличии навыков и ресурсов — переобучать, чтобы изменить поведение.

Для академических исследователей открытые модели почти необходимы. При работе с закрытой системой обычно остаётся лишь отправлять промты и анализировать ответы. Открытая модель позволяет изучать её внутреннее устройство и цепочку рассуждений, которую она использует перед ответом. Несколько открытых моделей можно объединять в новую систему, сжимать для повышения эффективности и дообучать для новых задач.

Открытые модели могут быть выгодны и бизнесу. Согласно недавнему докладу Mozilla, даже при запуске через внешнего поставщика они обычно обходятся дешевле закрытых. А если компании нужно обрабатывать чувствительные данные или закрытую информацию, локальный запуск на собственном оборудовании может помочь защитить работу.

Открытые модели также бросают вызов контролю ведущих лабораторий над тем, как большинство людей пользуется ИИ. Элизабет Сегер, старший советник по политике в Tony Blair Institute for Global Change, считает, что главный довод в их пользу — не допустить чрезмерной концентрации власти и сделать базовую технологию общественным благом. По её словам, вопрос о том, кто контролирует инфраструктуру для работы ИИ, становится столь же важным, как вопрос о контроле над информацией в интернете.

Будущее ИИ, считает Сегер, будет зависеть от роли открытых моделей. В одном из возможных сценариев передовые системы окажутся под контролем отдельных людей, компаний или правительств, а вместе с ростом их возможностей усилится и влияние этих групп на устройство мира. Например, самые совершенные модели для взлома сейчас создают в США. Поэтому именно американские компании и власти решают, смогут ли другие страны применять их для защиты своих киберсистем. Если США сохранят лидерство, теоретически может возникнуть ситуация, в которой они смогут взломать любую другую страну, а никто не сможет взломать их.

Открытые передовые модели могли бы изменить этот баланс. Хэмиш Хоббс, директор по политике в области ИИ в Centre for Long-Term Resilience, говорит, что мир, где у каждого есть безопасная и надёжная ИИ-система, которой он может доверять, кажется ему менее тревожным, чем мир, где людям предлагают полагаться на закрытую сверхразумную систему правительства и просто верить, что у неё есть план.

Однако открытые модели сами по себе не решат геополитические проблемы. Пол Азунре, сооснователь Ghana NLP — организации, создающей открытые инструменты ИИ для языков Ганы с ограниченным набором цифровых ресурсов, — отмечает, что компании могут использовать открытые модели, чтобы присваивать труд и знания менее обеспеченных стран и усиливать собственную власть. По его словам, компании выпускают модели в открытый доступ, наблюдают, как сообщество их применяет и меняет, а затем включают эти улучшения в свои продукты — без признания заслуг и оплаты авторам. Марк Цукерберг также называл возможность переносить улучшения сообщества в технологический стек Meta одним из преимуществ открытых моделей.

Азунре считает саму идею открытого исходного кода благородной и полезной, но отмечает, что на практике её нередко реализуют способом, при котором компании извлекают выгоду за счёт других.

Опаснее ли открытые модели закрытых

Последние месяцы показали, что безопасность остаётся сложной проблемой и для закрытых моделей. В июле ИИ-агенты OpenAI автономно взломали Hugging Face. Есть и угроза злоупотреблений со стороны людей: согласно недавнему докладу Anthropic о рисках, с помощью Claude провели несколько масштабных кибератак.

Закрытые модели уже несут риски, а открытые, вероятно, проще использовать во вред. Прежде чем передать запрос пользователя закрытой модели, Anthropic применяет автоматические системы, которые проверяют, связан ли он со взломом, биологическим оружием или другими угрозами. Если пользователь обходит фильтры, компания может закрыть его аккаунт. Но у скачанной модели, запущенной на личном устройстве, нет фильтра, который проверял бы безопасность промтов, и отозвать доступ к ней невозможно.

Есть и другие способы защиты. Компании обучают модели отказывать на вредоносные запросы. Поэтому даже если опасный промт проходит фильтры Claude, модель, скорее всего, всё равно откажет. В теории такой подход подходит и для открытых моделей: защита встроена в саму модель. Однако исследователи показали, что «безопасную» открытую модель удивительно легко переобучить так, чтобы она соглашалась на поведение, от которого её раньше отучили.

Из-за этих рисков некоторые считают, что открытые модели вообще нельзя выпускать. Например, модель, достаточно способная, чтобы пошагово объяснить синтез нового опасного патогена, в неподходящих руках может привести к катастрофе.

Но объявлять открытые модели опасными, а закрытые безопасными было бы сильным упрощением. Защита закрытых моделей далека от совершенства, и люди постоянно используют их во вред — на это указывает и доклад Anthropic. У открытых моделей меньше защит, но злоумышленники всё равно могут предпочесть закрытые: они доступнее, чем открытые модели сопоставимого уровня, для локального запуска которых нужны дорогие вычислительные чипы. Для переобучения потребуется ещё больше оборудования.

Некоторые эксперты, опрошенные MIT Technology Review, считают, что у открытых моделей есть преимущества в безопасности — как и у программ с открытым исходным кодом. Например, операционную систему Linux часто считают безопаснее закрытых аналогов: большое сообщество проверяет её на уязвимости и исправляет их. Исследователям так же проще совместно проверять открытые модели на проблемы безопасности, хотя исправить найденные недостатки труднее, чем переписать строку кода.

Открытые модели можно шире использовать и для киберзащиты. Инструмент, пригодный для взлома, может помочь и предотвратить его: защитники атакуют собственные программы, чтобы обнаружить уязвимости и исправить их. Anthropic показала, как это может работать с закрытыми моделями, запустив Project Glasswing. Он даёт нескольким доверенным компаниям доступ к самым мощным моделям Anthropic для киберзащиты. Остальным компаниям приходится справляться самим.

Открытые модели доступны гораздо шире. После атаки ИИ-агентов OpenAI Hugging Face подчеркнула, что для анализа взлома ей пришлось обратиться к открытой модели: запросы на эту тему срабатывали как опасные и блокировались фильтрами закрытых систем.

Несмотря на это, многие эксперты считают открытые модели более рискованными. Проверенная временем логика безопасности открытого исходного кода не обязательно применима к столь мощным нынешним и будущим моделям. Сегер отмечает, что сложнее всего оценивать отдельные катастрофические события: они могут быть маловероятны, но последствия окажутся разрушительными. Если сегодня выпустить чрезвычайно мощную открытую модель для взлома, злоумышленник может нанести тяжёлый ущерб технологической инфраструктуре прежде, чем кто-либо успеет укрепить защиту. Восстановиться после такого события может быть невозможно.

Риски кажутся ещё серьёзнее, если учитывать, что модели могут действовать самостоятельно. Взлом Hugging Face произошёл только потому, что модели OpenAI проверяли, сняв многие ограничения кибербезопасности. У открытых моделей защитных ограничений изначально меньше. Если такая модель начнёт вести себя нежелательным образом, из-за децентрализованного распространения будет трудно понять, что происходит. Поэтому те, кто всерьёз относится к возможной катастрофе из-за вышедших из-под контроля ИИ-агентов, в том числе Дарио Амодей, обычно скептически относятся к открытым моделям.

Можно ли сделать открытые модели безопаснее

Несколько лет назад спор сводился к выбору между двумя позициями: одни поддерживали открытые модели, потому что те могли снизить концентрацию власти, другие отвергали их из-за рисков для безопасности. Сейчас исследователи ищут промежуточные решения, в том числе разрабатывают способы снизить риски открытых моделей.

Большинство средств защиты закрытых моделей — фильтры и мониторинг — неприменимы к открытым. Но есть и другие идеи. Некоторые исследователи хотят обучать модели на данных, которые вообще не знакомят их с вредным или нежелательным поведением. Например, открытая модель могла бы никогда не изучать взлом. Однако очистить обучающие наборы от всех упоминаний такого поведения и при этом не ухудшить работу модели пока сложно.

Другие исследователи создают модели, устойчивые к переобучению, чтобы защиту, заложенную при обучении, нельзя было легко удалить. Идея моделей, устойчивых к вмешательству, состоит в следующем: если многократно пытаться переобучить модель на небезопасное поведение и усиливать любое сопротивление с её стороны, со временем можно получить систему, защищённую от подобных попыток. Но, согласно недавней препринтной статье, существующие методы пока не выдерживают всех атак, направленных на изменение модели.

Саад Хоссейн, инженер компании Deep Breathe, создающей ИИ для медицинской визуализации, и ведущий автор статьи, надеется, что в будущем методы станут эффективнее. По его словам, он настроен оптимистично, потому что эта область активно развивается и многие пытаются найти новые и более эффективные подходы.

Преимущества открытых моделей тоже не однозначны. Публикации одних только весов может быть недостаточно, чтобы ослабить концентрацию власти вокруг ИИ. Хоббс считает, что открытый исходный код действительно помогает распределить власть, но сам по себе не решает эту задачу. Открытые веса — лишь минимальный уровень открытости: исследователи смогли бы лучше изучать устройство моделей, если бы получали подробности об их обучении, включая использованные данные. Но компании обычно неохотно раскрывают такую информацию.

Для открытых моделей важна и доступность. Без вычислительных чипов, способных запускать сложные системы, одних весов недостаточно. Чипы стали чрезмерно дорогими: компании, занимающиеся ИИ, закупают их всё больше. Дэвид Грей Уиддер, доцент Школы информации Техасского университета в Остине, говорит, что открытость — это минимальная планка, а не предел того, что нужно сделать, чтобы технологическое будущее приносило пользу всем.

Полная открытость — не только веса, но и данные для обучения, а также доступное оборудование — может увеличить риски. Если передовые модели и оборудование для их запуска будут доступны каждому, потенциальным хакером сможет стать любой. Снизить риски может поэтапный выпуск: сначала модели остаются закрытыми, а затем становятся всё доступнее по мере подтверждения их безопасности.

Чтобы применять такой подход, придётся тщательно сопоставлять риски и преимущества открытых моделей. Некоторые эксперты считают их необходимой частью благоприятного будущего ИИ; в таком случае усилия по поиску баланса будут оправданы.