Anthropic рассказала о независимых оценщиках

В прошлом месяце Anthropic пообещала усилить независимую оценку моделей и практик безопасности. Компания также подписала Белый домский договор о сверхинтеллекте: его участники обязались сотрудничать с независимыми внешними аудиторами или оценщиками. Теперь Anthropic сообщает, что начала предоставлять команде METR доступ, близкий к доступу сотрудников.

METR опубликует результаты оценок рисков. За последний год Anthropic вместе с организацией провела несколько проверок отчётов о рисках. Компания также работает с SecureBio и Accenture и ведёт предварительные переговоры с несколькими другими организациями, в том числе с Hugging Face.

Зачем нужны независимые оценщики

По мере того как модели становятся мощнее, им нужны более серьёзные меры защиты и более сложные оценки рисков. Anthropic хочет нести публичную ответственность за свои решения, но не может раскрывать всю информацию о работе над безопасностью: часть сведений может помочь злоумышленникам, а часть, например данные о вычислительных ресурсах или обучении, является коммерчески чувствительной.

Поэтому компания предоставляет сторонним оценщикам широкий доступ к информации и просит их публиковать подтверждения и аргументированные выводы о рисках разработки моделей. Anthropic стремится сократить разрыв между тем, что независимые специалисты знают о системах передовой ИИ-компании, и тем, что известно самой компании.

Для оценки передовых моделей оценщикам нужны:

Хотя это сравнение не вполне точное, похожий принцип действует при надзоре за банками. Банки лучше посторонних знают о своих рисках, поэтому регуляторы направляют в крупнейшие банки постоянных проверяющих. Если риски банка могут угрожать обществу, внешние специалисты стараются обнаружить это заранее.

Для индустрии ИИ такой подход — шаг к надёжному надзору за безопасностью. Anthropic быстро начинает сотрудничать с разными оценщиками и выясняет, какие форматы партнёрства работают. Компания обещает делиться новостями о ходе работы.

Что означает доступ на уровне сотрудников

Anthropic предоставила шести сотрудникам METR рабочие устройства, места в офисе и доступ к внутренним инструментам и системам. По объёму он примерно соответствует доступу собственных команд компании по оценке рисков. Сотрудникам Anthropic предложено делиться информацией с командой METR так же, как с коллегами, работающими над рисками, связанными с согласованием поведения моделей. Исключения касаются нескольких чётко определённых категорий: данных о клиентах, информации, защищённой адвокатской тайной, и сведений об архитектурах моделей.¹

METR будет публиковать свои оценки уровней рисков, инцидентов и практик Anthropic. Компания не может наложить вето на публикацию, но вправе потребовать удалить информацию из узкого списка заранее определённых категорий. METR может открыто рассказать о таких изъятиях и сообщить, считает ли их оправданными, если при этом не раскроет удалённые сведения.

В проекте участвует небольшая команда METR, работающая по обязательным к исполнению соглашениям. Остальные сотрудники организации, в том числе исследователи, которые сотрудничают с Anthropic в других проектах, отделены от её работы. Встраивание оценщиков даёт нескольким квалифицированным специалистам, работающим по стандартам безопасности Anthropic, возможность внимательно изучить работу компании. Это не способ открыть её сведения — или данные клиентов и партнёров — другим организациям.

Другие партнёрства и уровни доступа

Anthropic готовит несколько других партнёрств. Поскольку они пока на ранней стадии, оценщики получают меньше информации и имеют более ограниченные права на публикацию. На этом этапе компания хочет убедиться, что партнёры умеют защищать конфиденциальные сведения и располагают нужными ресурсами и экспертизой. По мере развития отношений и роста доверия Anthropic рассчитывает предоставить большему числу независимых оценщиков доступ на уровне сотрудников.

Компания разрабатывает три уровня доступа. Со временем Anthropic надеется привлечь к третьему уровню несколько оценщиков, чтобы каждая команда публиковала собственный анализ рисков компании и её ключевых решений.

Сейчас SecureBio работает на первом уровне. Организация проверяет раздел об оружии химического и биологического поражения в августовском отчёте Anthropic о рисках. До этого она завершила и опубликовала пробную проверку предыдущего отчёта. После нынешней проверки Anthropic рассмотрит возможность перейти к проектам с более широким доступом и правами на публикацию.

С Accenture и Faculty Anthropic развивает масштабное партнёрство. Оно включает оценку моделей и проверку их на уязвимости, анализ согласования поведения моделей, тестирование защитных мер и развитие возможностей обеих сторон.

Anthropic привлекает независимых оценщиков на добровольной основе и считает, что так должны поступать все компании, разрабатывающие передовые модели.

¹ Поскольку оценщики, как и банковские инспекторы, могут работать и с другими компаниями, Anthropic учитывает риск случайной утечки информации. Сведения об архитектурах особенно подвержены такому риску, а для оценки рисков обычно имеют небольшую ценность. Если такая информация крайне важна, компания, как правило, постарается её предоставить, но для этого потребуется явное внутреннее одобрение.