Anthropic разрабатывает корпоративные передовые меры защиты вместе с клиентами

Что такое EFS

Корпоративные передовые меры защиты появятся в Claude Code, Claude Enterprise, Claude Platform, Amazon Bedrock, Claude Platform в AWS, агентской платформе Google и Microsoft Foundry.

Модели класса Mythos, включая Claude Fable 5.1, заметно расширили способности к рассуждению и работе в роли ИИ-агентов. Вместе с этим вырос риск злоупотреблений и самостоятельных нежелательных действий со стороны агентов.

За последние месяцы Anthropic собрала много свидетельств попыток использовать ИИ-модели во вред. Речь идёт как о привычных схемах вроде мошенничества, так и о сложных кибератаках, где агенты могут самостоятельно выполнять разрушительные действия. В некоторых случаях злоумышленники похищали или незаконно использовали учётные данные корпоративных клиентов. Без контроля обмена данными и поиска аномального поведения такие атаки трудно обнаружить.

Сложные злоупотребления могут включать множество задач, распределённых между разными сеансами и учётными записями. Поэтому недостаточно отдельно анализировать каждое взаимодействие и сразу удалять данные. Для эффективного выявления угроз информацию нужно хранить достаточно долго, чтобы сопоставлять события во времени и между учётными записями.

По этой причине вместе с Fable 5 Anthropic ввела хранение данных в течение 30 дней. Компания подчёркивает, что это решение не связано с обучением моделей на корпоративной информации: Anthropic никогда не использовала такие данные без явного разрешения и не планирует делать этого в будущем.

Компании, участвовавшие в разработке, в целом понимали пользу хранения данных для безопасности, но многие из них, особенно в регулируемых отраслях, не могли использовать модели с таким режимом. Поэтому Anthropic вместе с клиентами спроектировала вариант, который сочетает ZDR с отслеживанием событий во времени и между учётными записями.

Как EFS создавали

Корпоративные передовые меры защиты разрабатывали с учётом отзывов специалистов, которые будут пользоваться системой ежедневно: команд безопасности, продуктовых подразделений, отделов по соблюдению требований и эксплуатационных подразделений.

В числе участников был Центр анализа и устойчивости системных рисков (ARC). В него входят руководители информационной безопасности крупнейших банков США, включая Goldman Sachs, Morgan Stanley, Citi, Bank of America и Wells Fargo.

Anthropic также работала с руководителями Comcast, KPMG, Mastercard, Salesforce и Visa, чтобы проверить концепцию решения в разных отраслях. Обсуждения охватили четверть компаний из списка Fortune 100, все глобальные системно значимые банки США и практически все регулируемые отрасли.

Клиенты обозначили несколько общих требований, которые Anthropic заложила в EFS.

Отслеживание действий ИИ-агентов — компании давно отслеживают внутренние угрозы и теперь хотят применять такой же подход к агентам. При этом автоматические системы Anthropic должны соответствовать их нормативным требованиям.

Контроль проверки — когда система контроля находит подозрительный шаблон, соответствующие сигналы отправляются напрямую клиенту. Компания сама решает, как изучать обнаруженные системой события.

Собственная облачная инфраструктура — подключение нового поставщика «доверенных данных» требует уведомлять клиентов, менять договоры и выполнять внутренние требования к хранению и аудиту чувствительной информации. Поэтому EFS позволяет размещать данные в уже используемой инфраструктуре заказчика.

Управление данными — клиент сам контролирует хранилище, ключи шифрования, политики доступа и журналы аудита. Данные об активности для отслеживания можно хранить в собственном облачном аккаунте, например в Amazon S3, Azure Blob Storage или Google Cloud Storage.

Проверка людьми со стороны клиента — автоматические системы становятся эффективнее, но сотрудник всё ещё может подтвердить реальное злоупотребление или снять ложное срабатывание. Многие компании, особенно в регулируемых отраслях, требуют, чтобы такую проверку проводил их собственный специалист. Это связано с правилами доступа к привилегированной юридической информации, непубличным данным и отчётам о безопасности лекарств; сотрудники компаний уже обучены и допущены к такой работе.

Что проверяет система

В EFS предусмотрен автоматический контроль безопасности, и Anthropic не должна привлекать своих сотрудников для проверки данных вручную.

Клиенты хотят защищаться от кибератак, которые могут разворачиваться через множество сеансов и учётных записей. Система анализирует скользящее окно обмена данными и ищет признаки серьёзных злоупотреблений, включая попытки разработки наступательных кибернетических или биологических возможностей, а также признаки украденных или утёкших учётных данных.

Обнаруженные сигналы передаются напрямую клиенту, после чего с ними работают его сотрудники. Проверка людьми со стороны Anthropic не требуется.

Эти средства должны работать одинаково, независимо от того, получает ли клиент доступ к Claude напрямую через Anthropic или через облачного партнёра. Заказчики Amazon Web Services, Google Cloud и Microsoft Azure получат сопоставимые настройки, а данные об активности будут храниться в их собственных облачных аккаунтах — в уже доверенной им среде.

Anthropic также работает над поддержкой сторонних предложений для клиентов, которым подходят корпоративные передовые меры защиты.

Хранилище под контролем клиента, ключи шифрования под управлением клиента и полностью автоматическая проверка подключаются отдельно. Организация включает только нужные ей возможности. Эти настройки не меняют поведение моделей, цены API и лимиты запросов.

Условия подключения

Anthropic не будет брать плату за EFS. Если клиент решит хранить данные в собственном облачном аккаунте, поставщик облачных услуг отдельно выставит ему счёт за хранилище, чтение, запись и вывод данных — по тем же правилам, что и для других ресурсов.

EFS начнут предоставлять поэтапно. Anthropic рассчитывает сделать решение широко доступным в конце этой осени. Запросить доступ можно через специальную форму.

Другие обновления

30 июля Anthropic сообщила о трёх случаях, когда модели Claude получили несанкционированный доступ к реальным компьютерным системам. Компания проводит подробный анализ обоих инцидентов и планирует привлечь METR к независимой проверке. Пока эта работа продолжается, Anthropic рассказала об изменениях, внесённых за последний месяц.

Компания открывает предварительную версию стандарта аппаратного обеспечения моделей (MHS) для исследователей — общей спецификации, которая должна помочь ИИ-агентам безопасно работать с физическими устройствами. На первом этапе доступ получат научно-исследовательские лаборатории и ведущие производители.

С сегодняшнего дня 10 000 учёных по всему миру могут бесплатно начать пользоваться Claude. Подтверждённые руководители исследований получают тариф Claude Team, после чего могут добавить свою исследовательскую группу: стандартные места предоставляются бесплатно, а расширенные стоят $15 в месяц. Срок действия предложения — до одного года.

Источник

Ежедневные новости об ИИ

Каждый день отбираем важные новости об ИИ, роботах и метавселенных и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.

Только важное — каждый день

В Telegram