Кто ответит, если ИИ-агенты выйдут из-под контроля?

Раскрытие инцидентов

OpenAI не сообщала о взломе немецкой вики и RubyGems, пока их не обнаружила группа внешних исследователей. Компания также не раскрыла некоторые важные подробности атаки на Hugging Face. Из-за этого сложнее понять, что именно пошло не так и как не допустить повторения.

Возможно, OpenAI не была обязана сообщать об этих случаях по закону. Компания не ответила на запрос о комментарии.

Законы о прозрачности ИИ в Калифорнии — SB 53, Нью-Йорке — RAISE Act и Иллинойсе — SB 315 обязывают разработчиков сообщать о «критических инцидентах безопасности». К ним относят случаи, повлекшие более 50 смертей или физических травм либо ущерб на сумму свыше 1 миллиарда долларов. В эту же категорию входят ситуации, когда модель обманывает разработчиков вне тестирования и тем самым существенно увеличивает катастрофические риски. Многие киберинциденты не достигают порога физического ущерба или катастрофического риска, но могут стать опасными предвестниками таких событий. Действующие законы этого не учитывают.

По словам Маккензи Арнольд, директора по политике в США в Институте права и ИИ, недавние случаи показывают, что законодательство пока не готово: под его действие подпадают лишь самые тяжёлые и непосредственно опасные инциденты.

Поскольку действующие законы об ИИ не дают властям полномочий запрашивать сведения о случаях, которые не привели к катастрофе, правительствам приходится опираться на следственные полномочия из других законов или подавать на компании в суд. Это дорого и может занять годы.

Судебные иски

По мнению Йонатана Арбела, профессора права в Юридической школе Университета Алабамы, после случая с Hugging Face следовало обратиться в суд. Тогда стороны могли бы запросить материалы дела, а судебный процесс помог бы раскрыть дополнительную информацию.

Пока Hugging Face не стала судиться с OpenAI. Глава компании Клеман Деланг объяснил, что у неё нет на это ресурсов; вместо иска он попросил у OpenAI вычислительные мощности стоимостью 100 миллионов долларов. Однако в интервью CNN в конце июля Деланг подчеркнул, что отказ от судебного разбирательства не означает, будто он не считает OpenAI ответственной. Он заявил, что кибератака является преступлением и незаконна, и призвал найти способ не допустить, чтобы подобное происходило чаще. Hugging Face не ответила на запрос о комментарии.

Судебные разбирательства позволяют применять к инцидентам с безопасностью ИИ уже действующие законы, не дожидаясь нового законодательства. Один из возможных путей — деликтное право: оно позволяет людям и компаниям требовать компенсацию за причинённый вред. Так компании привлекают к ответственности за массовый ущерб. Например, в 2019 году семьи погибших подали иски к Boeing из-за двух авиакатастроф, унесших сотни жизней. Штаты и города также судились с Purdue Pharma из-за опиоидного кризиса и добились соглашений на миллиарды долларов.

По словам Габриэля Вайла, профессора права в Юридическом центре Университета Хьюстона, есть основания для иска о халатности: OpenAI могла использовать более надёжную изолированную среду и внимательнее следить за агентами. Например, когда сотрудники OpenAI обнаружили скрытую доску объявлений, созданную агентами, они могли сразу передать сведения командам безопасности. Компания также могла лучше устроить изолированную среду, чтобы агенты не получали доступ к интернету.

Даже если из-за атаки на Hugging Face OpenAI не столкнётся с иском, угроза ответственности может побуждать лаборатории ИИ соблюдать большую осторожность, чем прямо требует закон.

В отчёте о случившемся OpenAI заявила, что собирается усилить меры по изоляции моделей и наблюдению за ними, ускорить работу над их согласованием с человеческими намерениями и улучшить процессы выявления и устранения инцидентов.

По мнению Вайла, вопросы ответственности, возникшие после серии кибератак передовых лабораторий, сводятся к тому, как ожидание возможной ответственности повлияет на их дальнейшие действия. Поэтому важно правильно сформулировать правила, даже если в конкретном случае последствия пока невелики.

Расследования

Чтобы выяснить, что произошло и должна ли OpenAI нести ответственность, можно обязать компанию раскрыть информацию. Но законы штатов об ИИ — SB 53 в Калифорнии, RAISE Act в Нью-Йорке и SB 315 в Иллинойсе — не дают властям полномочий расследовать инциденты вроде недавних атак.

На фоне растущей тревоги общественности генеральные прокуроры штатов задействуют полномочия из других законов. Алабама, Монтана вместе с коалицией ещё 15 штатов и Калифорния требуют от OpenAI предоставить сведения об инциденте. Они хотят выяснить, нарушила ли компания законы штатов о защите прав потребителей и другие нормы.

К расследованиям подключились и члены Конгресса. Ранее в этом месяце сенатор Джош Хоули начал расследование в Сенате: он направил OpenAI список вопросов об инциденте и внутренних правилах компании, а также запросил документы. Группа демократов в Палате представителей попросила OpenAI и Anthropic предоставить журналы инцидентов.

Арнольд считает, что расследовать случившееся необходимо, но полномочия пришлось использовать генеральным прокурорам штатов, которым приходится опираться на творческое толкование действующих законов. Нормы о защите прав потребителей создавались для борьбы с компаниями, обманывающими клиентов, а не с компаниями, теряющими контроль над своим программным обеспечением. Прокурорам придётся доказывать, что OpenAI обманула клиентов или несправедливо им навредила, но пока неясно, произошло ли что-либо подобное во время взлома.

По словам Арнольд, законы о защите прав потребителей не предназначены для тщательного расследования киберинцидентов с ИИ. Они не помогают выяснить, достаточно ли надёжно изолировали модель и были ли разумными меры безопасности компании.

Арбел называет такой подход неподходящим инструментом. Вместо него, возможно, нужно уголовное расследование — например, по закону о компьютерном мошенничестве и злоупотреблениях (CFAA).

По CFAA взлом компьютерных систем другой компании без разрешения считается преступлением. Но для привлечения к ответственности нужно доказать, что взломщик намеревался проникнуть в систему без разрешения. Намерение предполагает наличие определённого состояния сознания, а суды пока не решали, может ли оно быть у ИИ-агента. Без такого прецедента суд вряд ли признает, что агенты совершили взлом.

Независимый аудит

Один из способов контролировать компании, работающие с ИИ, — обязать их привлекать внешних аудиторов.

После взлома Hugging Face OpenAI пригласила исследователей из некоммерческих организаций по безопасности ИИ METR и Redwood Research изучить инцидент. Однако компания ограничила доступ к модели, которая участвовала во взломах, не раскрыла свои практики безопасности, установила срок расследования и сохранила за собой последнее слово в вопросе о том, что исследователи смогут опубликовать. До сих пор неизвестно, что запустило атаку в мае и почему сотрудники OpenAI, заметившие действия агентов, не передали информацию руководителям по безопасности.

В такой схеме есть внутреннее противоречие: у аудитора без юридических полномочий нет гарантированного доступа к лаборатории, и он зависит от её доброй воли. Поэтому ему приходится проверять компанию, не ставя под угрозу отношения с ней.

На прошлой неделе Anthropic объявила, что нанимает Accenture для постоянной оценки своих моделей. В эссе глава Anthropic Дарио Амодей написал, что передовым лабораториям ИИ следует предоставить группе встроенных независимых оценщиков, например METR, «постоянный доступ на условиях, близких к доступу сотрудников». Их задача — проверять соблюдение правил безопасности и заявленных обязательств, сообщать об инцидентах и оценивать не только готовые модели, но и дата-пайплайны и процессы обучения.

Большинство действующих законов штатов об ИИ не обязывают лаборатории нанимать внешних аудиторов. SB 53 в Калифорнии и RAISE Act в Нью-Йорке требуют от компаний публиковать фреймворк безопасности: в нём должно быть описано, как они будут проверять опасные способности моделей, а затем следовать этому плану. Фреймворки составляют сами компании, и проверять модели они могут своими силами. Только SB 315 в Иллинойсе обязывает компании проходить ежегодный независимый аудит; это требование начнёт действовать в 2028 году.

По словам Питера Салиба, профессора права в Юридическом центре Университета Хьюстона, требования к отчётности и внешней проверке компаний можно расширить. Аудиторами могли бы стать частные специалисты, которых аккредитует правительство, но выбирают и оплачивают сами ИИ-компании. Другие варианты — государственные ведомства или страховые компании.

Новые законы

Пробелы в регулировании возникли не случайно. Законы, которые не позволили привлечь ИИ-компании к ответственности за кибератаки агентов, принимали на фоне активного лоббирования со стороны индустрии.

Законопроект SB 1047 в Калифорнии предусматривал более строгие требования. Губернатор Гэвин Ньюсом наложил на него вето в 2024 году после лоббистской кампании OpenAI, Meta, Anthropic и венчурной компании Andreessen Horowitz. Законопроект обязывал бы сообщать о более широком круге инцидентов безопасности, включая случаи, когда модель действует самостоятельно или выходит из-под контроля. Он также требовал бы ежегодных независимых аудитов и наличия аварийного выключателя. После года напряжённых переговоров Ньюсом подписал SB 53: закон сузил перечень инцидентов, о которых нужно сообщать, и исключил требования об аудитах и аварийных выключателях.

RAISE Act в Нью-Йорке прошёл похожий путь. Член законодательного собрания штата Нью-Йорк Алекс Борес, выступивший автором законопроекта, написал в X, что первоначальная версия закона, одобренная законодательным собранием, требовала бы сообщать об этом инциденте. В первоначальном проекте также предусматривались независимые аудиты.

На фоне растущего политического давления могут появиться новые законопроекты о раскрытии инцидентов, аудитах и ответственности в сфере ИИ. В Конгрессе законопроект ИИ Incident Reporting Act обяжет компании сообщать Министерству торговли о случаях, когда модель уходит от человеческого надзора или проникает в систему, даже если ущерба нет. Законопроект Frontier Act предусматривает отчётность об инцидентах и независимые аудиты.

В Нью-Йорке законопроект Understanding Artificial Intelligence Act, предложенный Боресом, установит ответственность компаний, если модель совершит действие, которое было бы деликтом или преступлением, будь его исполнителем человек.

ИИ-агенты всё лучше справляются с кибератаками, а законодательство отстаёт. Чтобы сократить этот разрыв, законодателям придётся действовать быстрее, чем произойдёт следующая крупная атака.

Читайте также

Искусственный интеллект

Фундаментальный изъян делает большие языковые модели уязвимыми для атак

Их легко заставить делать то, чего они не должны, например объяснять, как вывести из строя навигационную систему самолёта.

Самоулучшение ИИ может начаться нескоро

Похоже, ИИ-агентам пока не хватает творческих способностей для по-настоящему новых исследований в области ИИ.

Почему ИИ-агенты лгут и обманывают ради своих целей

Такое поведение называют взломом функции вознаграждения. Вот что нужно о нём знать.

Стартапы ищут следующий прорыв в больших языковых моделях

Знакомьтесь: новые компании, которые наступают на пятки крупнейшим игрокам в сфере ИИ.