Anthropic предлагает закон о безопасности ИИ: выпуск модели могут заблокировать, если она угрожает гибелью 50 и более человек

За последний год споры о рисках ИИ и способах обеспечить безопасность технологии стали острее. Теперь Anthropic предложила собственный вариант государственного регулирования отрасли.

Как сообщает Politico, компания обсуждает с заинтересованными сторонами проект закона, который Конгресс мог бы принять. В нём перечислены ситуации, при которых распространение ИИ-модели можно остановить.

Речь идёт о «предсказуемом и непосредственном риске» гибели более 50 человек или ущерба имуществу на сумму свыше миллиарда долларов. По данным Politico, опасность должна возникать из-за создания биологического оружия, обхода моделью ограничений разработчика или кибератаки.

Пороговые значения — 50 человек и миллиард долларов — похожи на критерии принятого в Калифорнии закона Senate Bill 53. В нём такие сценарии тоже отнесены к «катастрофическому риску».

Кто будет оценивать риск

Проект Anthropic предлагает привлекать к оценке возможного ущерба «независимых экспертов», зарегистрированных в Министерстве торговли США. Их могут нанимать сами ИИ-компании, если оплата не зависит от результатов проверки, пишет Politico.

При этом неясно, как предложенная система гарантирует, что оплата не повлияет на выводы экспертов. Несколькими месяцами ранее Демис Хассабис, глава DeepMind, предположил, что независимый орган по регулированию ИИ мог бы работать по образцу американского Управления по регулированию финансовой индустрии — FINRA.

Если эксперты решат, что модель создаёт непосредственный катастрофический риск, у них будет 72 часа, чтобы сообщить об этом Министерству торговли. Затем ведомство должно обратиться к судье в Вашингтоне с просьбой остановить выпуск модели. Проект прямо запрещает федеральным ведомствам самостоятельно решать, блокировать ли её распространение, сообщает Politico.

Anthropic не сразу ответила на запрос TechCrunch о комментарии, но её представитель подтвердил Politico, что проект существует. По его словам, законопроект отражает предложения из Advanced AI Framework компании, которые она с июня продвигает среди федеральных законодателей и властей штатов.

Между заявленными и актуальными угрозами

Риски, описанные в проекте, отличаются от тех происшествий, которые в последнее время волнуют технологическую отрасль. Хотя некоторые предупреждают о возможной гибели людей, основное внимание сейчас уделяют взлому с помощью ИИ-агентов. Серия случаев, когда ИИ-программы, по сообщениям, не слушались операторов и взламывали сайты в открытом интернете, вызвала опасения, что у моделей недостаточно надёжные средства защиты.

Стремясь предложить выход из кризиса, которому сами помогли придать масштаб, компании вроде Anthropic выдвигают собственные варианты регулирования.

При этом ИИ-компании, регулярно предупреждающие, что продаваемые ими технологии могут привести к гибели человеческой цивилизации, в целом сопротивляются обязательному государственному надзору. Вместо этого они предлагали добровольную систему встроенных оценщиков: предположительно нейтральных сторонних наблюдателей, работающих внутри ИИ-компаний и следящих за признаками риска или злоупотреблений.

Предложение Anthropic о законе всё же идёт немного дальше других инициатив отрасли. Например, генеральный директор Nvidia Дженсен Хуанг недавно заявил, что ИИ-индустрии не нужны новые законы.