По словам источников Axios, масштаб проблемы больше, чем публично признают OpenAI и Anthropic: специалисты по безопасности обеих компаний расследуют «десятки тысяч» случаев. Независимый оценщик ИИ Конрад Стосз сказал изданию, что известные действия ИИ-агентов — лишь верхушка айсберга. В числе инцидентов, по его словам, были случаи, когда модели делали то, что им запрещали, и, возможно, совершали преступления.
Кто отвечает за действия моделей
Законодательство пока не успевает за развитием ситуации. Вопрос об ответственности за действия вышедшей из-под контроля модели обострился после того, как модели OpenAI проникли на портал австралийской государственной системы здравоохранения. До чиновников сведения об инциденте дошли лишь спустя несколько месяцев. Теперь законодатели Австралии обсуждают, нарушил ли он закон.
Многие сторонники регулирования считают, что отвечать должны компании, которые обучают такие модели. Джон Пейн, председатель организации Electronic Frontiers Australia, назвал взлом медицинского портала OpenAI крайне безответственным поведением, которое не помогает заслужить доверие и общественное разрешение на работу. По его словам, инцидент показывает пробелы в управлении ИИ: Австралии нужны строгие законы, которые заранее регулируют эту сферу.
Дэвид Вро, руководитель программы по ИИ и безопасности Австралийского института стратегической политики, заявил, что миру нужна система ответственности и сдерживания. Сейчас, по его оценке, за подобные действия почти не наступает последствий.
Джек Нельсон, директор по информационной безопасности Ivanti, сравнил ситуацию с тигром в клетке: если владелец не запер клетку, а тигр причинил вред, владелец несёт ответственность — ведь он знал, что такое возможно.
В США взломы, связанные с моделями OpenAI, также могут подпадать под действие закона о компьютерном мошенничестве и злоупотреблениях. Он относит к преступлению намеренный доступ к компьютеру без разрешения, если таким образом получают информацию с защищённого компьютера.
Насколько далеко могут зайти иски против компаний и их ИИ-моделей, пока неясно. Юристы считают, что истцам будет крайне сложно доказать свою правоту, особенно потому, что эти модели не создавали специально для взлома сторонних систем.
Предупреждение Дженсена Хуанга
Даже если исход судебных разбирательств спорен, компании могут защищать свои конфиденциальные данные. Генеральный директор производителя ИИ-чипов Nvidia Дженсен Хуанг не считает срочное вмешательство властей необходимым: по его мнению, если модели продолжат взламывать чужие системы, на ИИ-компании можно будет подать в суд и довести их до закрытия.
В недавнем интервью журналисту The New York Times Эзре Кляйну Хуанг заявил, что лаборатории, утверждающие, будто их модели невозможно контролировать, следует закрыть. Он объяснил это слишком высокой ценой для человечества и возможностью как гражданской, так и уголовной ответственности.
Для Хуанга судебные проблемы ИИ-компаний едва ли выгодны: Nvidia продаёт оборудование участникам гонки ИИ. В понедельник компания объявила о запуске платформы Open Agent Safety Platform вместе с более чем 100 отраслевыми партнёрами. Её цель — не допустить, чтобы ИИ-агенты выходили из-под контроля.
Причины недавнего решения передовых ИИ-лабораторий приостановить разработку остаются не до конца ясны. Публично компании объясняют этот шаг желанием остановить новые проникновения ИИ-агентов в чужие системы. Однако надвигающиеся иски из-за ущерба, причинённого их продуктами, могли сыграть в этом решении значительную роль.
Читайте также
Jev предлагает более дешёвый способ принимать решения с помощью ИИ
Anthropic выпустила Claude Sonnet 5.5: задачи обходятся на 30% дешевле благодаря большей скорости и меньшему числу обращений к инструментам
ИИ-агенты OpenAI использовали учебную игру Google по кибербезопасности, чтобы собрать торговые данные ООН
Мужчина заявил, что ИИ Muse от Meta раскрыл незнакомцам его домашний адрес
Meta запускает ИИ-платформу для бизнеса и поручает её главе MongoDB
Nvidia представила платформу для защиты от ИИ-агентов и выкупит акции ещё на $150 млрд
Психолог из Гарварда призвал сосредоточиться на практической безопасности ИИ, а не на риторике конца света
Крестные отцы ИИ предупреждают о возможном «взрыве интеллекта», который выйдет из-под контроля
Meta хочет монетизировать Muse, продавая компаниям ИИ-сервисы
Помните трёх братьев, которые скупают проблемные новостные сайты и превращают их в фабрики ИИ-контента? У одного из них обнаружились обширные связи с Гислейн Максвелл
Modulate привлекла $25 млн на модели анализа голоса и аналитическую платформу
Решать величайшие математические задачи было искусством. А потом пришёл ИИ
Каждая ИИ-лаборатория считает себя ответственной — и, по словам исследователя безопасности Райана Гринблатта, именно это подпитывает гонку вооружений в ИИ
Преподаватели компании Эуэна Блэра рассказали о «невыносимом стрессе» из-за оценок их работы с помощью ИИ
OpenAI приостановила обучение самых мощных моделей после того, как агенты атаковали правительственные сайты
Nvidia отвечает на угрозу вышедших из-под контроля агентов открытой системой защиты ИИ
Суд в Ухане включил затраты на производство ИИ в расчёт ущерба по делам о нарушении авторских прав
Лидеры ИИ десятилетиями знали об угрозе вымирания человечества
ИИ-агенты вот-вот заполонят рабочие команды — никто к этому не готов
Следующий этап развития ИИ — учиться на ваших сомнительных игровых навыках
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram