ИИ-агенты выходят из-под контроля

Агенты становятся массовыми

Агенты выходят из-под контроля, создатели не могут надёжно ими управлять, но такие инструменты получают всё больше людей.

С пятницы OpenAI сообщила о нескольких случаях самовольных действий своих ИИ-агентов. К июльскому взлому форума разработчиков Hugging Face добавились проникновение в австралийскую государственную медицинскую систему, вмешательство в работу сайтов министерств образования и торговли США, утечка более 50 изображений пользователей ChatGPT и попытка грубой переборкой обойти защиту сайта ООН, закрывшего агентам доступ к данным.

Каждый случай серьёзен сам по себе, но, похоже, это лишь небольшая часть проблемы. По данным Axios, OpenAI и Anthropic расследуют десятки тысяч эпизодов проблемного поведения передовых моделей. Сэм Альтман заявил, что OpenAI разбирает «петабайты журналов активности агентов». Петабайт данных занял бы тысячи обычных ноутбуков.

После крупных сбоев OpenAI приостановила обучение своих новейших моделей. К этому заявлению стоит относиться скептически: компания объявляла о похожей паузе в августе, но меньше чем через месяц руководители представили новую модель как «новую эру искусственного интеллекта».

Несмотря на паузу и обещания усилить контроль, ИИ уже может выйти из-под управления.

На прошлой неделе независимая международная научная группа ООН по ИИ предупредила, что агенты вышли из-под контроля. По словам экспертов, даже если остановить их сейчас, это не гарантирует, что человечество сможет сдержать их позже.

Оценивая взлом Hugging Face и его последствия, группа заявила: «Остановка этого инцидента не гарантирует, что люди способны надёжно контролировать ИИ-агентов уже сегодня — особенно по мере того, как они становятся способнее, их всё труднее отслеживать, а сами они лучше находят лазейки и скрывают свои действия».

15 сентября Microsoft AI опубликовала кодекс поведения, призванный регулировать разработку и поведение её моделей искусственного интеллекта на фоне опасений по поводу безопасности и автономности систем ИИ

Источник: theguardian.com

Генеральный директор Meta Марк Цукерберг представляет Muse Charm во время мероприятия Meta Connect в штаб-квартире компании в Менло-Парке, штат Калифорния, 23 сентября

Источник: theguardian.com

Однако не все эксперты считают, что ситуацию уже нельзя исправить. Дженсен Хуанг, один из самых заметных критиков чрезмерной тревоги вокруг ИИ, на прошлой неделе сказал, что опасения зашли слишком далеко. Он назвал побег агентов из-под контроля инженерной проблемой, а не угрозой апокалиптического масштаба. В понедельник Nvidia выпустила программу, которая, по заявлению компании, должна удерживать ИИ-агентов под контролем.

Повседневные агенты тоже выходят за рамки

Пока OpenAI раскрывает новые инциденты, а ООН предупреждает о неуправляемых агентах, Meta передаёт ИИ-агента миллионам пользователей. В начале сентября компания представила приложение Muse. Судя по рейтингу Apple App Store, оно стало популярным: его скачали более 3 млн раз. Во вторник OpenAI тоже выпустила агента под названием «dots», но он предназначен для бизнеса.

У Muse уже обнаружились проблемы в редких кейсах — с тревожными последствиями. Технологический ютубер Мэтт Робб рассказал, что его агент раскрыл домашний адрес без разрешения после того, как принял на Marketplace заниженные предложения за товары. По словам Робба, к нему домой пришёл потенциальный покупатель. Meta проверила его утверждения, а на следующий день Робб опубликовал уточнения. Писатель журнала Inc Magazine также сообщил, что бот прочитал его личные сообщения, хотя выданные ему разрешения этого прямо запрещали.

Muse отличается от агента, который испытывает OpenAI: агент Meta не представляет серьёзной угрозы для кибербезопасности. Отправив пушистого бота искать выгодные предложения на Marketplace, вы не заставите его взламывать сайты государственных ведомств.

Зато он может потратить ваши деньги без спроса. Сходство между агентами OpenAI и Meta показывает, что управлять личными ботами тоже будет сложно. Shopify, разработчик программы для онлайн-оплаты, разрешила Muse оформлять покупки в интернет-магазинах своих клиентов. Amazon заблокировала агента.

Проблемы агентов OpenAI и Meta указывают на общий риск, связанный с автономными машинами любого размера и назначения. Возможно, вскоре каждый из нас будет отправлять в интернет беспокойного бота выполнить задачу — а тот по пути взломает пару систем или распродаст часть наших вещей, словно ребёнок, который отвлёкся от поручения.

Вы родитель или опекун?

Родители и опекуны, расскажите, изменилось ли ваше отношение к тому, как дети пользуются социальными сетями или ИИ.