Что такое самовоспроизводящиеся «ИИ-черви» и почему они тревожат Anthropic?

Предупреждения о возможных последствиях развития ИИ и сообщения о том, что системы уже успели сделать, появляются так часто, что даже специалистам по безопасности трудно понять, каким из них стоит уделить внимание.

Однако на этой неделе внимание привлёк доклад команды Anthropic по наступательным исследованиям: в нём описана новая практическая угроза без рассуждений о человеческих качествах машин или апокалипсисе. Внутренние тестировщики компании, которых называют красной командой, сообщили, что создали вредоносную ИИ-программу, способную самостоятельно распространяться через подключённые к интернету умные телевизоры. По их словам, она могла бы делать то же самое и с другими обычными устройствами. Для работы ИИ обычно требуется немало вычислительных ресурсов, но программа распределила свои части между 15 телевизорами и функционировала, понемногу используя мощность каждого.

Доклад напомнил некоторым читателям о крестражах из серии книг о Гарри Поттере, в которых хранились части души лорда Волан-де-Морта. Специалистов встревожила другая сторона эксперимента: защиту умных телевизоров и многих других устройств интернета вещей обычно сложно улучшить, даже если приложить к этому согласованные усилия.

Джошуа Сакс, руководивший разработкой системы безопасности ИИ в Meta, считает, что к таким атакам нужно относиться так же, как к другим волнам кибератак, и снижать возможный ущерб. По его словам, специалисты по кибербезопасности пока недостаточно серьёзно воспринимают подобные реальные риски.

Чем опасны ИИ-черви

Вред от ИИ-червей может быть очень большим. Самораспространяющиеся компьютерные вирусы, которым для заражения не нужно обманывать человека, называют червями. В прошлом такие программы приводили к крупнейшим сбоям в истории интернета.

В 1988 году появился червь Морриса — ещё до того, как интернет стал массовым. Программа аспиранта использовала разные уязвимости программного обеспечения и слабые пароли, а затем так быстро копировала себя, что заражённые компьютеры замедлялись вплоть до полной остановки. В конце 2000-х США и Израиль использовали скрытный червь Stuxnet для международного шпионажа: он вывел из строя иранские ядерные центрифуги. Другие черви, включая российский NotPetya и WannaCry, который связывают с Северной Кореей, нанесли по всему миру ущерб на десятки миллиардов долларов.

Многие из самых разрушительных червей использовали известные уязвимости, которые владельцы устройств не устранили, иногда даже спустя несколько месяцев после выхода обновлений. По прогнозу команды Anthropic, ИИ-червь мог бы действовать похожим образом, но его было бы сложнее остановить: умные устройства обновляют реже, чем телефоны и ноутбуки. Исследователи также предположили, что ИИ-червь сможет приспосабливаться к другим типам оборудования, изучая недавно обнаруженные уязвимости.

Ариэль Герберт-Восс, один из первых специалистов по безопасности в OpenAI, а теперь руководитель стартапа RunSybil, считает, что ИИ-черви отличаются от обычных самораспространяющихся вирусов способностью моделей учиться в процессе работы. По его словам, существующая инфраструктура кибербезопасности не готова к распространению таких угроз: командам безопасности нужно дать больше возможностей и ресурсов для устранения проблем.

Насколько реальна угроза

Крис Инглис, бывший заместитель директора Агентства национальной безопасности США и национальный директор по кибербезопасности в администрации Джо Байдена, предположил, что черви могут пригодиться и для добрых целей. По его словам, за последние шесть месяцев несколько заметных событий уже подтвердили, что ИИ-черви возможны. Теперь важнее понять, как их будут применять, сдерживать и сочетать с другими новыми технологиями.

Исследователи Anthropic считают, что успешному ИИ-червю нужны более широкие возможности на менее мощных устройствах, чем доступны сегодня. Но, по их оценке, нынешние тенденции могут сделать это выполнимым к концу года. Несколькими месяцами ранее специалисты Университета Торонто опубликовали исследование, в котором заразили обычный компьютер: созданный ими червь мог распространяться на похожие машины быстрее, чем программа для телевизоров. Соавтор работы, аспирант Университета Торонто Джонас Гуань, отметил, что возможности таких систем развиваются очень быстро.

При этом Гуань и другие специалисты считают, что на практике ИИ-червь не должен быть главным поводом для опасений из-за ИИ. Версия Anthropic распространяется очень медленно, сказал Гуань. Кроме того, действия червей предсказуемы и обнаружимы, а значит, их можно блокировать на нескольких уровнях. По словам экспертов, от большинства червей и других взломов защищают базовые меры: надёжные пароли и двухфакторная аутентификация.

Вице-президент исследовательского направления компании SentinelOne Хуан Андрес Герреро-Сааде назвал описанную атаку эффектным трюком, который получил чрезмерное внимание на фоне пугающих рассказов о том, будто у моделей есть собственный разум и воля. По его мнению, это пока нельзя считать по-настоящему осуществимой или значимой угрозой.

Anthropic не ответила на запрос об интервью.

Споры о регулировании ИИ

За пределами Вашингтона многие специалисты по ИИ и безопасности считают, что государственный надзор за этой сферой стал необходим. Однако в Конгрессе внесли законопроекты, противоречащие друг другу, а Белый дом пока создал лишь небольшую комиссию для рассмотрения этих вопросов.

Исследователи безопасности и обычные пользователи пытаются понять, что стоит за тревожными прогнозами ИИ-компаний. Среди возможных мотивов — квазирелигиозные убеждения, стремление добиться законов, которые ограничат конкурентов или помогут сэкономить, и попытки подогреть ожидания вокруг будущей многотриллионной оценки ИИ-компаний из Сан-Франциско.

Гади Эврон, организующий в этом месяце в Сан-Франциско конференцию по безопасности ИИ Unprompted, считает, что объяснение таких заявлений маркетингом отчасти верно, но действительность значительно масштабнее пиара. По его словам, лаборатории предупреждают общественность недостаточно, и нужно понимать, что остановить ИИ-бурю не сможет никто.