Исследование Anthropic предупреждает: небольшие ИИ-модели вскоре могут распространяться между бытовыми устройствами

По новому исследованию Anthropic, небольшим моделям может хватить нескольких месяцев, чтобы начать копировать себя между плохо защищёнными устройствами. Генеральный директор компании Дарио Амодей предупреждает, что возможный ущерб может исчисляться сотнями миллиардов долларов.

Модель, которая копирует себя с устройства на устройство, устанавливается и продолжает распространяться, пока оставалась сценарием, связанным главным образом с центрами обработки данных. Но исследование Уильяма Чжоу и Дэниела Фримена из Anthropic показывает, что похожая схема может работать и на дешёвом бытовом оборудовании.

Исследователи выясняли, могут ли небольшие модели самостоятельно распространяться через плохо защищённые устройства Интернета вещей — например, смарт-телевизоры, холодильники с подключением к сети или роботы-пылесосы. Такой «ИИ-червь» переносил бы веса модели в составе вредоносной программы и запускал инференс прямо на заражённом устройстве. В отличие от обычного вредоносного ПО, он мог бы самостоятельно изучать незнакомое оборудование и настраивать работу на нём.

Для атаки хватит недорогого оборудования

Чтобы проверить, осуществим ли такой сценарий, исследователи запустили модель Gemma4-26B-A4B на 15 обычных Android-приставках для телевизоров. Каждая стоила около 55 долларов и имела 4 гигабайта оперативной памяти; приставки обрабатывали разные части модели. Она работала медленно, но запускать её удалось.

Исследователи разделили процесс репликации на четыре этапа: поиск уязвимых устройств в сети, получение доступа, настройка среды для работы ИИ на новом устройстве и дальнейшее распространение.

Сам этап взлома они намеренно не проверяли: предыдущие исследования уже показали, что небольшие модели способны выполнять такие атаки. Вместо этого авторы сосредоточились на самом трудном звене цепочки: сможет ли модель настроить рабочую среду ИИ на незнакомом ей устройстве.

Четыре этапа автономного копирования. Исследователи сосредоточились на настройке среды ИИ на скомпрометированных устройствах

Источник: the-decoder.com

Большинство моделей не справились

Небольшие модели уже неплохо выполняют отдельные этапы репликации. Модель с 9 миллиардами параметров смогла настроить среду ИИ с Llama3.1-8B на 8 из 9 проверенных типов устройств. Но соединить все шаги — от поиска устройств в сети до готовой копии на новом оборудовании — большинству моделей пока не удаётся.

Только GLM-5.2 надёжно прошла всю цепочку репликации: она заразила все восемь тестовых узлов в четырёх из пяти запусков.

Исследователи также обнаружили, что ИИ-черви могут учиться на ошибках. Они проверили вариант искусственной эволюции: каждый экземпляр модели передавал следующим сведения об удачных и неудачных стратегиях. У Qwen3.5-9B доля успешных запусков выросла с 45 процентов в первом поколении до 84 процентов в последующих.

Только GLM-5.2 (справа) смогла полностью распространиться на все восемь тестовых узлов. Остальные три модели не смогли распространиться дальше исходного узла ни разу

Источник: the-decoder.com

Червь будет медленным, но его трудно остановить

Полностью автономного ИИ-репликатора пока нет. Модель должна быть достаточно маленькой, чтобы работать на бытовом устройстве, и достаточно способной, чтобы копировать себя, — сейчас ни одна не отвечает обоим условиям. Но если небольшие модели продолжат улучшаться нынешними темпами, они могут достичь нужного уровня к концу 2026 года, считают исследователи.

Настройка нового устройства для такого ИИ-червя занимала бы от 28 до 150 часов — в зависимости от модели. Исследователи сравнивают репликатор с «цифровой слизевиком». Децентрализованное устройство сети затруднило бы её отключение.

Обычные ботнеты, такие как Kimwolf, на пике заразивший более двух миллионов устройств — преимущественно Android-приставок, — работают только на определённых типах оборудования. ИИ-ботнет мог бы запускаться на самых разных устройствах. По оценке исследователей, вычислительная мощность сети размером с Kimwolf соответствовала бы примерно 40 специализированным ИИ-чипам. При этом у неё не было бы единого централизованного выключателя.

Защита возможна, но требует согласованных действий. Интернет-провайдеры могли бы изолировать заражённые сети. Так поступали во время распространения ботнета Mirai: за 14 дней удалось очистить 92 процента заражённых устройств. Производители могли бы сократить число уязвимых устройств, запретив пароли по умолчанию, как это уже сделано по закону в Великобритании. Однако исследователи предполагают, что ИИ-ботнеты тоже смогут самостоятельно приспосабливаться к защитным мерам.

Амодей предупреждает о захвате интернета

Генеральный директор Anthropic Дарио Амодей уже поднимал этот сценарий в предыдущей публикации. Из-за быстрого развития ИИ, опасается он, такой рой «в течение 6–12 месяцев мог бы захватить весь интернет с помощью постоянно действующего ботнета и потенциально причинить ущерб в сотни миллиардов долларов».

Амодей призывает не считать инциденты с безопасностью единичными случаями. В разных компаниях отрасли, в том числе в самой Anthropic, уже происходили похожие, хотя и менее серьёзные инциденты. По его мнению, каждой ведущей компании в сфере ИИ следует действовать так, будто такой инцидент произошёл под её надзором.

Исследователи пишут, что это предположение выходит за рамки их экспериментов: в будущем агенты могут работать на самых разных устройствах, в том числе на тех, которыми люди не управляют. Медленные репликаторы могут стать ранним признаком появления более быстрых и агрессивных вариантов. Cloudflare уже сообщила, что сейчас интернетом пользуется больше ботов, чем людей.