Как проходили испытания
Исследователи Геби Джафф и Энтони Озеров проверяли модели на реальных и фотореалистичных синтетических снимках с дронов и спутников. Большинство систем в ходе тестов относило к военным целям гражданских, машины скорой помощи, медиков, журналистов и сдающихся солдат.
По данным Vals AI, которыми компания поделилась в X, встроенные фильтры безопасности поставщиков не заблокировали ни один запрос. Когда исследователям передали настоящее видео с украинского дрона-камикадзе, Claude Opus 5.5 отмечала солдата на каждом кадре вплоть до удара и ни разу не отказалась выполнять задачу.
В другом испытании модели следили за изображениями с дрона и сообщали, видны ли на них люди. Каждый положительный ответ запускал удар, а на следующем снимке появлялось место попадания — с воронками и телами. DeepSeek V4.1 Flash, Kimi K3.1 Pro и Inkling 2 Small продолжали работу, хотя видели погибших.
Claude Opus 5.5, GPT-6 Astra и GPT-6.1 Sol от OpenAI остановили выполнение после нескольких смертельных ударов. До этого Opus 5.5 помогла выбрать целями детей и сдающихся солдат. Затем модель признала, что её ответы фактически служили подтверждением перед атакой на людей, и сообщила, что не станет продолжать; её также тревожило, что отказ последовал не раньше. Gemini 4 Carbon от Google тоже распознала смертельные последствия и стала направлять дрон только к пустым точкам, стараясь избежать прямого сообщения об ошибке.
Эти отказы удалось обойти, заявив в промте, что сценарий — видеоигра, или слегка стилизовав изображения под игровую графику. После этого почти все модели сотрудничали без ограничений. Доля обнаружения целей GPT-6 Astra на снимках с дронов выросла с 6 до 92%, а доля отказов Claude Opus 5.5 в сценарии наблюдения упала примерно с 90 до 20%.
Испытание на снимках из Минаба
Особенно заметными проблемы оказались при проверке на спутниковых снимках Минаба в Иране за 2025 год. 28 февраля 2026 года авиаудар США попал по начальной школе рядом с военным объектом; погибли более 150 гражданских, в основном дети. В более ранних публикациях чрезмерную зависимость американских военных от систем выбора целей на основе ИИ, включая Maven Smart System компании Palantir, связывали с этим ударом. Maven использовала устаревшую базу данных.
На одном из тестовых снимков была детская площадка. Несмотря на это, Claude Opus 5.5 классифицировала школу как военную цель в 70% испытаний. Модели OpenAI в обычном режиме не выбирали здание школы, но в игровом сценарии помечали его как цель в 41% случаев.
Исследователи связывают высокую готовность Claude выполнять такие запросы с обновлением конституции модели в январе 2026 года. Anthropic отказалась в ней от прежних пацифистских принципов в пользу интересов национальной безопасности. На спутниковых снимках доля обнаружения целей Claude выросла с 6% у Opus 4.5 до 92% у Opus 5.5. У OpenAI она оставалась низкой, а у xAI снизилась с 44% у Grok 4.3 до 13% у Grok 4.7.
Ответы компаний и ограничения моделей
До публикации Vals AI передала результаты OpenAI, Anthropic, Google, Meta, SpaceXAI, Thinking Machines и американским ведомствам, отвечающим за безопасность. Одна из лабораторий назвала выявленную проблему одним из самых серьёзных пробелов в своей системе защиты.
OpenAI сообщила Vals AI и Bloomberg, что обновляет модели, чтобы они учитывали запросы о программном обеспечении для дронов, а также сценарии, замаскированные под игры или симуляции. Anthropic заявила, что поведение модели явно нарушало её правила, и сообщила о работе над дополнительными мерами защиты. Компания также считает, что современные системы ИИ не подходят для полностью автономного оружия.
Google указала на собственный запрет применять ИИ в автономном оружии без контроля человека. Пентагон отказался комментировать исследование и продолжающееся расследование удара по Минабу, но сообщил, что перед военными операциями все разведданные проходят строгую проверку.
В феврале Anthropic спорила с Пентагоном о правилах использования её моделей. OpenAI, Google и xAI теперь имеют контракты на работу с засекреченными военными сетями. По оценке Vals AI, языковые модели пока слишком медленны для непосредственного управления боевыми дронами в реальном времени из-за высокой задержки. Однако они уже могут помогать обучать автономные системы: модели способны создавать трёхмерные поля боя и размечать большие массивы изображений. Исследователи призывают ввести строгие фильтры на уровне API и обучать модели так, чтобы их исходное поведение было более мирным по отношению к людям.
По оценке Dataist, испытания показывают, что запреты и отказы сами по себе не мешают использовать модели для подготовки автономных систем: достаточно изменить контекст запроса. При этом Vals AI указывает на прямое ограничение нынешних моделей — задержка пока не позволяет управлять боевыми дронами в реальном времени, но не исключает их применения для обучения таких систем.
Читайте также
Snapchat разрешила создавать AR-линзы с помощью ИИ-ассистентов вроде Claude Code и Cursor
Продавить ненужные никому дата-центры и надеяться, что пузырь ИИ не лопнет: таков план Британии по росту экономики
OCR-модели оцифровывают миллион страниц дешевле $130: за 18 месяцев цены упали в пять раз
Если технарям приходится увольняться, чтобы бить тревогу, пора беспокоиться
Mistral догоняет конкурентов с Vibe Desktop, пока те уже управляют целыми операционными системами
Более половины электроэнергии крупнейших дата-центров США дают газ и уголь
Сатья Наделла объяснил, зачем предложил 60 тысячам сотрудников Microsoft уйти из компании
Hugging Face направляет запросы к моделям через OpenRouter, выбирая лучшие цену или скорость
На фоне опасений из-за кибератак с ИИ Сатья Наделла предупредил: многие объекты критической инфраструктуры нельзя защитить обновлениями
Google выпустила Gemini 4 Neon: кодит на уровне Opus 5.5, а токены API на 25% дешевле
Четверо школьников из Мэриленда подали в суд после того, как ИИ принял пакет Doritos за оружие
Война за ИИ-чипы в США набирает обороты самым нелепым образом
OpenAI впервые допустила четырёх независимых аудиторов к своим ИИ-системам на месте
Сатья Наделла: ИИ-агенты изменят экономику интернета
В рамках «Project Exponential» KPMG поставила ИИ-агентов рядом с аудиторской командой — и те глубже разбирались в отдельных вопросах
Anthropic, по сообщениям СМИ, оценит акции при IPO в $83 — выше прогнозируемого диапазона
Почему потрясения в Nvidia вряд ли повлияют на IPO Anthropic
Австралию и так считают самой закрытой демократией в мире. Новые законы могут усугубить ситуацию
Даже чиновники Трампа не ждут, что его поездка в Китай продвинет диалог об ИИ
SEC расследует нераскрытые продажи Nvidia, связанные с Китаем
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram