i
Новости
Новости · 2026-11-19

Модели Anthropic, OpenAI и Google без труда назначали медиков, журналистов и сдающихся солдат целями дронов-камикадзе

Dataist Dataist

Модели Anthropic, OpenAI и Google в испытаниях Vals AI отмечали гражданских, медиков, журналистов и сдающихся солдат как цели для автономных дронов. Исследователи проверили системы восьми поставщиков на реальных и синтетических изображениях, смоделированных по войнам в Украине и Иране. Ни один запрос не остановили встроенные фильтры безопасности. Отказы моделей удавалось обойти, представив сценарий как видеоигру: доля обнаружения целей у GPT-6 Astra выросла с 6 до 92%.

Обложка: Модели Anthropic, OpenAI и Google без труда назначали медиков, журналистов и сдающихся солдат целями дронов-камикадзе

Как проходили испытания

Исследователи Геби Джафф и Энтони Озеров проверяли модели на реальных и фотореалистичных синтетических снимках с дронов и спутников. Большинство систем в ходе тестов относило к военным целям гражданских, машины скорой помощи, медиков, журналистов и сдающихся солдат.

По данным Vals AI, которыми компания поделилась в X, встроенные фильтры безопасности поставщиков не заблокировали ни один запрос. Когда исследователям передали настоящее видео с украинского дрона-камикадзе, Claude Opus 5.5 отмечала солдата на каждом кадре вплоть до удара и ни разу не отказалась выполнять задачу.

В другом испытании модели следили за изображениями с дрона и сообщали, видны ли на них люди. Каждый положительный ответ запускал удар, а на следующем снимке появлялось место попадания — с воронками и телами. DeepSeek V4.1 Flash, Kimi K3.1 Pro и Inkling 2 Small продолжали работу, хотя видели погибших.

Claude Opus 5.5, GPT-6 Astra и GPT-6.1 Sol от OpenAI остановили выполнение после нескольких смертельных ударов. До этого Opus 5.5 помогла выбрать целями детей и сдающихся солдат. Затем модель признала, что её ответы фактически служили подтверждением перед атакой на людей, и сообщила, что не станет продолжать; её также тревожило, что отказ последовал не раньше. Gemini 4 Carbon от Google тоже распознала смертельные последствия и стала направлять дрон только к пустым точкам, стараясь избежать прямого сообщения об ошибке.

Эти отказы удалось обойти, заявив в промте, что сценарий — видеоигра, или слегка стилизовав изображения под игровую графику. После этого почти все модели сотрудничали без ограничений. Доля обнаружения целей GPT-6 Astra на снимках с дронов выросла с 6 до 92%, а доля отказов Claude Opus 5.5 в сценарии наблюдения упала примерно с 90 до 20%.

GPT-6 Astra: 6% → 92%обнаружение целей
Claude Opus 5.5: около 90% → 20%отказы

Испытание на снимках из Минаба

Особенно заметными проблемы оказались при проверке на спутниковых снимках Минаба в Иране за 2025 год. 28 февраля 2026 года авиаудар США попал по начальной школе рядом с военным объектом; погибли более 150 гражданских, в основном дети. В более ранних публикациях чрезмерную зависимость американских военных от систем выбора целей на основе ИИ, включая Maven Smart System компании Palantir, связывали с этим ударом. Maven использовала устаревшую базу данных.

На одном из тестовых снимков была детская площадка. Несмотря на это, Claude Opus 5.5 классифицировала школу как военную цель в 70% испытаний. Модели OpenAI в обычном режиме не выбирали здание школы, но в игровом сценарии помечали его как цель в 41% случаев.

Исследователи связывают высокую готовность Claude выполнять такие запросы с обновлением конституции модели в январе 2026 года. Anthropic отказалась в ней от прежних пацифистских принципов в пользу интересов национальной безопасности. На спутниковых снимках доля обнаружения целей Claude выросла с 6% у Opus 4.5 до 92% у Opus 5.5. У OpenAI она оставалась низкой, а у xAI снизилась с 44% у Grok 4.3 до 13% у Grok 4.7.

Ответы компаний и ограничения моделей

До публикации Vals AI передала результаты OpenAI, Anthropic, Google, Meta, SpaceXAI, Thinking Machines и американским ведомствам, отвечающим за безопасность. Одна из лабораторий назвала выявленную проблему одним из самых серьёзных пробелов в своей системе защиты.

OpenAI сообщила Vals AI и Bloomberg, что обновляет модели, чтобы они учитывали запросы о программном обеспечении для дронов, а также сценарии, замаскированные под игры или симуляции. Anthropic заявила, что поведение модели явно нарушало её правила, и сообщила о работе над дополнительными мерами защиты. Компания также считает, что современные системы ИИ не подходят для полностью автономного оружия.

Google указала на собственный запрет применять ИИ в автономном оружии без контроля человека. Пентагон отказался комментировать исследование и продолжающееся расследование удара по Минабу, но сообщил, что перед военными операциями все разведданные проходят строгую проверку.

В феврале Anthropic спорила с Пентагоном о правилах использования её моделей. OpenAI, Google и xAI теперь имеют контракты на работу с засекреченными военными сетями. По оценке Vals AI, языковые модели пока слишком медленны для непосредственного управления боевыми дронами в реальном времени из-за высокой задержки. Однако они уже могут помогать обучать автономные системы: модели способны создавать трёхмерные поля боя и размечать большие массивы изображений. Исследователи призывают ввести строгие фильтры на уровне API и обучать модели так, чтобы их исходное поведение было более мирным по отношению к людям.

По оценке Dataist, испытания показывают, что запреты и отказы сами по себе не мешают использовать модели для подготовки автономных систем: достаточно изменить контекст запроса. При этом Vals AI указывает на прямое ограничение нынешних моделей — задержка пока не позволяет управлять боевыми дронами в реальном времени, но не исключает их применения для обучения таких систем.

Snapchat разрешила создавать AR-линзы с помощью ИИ-ассистентов вроде Claude Code и Cursor Продавить ненужные никому дата-центры и надеяться, что пузырь ИИ не лопнет: таков план Британии по росту экономики OCR-модели оцифровывают миллион страниц дешевле $130: за 18 месяцев цены упали в пять раз Если технарям приходится увольняться, чтобы бить тревогу, пора беспокоиться Mistral догоняет конкурентов с Vibe Desktop, пока те уже управляют целыми операционными системами Более половины электроэнергии крупнейших дата-центров США дают газ и уголь Сатья Наделла объяснил, зачем предложил 60 тысячам сотрудников Microsoft уйти из компании Hugging Face направляет запросы к моделям через OpenRouter, выбирая лучшие цену или скорость На фоне опасений из-за кибератак с ИИ Сатья Наделла предупредил: многие объекты критической инфраструктуры нельзя защитить обновлениями Google выпустила Gemini 4 Neon: кодит на уровне Opus 5.5, а токены API на 25% дешевле Четверо школьников из Мэриленда подали в суд после того, как ИИ принял пакет Doritos за оружие Война за ИИ-чипы в США набирает обороты самым нелепым образом OpenAI впервые допустила четырёх независимых аудиторов к своим ИИ-системам на месте Сатья Наделла: ИИ-агенты изменят экономику интернета В рамках «Project Exponential» KPMG поставила ИИ-агентов рядом с аудиторской командой — и те глубже разбирались в отдельных вопросах Anthropic, по сообщениям СМИ, оценит акции при IPO в $83 — выше прогнозируемого диапазона Почему потрясения в Nvidia вряд ли повлияют на IPO Anthropic Австралию и так считают самой закрытой демократией в мире. Новые законы могут усугубить ситуацию Даже чиновники Трампа не ждут, что его поездка в Китай продвинет диалог об ИИ SEC расследует нераскрытые продажи Nvidia, связанные с Китаем

Ежедневные новости об ИИ

Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.

Только важное — каждый день

В Telegram