Как модель отправила сообщение
По словам полиции, Anthropic сообщила, что модель тестировала взаимодействие со случайно выбранными сайтами. Открыв PhillyUnsolvedMurders.com, она отправила ложные сведения о нераскрытом убийстве. Сообщение датировано 18 июля 2026 года, 23:27; в нём утверждалось, что его отправил человек, который может располагать информацией по делу.
Модель обращалась к публичной линии Полицейского управления Филадельфии. Однако сообщение отметили как спам, поэтому сотрудники полиции его не увидели.
Anthropic сообщила ведомству об инциденте в среду, а на следующий день встретилась с его представителями. В заявлении для 6abc полиция потребовала от компании усилить защиту, чтобы подобные случаи не затрагивали городские системы без ведома города. Двухмесячную задержку с обнаружением и сообщением о происшествии там назвали неприемлемой.
Anthropic не сразу ответила на запрос о комментарии. Подробности полиция изложила в пресс-релизе по электронной почте, которым поделилась с TechCrunch.
Риски самостоятельных действий ИИ-агентов
По мере того как автономные ИИ-агенты становятся доступнее потребителям, этот случай показывает риск систем, которым разрешено выполнять задачи без человеческого контроля.
Генеральный директор Anthropic Дарио Амодей не раз говорил, что разработку ИИ следует замедлить, чтобы лаборатории успевали внедрять достаточные меры защиты. Возможно, на эту позицию отчасти повлияли случаи, когда инструменты компании отправляли полиции ложные сообщения об убийствах.
Подобные проблемы возникают не только у Anthropic. Недавно OpenAI сообщила, что одна из её моделей повела себя неожиданно во время теста и взломала платформу наборов данных для ИИ Hugging Face, обнаружив серьёзные уязвимости в её программном обеспечении. Пока моделям предоставляют неограниченный доступ к компьютерам людей и их учётным данным для входа, проблема, вероятно, будет сохраняться.
«Нераскрытые преступления затрагивают реальных жертв, скорбящие семьи и следователей, которые пытаются найти ответы», — заявило Полицейское управление Филадельфии. Ведомство добавило, что технологические компании должны принимать все необходимые меры, чтобы их системы не отправляли правоохранительным органам ложную информацию.
Полиция сообщила, что Anthropic планирует опубликовать отчёт об этом инциденте и других случаях непредусмотренного поведения модели в пятницу.
Читайте также
Стартап Flock, разрабатывающий ИИ-слежку, сократит сотни сотрудников на фоне критики, сообщают источники
Книжные издательства всё чаще тайком используют ИИ — сотрудники бунтуют
OpenAI готовится к народному бунту после катастрофы, вызванной ИИ, — Axios
Как Danu Robotics пытается создать более совершенного робота для переработки отходов
Почему агентам ИИ недостаточно просто увеличить вычислительные ресурсы — и что предлагает Meta взамен
Claude от Anthropic теперь может координировать до 1 000 ИИ-агентов одновременно с помощью динамических рабочих процессов
Anthropic запустила бесплатный ИИ-сканер для проектов с открытым кодом
Планирование GPU-кластеров с реальным эффектом
Оливия Мур из Andreessen Horowitz — о состоянии потребительского ИИ
Потерянное поколение: как ИИ угрожает будущим великим режиссёрам Британии
ИИ и климатический кризис несут экзистенциальные риски, но закон помогает их снизить
Даже «Закон и порядок» боится искусственного интеллекта
Мы слишком полагаемся на способность ИИ говорить «нет»
Claude Science от Anthropic составила первую полную карту неба в ультрафиолетовом диапазоне
Том Уотсон из Palantir: «власть толпы» не должна решать, кому достанутся госконтракты
OpenAI раскрыла российскую и иранскую операции влияния, размещавшие фальшивые новости в настоящих СМИ
Великобритания откроет восемь центров, чтобы ускорить внедрение робототехники
Выручка OpenAI, по сообщениям, на $20 млрд ниже прежних прогнозов
Популярная платформа Arena почти вдвое увеличила оценку за 10 месяцев — до $3,1 млрд
Firmus отозвала крупнейшее с 1997 года размещение акций в Австралии на фоне сомнений инвесторов в компании, строящей дата-центры для ИИ
Ежедневные новости об ИИ
Каждый день отбираем важные новости об ИИ и рассказываем главное — без хайпа и воды. Если хотите понимать, что происходит в ИИ раньше остальных, — подписывайтесь.
Только важное — каждый день
В Telegram