Anthropic сообщила полиции на пользовательницу Claude, угрожавшую устроить стрельбу

На фоне растущего давления на лаборатории ИИ, от которых требуют сдерживать реальный вред их продуктов, всё очевиднее, что компании следят за переписками пользователей.

По словам шерифа округа Ли Кармайна Марчено, Хеллер призналась, что пользовалась Claude как «дневником». Похоже, она не знала, что сотрудники Anthropic могут читать историю её чатов.

Здесь сталкиваются право пользователей на приватность и ответственность компаний, разрабатывающих ИИ, за предотвращение насилия. После массовой стрельбы в Тумблер-Ридж, Канада, в феврале быстро выяснилось, что нападавшая активно использовала ChatGPT, планируя атаку.

Сотрудники OpenAI знали о её переписках ещё до стрельбы: система отметила их для проверки человеком за несколько месяцев до нападения. Руководители компании пытались скрыть роль ChatGPT в подготовке атаки, а позднее преуменьшали её.

У Anthropic тоже есть серьёзные проблемы с реальным вредом от её продуктов. Однако компания, похоже, старается не допустить подобного случая. При этом на рынке уже так много чат-ботов, что предотвратить следующую трагедию с участием ИИ может быть поздно.