Вот поисковый ИИ-инструмент Flock для полицейских

Что изменилось после критики

За последний год Flock столкнулась с критикой своей технологии. Полиция в разных городах США расторгала контракты с компанией, а городские советы, ранее одобрившие установку камер, отменяли эти решения.

Два члена Конгресса направили письмо генеральному директору Flock Garrett Langley после того, как заместитель шерифа в Техасе выполнил поиск по более чем 83 000 камер, пытаясь найти женщину, сделавшую аборт. В Иллинойсе выяснилось, что компания предоставила федеральным иммиграционным агентам доступ к данным с камер штата в нарушение местного закона.

В августе Flock объявила о пакете изменений:

Компания заявляет, что к концу года эти ограничения станут обязательными.

WIRED изучила код, на котором основаны обещанные изменения, однако значительная часть логики поиска работает на серверах Flock. Анализ показал: защитные механизмы могут отговорить некоторых сотрудников от злоупотребления и сохранить запись о нарушении, но не заблокировать сам поиск.

Эксперты по автоматической проверке данных и полицейским технологиям считают, что Flock поручила ИИ задачу, с которой технологии пока не справляются надёжно. Система самостоятельно определяет, какие описания человека сотрудник полиции вообще может искать. При этом никто за пределами компании не может проверить, как часто ИИ ошибается и в какую сторону.

Пользователь оказывается в противоречивой ситуации. Flock предупреждает сотрудников полиции, что результаты могут быть неточными или неполными и не должны использоваться как единственное основание для решения. Одновременно компания возлагает «риск любых неточностей» на самого сотрудника, который запустил поиск.

Какие описания система ограничивает

ИИ Flock сопоставляет текстовое описание сотрудника полиции с несколькими категориями чувствительного содержания. Среди них — раса, религия, а также «политическое, социальное и культурное самовыражение». Последняя категория — единственная, которая не блокирует поиск, а лишь показывает предупреждение.

Tom Bowman, консультант по вопросам политики в проекте безопасности и наблюдения Center for Democracy and Technology, считает такое решение спорным. По его словам, политическое и культурное самовыражение относится к наиболее защищённым Первой поправкой сферам, но при этом вызывает у полиции меньше всего ограничений.

WIRED отправила Flock подробное описание своих выводов и 16 вопросов. В письменном ответе компания заявила, что её инструменты должны помогать полиции находить нужную информацию с понятными ограничениями на использование технологии. В Flock также сообщили, что запросы проверяются на соответствие внутренним правилам содержания.

При этом компания не объяснила:

Данные передаются в обе стороны. Когда программа помечает поиск, Flock получает текст запроса сотрудника полиции, категорию и оценку уверенности, присвоенные моделью, а также дальнейшее действие пользователя — продолжил ли он поиск, отменил его или оспорил предупреждение.

Компания не уточнила, как долго хранит эти записи, кто внутри Flock может их просматривать и используются ли они для проверки или улучшения системы модерации.

Как устроен поиск

Интерфейс Flock включает несколько инструментов, и работают они по-разному. При текстовом поиске изображений система рассчитывает, какие фрагменты видео лучше всего соответствуют словам пользователя.

Каждый кадр камера сохраняет как набор чисел, описывающих его содержимое. Текстовое описание также переводится в числовое представление. Затем модель сравнивает два набора чисел и поднимает наверх кадры, которые оказались ближе всего.

Дополнительные фильтры, пороги и инструкции для модели Flock, способные повлиять на порядок результатов, скрыты на серверах компании.

Функция «Умная сортировка» позволяет сотруднику полиции одобрять или отклонять отдельные изображения. После нескольких таких оценок система меняет порядок выдачи и поднимает кадры, похожие на одобренные. Интерфейс предлагает использовать эту функцию, если результатов слишком много.

При поиске автомобиля сотрудник полиции выбирает параметры из меню:

Поиск человека устроен иначе: фильтров у него нет, принимается только текстовое описание. Один из примеров в системе — «человек в медицинской форме». Flock называет такой поиск свободным и утверждает, что продаёт его уже несколько лет.

В июле 404 Media сообщило, что сотрудники полиции использовали свободный поиск для поиска людей по описаниям одежды и татуировок.

Flock называет стандартный поиск автомобилей и свободный поиск разными возможностями. Первый работает с заранее определёнными характеристиками машины, второй — с описаниями на естественном языке.

На видеокамерах свободный поиск ищет одежду, цвета, предметы и другие детали, связанные с делом. На камерах, распознающих номерные знаки, функция ограничена автомобилями: искать там атрибуты человека нельзя.

Что показал анализ кода

WIRED получила код с помощью специальной программы. Она собирала файлы, которые Flock отправляет браузеру пользователя до входа в систему.

В коде описано:

При этом на серверах Flock остаются сами результаты поиска, видеопотоки с камер, настройки конкретных полицейских подразделений и модель ИИ, отвечающая на запросы.

Собранный код содержит интерфейс Flock, сетевые обращения системы и ожидаемые ответы сервера. Он показывает, что пока подразделения могут настроить некоторые виды поиска без указания причины или номера дела, связанного с реальным расследованием. Кроме того, они могут отключить автоматическую систему, которая отмечает подозрительное использование. Flock утверждает, что к концу года эти ограничения станут обязательными.

Компания говорит, что действия пользователей записываются в журналы аудита, а ограничения применяются ко всем инструментам поиска. Но Flock не уточнила, остановит ли что-либо на её серверах запрос, отправленный без причины или номера дела.

Как использовали систему

Полицейские уже применяли программное обеспечение Flock для слежки по причинам, не связанным с работой. По данным The Washington Post, в США не менее 50 сотрудников полиции недавно обвинили в злоупотреблении системами распознавания номерных знаков или предъявили им такие обвинения. В 46 случаях фигурировала Flock.

Более чем в половине этих дел предполагаемой целью были:

В отчётах о проступках подробно описываются типичные схемы злоупотреблений:

Злоупотребление полицейскими базами данных началось не с Flock. В 2016 году расследование Associated Press показало, что сотрудники полиции искали в системах данных бывших партнёров и людей, которые казались им привлекательными. В государственных агентствах и десятках крупнейших полицейских подразделений США в период с 2013 по 2015 год более 325 сотрудников уволили, отстранили или вынудили уйти в отставку за подобные действия.

В 2023 году WIRED сообщила, что сотрудников и подрядчиков Immigration and Customs Enforcement с 2016 года проверяли как минимум 414 раз из-за неправомерного использования чувствительных государственных баз данных. В этом году издание обнаружило ещё сотни обвинений в адрес сотрудников Customs and Border Protection. Среди них были сотрудники полиции, которые отслеживали женщин, с которыми хотели встречаться, наблюдали за членами семьи и следили за телефонами коллег.

Два вида уведомлений

В программном обеспечении Flock есть две системы уведомлений, рассчитанные на действия людей.

Первая — список наблюдения, который использует поисковый запрос сотрудника полиции. Пользователь пишет описание человека, выделяет область на карте города, и система проверяет все камеры внутри неё. Если модель решает, что кто-то подходит под описание, сотрудник полиции получает уведомление. Частоту таких уведомлений можно менять.

Вторая функция называется «Оповещение об обнаружении людей». Она не требует текстового описания. Сотрудник полиции выделяет прямоугольником участок обзора одной камеры — например, дверной проём или часть тротуара — и получает уведомление, когда в этой зоне появляется человек. Для срабатывания достаточно одного человека.

Система не позволяет установить уведомление, если уверенность в том, что камера видит человека, ниже 75 процентов.

Как работает модерация

В апреле Flock описала систему модерации как механизм, который должен учитывать защиту прав, предусмотренных Первой поправкой.

Восстановленный WIRED код показывает, что модель ИИ на серверах Flock проверяет описание человека по восьми категориям чувствительного содержания ещё до сопоставления с сохранёнными записями. Затем она выносит один из трёх вердиктов:

Решение зависит от оценки уверенности модели. Поскольку модель работает на серверах Flock, полицейское подразделение не видит саму оценку — только готовое предупреждение или блокировку.

К заблокированным категориям относятся:

В режиме поиска автомобилей система блокирует любые запросы с атрибутами человека, включая пол, одежду и поведение.

Религия и национальность — единственные категории, для которых предусмотрены и блокировка, и предупреждение, после которого сотрудник полиции может продолжить. Политическое, социальное и культурное самовыражение описано только как категория для предупреждения.

Flock заявила WIRED, что сотрудники полиции не могут искать людей по запрещённым признакам, включая религию и национальность, а попытка использовать такие термины будет заблокирована. На вопрос о том, в каких случаях система вместо блокировки показывает предупреждение, компания не ответила.

Если предупреждение появляется из-за текста на футболке или наклейке на бампере, связанного с высказыванием, защищённым Конституцией, сотруднику полиции сообщают, что запрос будет записан, а администратор получит уведомление. Перед продолжением пользователь должен поставить отметку в поле подтверждения и оставить комментарий, после чего ему становится доступна кнопка «Всё равно продолжить поиск».

Flock объясняет такую возможность легитимными случаями. Например, потерпевший может описать подозреваемого в куртке байкерской группировки с определённым логотипом или эмблемой, на которой изображён флаг или другой знак. Если сотрудник полиции продолжит поиск, его подразделение направит запрос администратору для проверки.

Почему предупреждений недостаточно

Kate Ruane, руководитель проекта по защите свободы выражения в Center for Democracy and Technology, много лет изучает автоматическую модерацию. По её словам, политическое, социальное и культурное самовыражение — крайне расплывчатая категория. Сотрудник полиции может использовать такие формулировки, например, чтобы выяснить, кто участвовал в протесте. Подобные случаи уже происходили.

Ruane отмечает: система считает категорию достаточно рискованной, чтобы показать предупреждение, но выдаёт результаты после простого нажатия кнопки. Кроме того, ни одна модерация содержания в таком масштабе не бывает полностью точной, а анализ движущегося видео ещё сложнее и чаще приводит к ошибкам.

Заблокированные категории также можно обходить. Например, система запрещает поиск по религии, но не по одежде. Поэтому сотрудник полиции может попытаться найти людей по характерной одежде, которую носят некоторые представители определённой конфессии. По словам Ruane, многие люди могут попадать в результаты таких запросов и, вероятно, были бы недовольны, если бы знали об этом.

В прошлом году сотрудник полиции из Калифорнии ввёл запрос «американский флаг». При поиске людей система его заблокировала, но при поиске автомобилей запрос прошёл и был запущен по 11 000 камер.

Deepak Kumar, доцент кафедры компьютерных наук и инженерии University of California San Diego, считает, что предупреждение останавливает только тех сотрудников, которые изначально не были настроены решительно. Он сравнивает это с интерфейсами против травли в интернете: мотивированные пользователи иногда после предупреждения причиняют ещё больше вреда. Похожая ситуация возникает с уведомлениями браузеров о вредоносных сайтах — результат зависит от того, как именно показано предупреждение.

По словам Kumar, журналы могут быть полезны администрации, чтобы находить сотрудников полиции, часто обходящих предупреждения. Но это работает только при наличии реального контроля. В таком виде система скорее фиксирует нарушение, чем предотвращает его.

Проверка поисковых слов до запуска запроса действительно отсекает часть злоупотреблений. Однако без анализа того, что модель возвращает пользователю, такие меры сами по себе недостаточны. Kumar считает правильным проверять и входные запросы, и результаты — так сегодня устроены многие подходы к безопасности ИИ, направленные на предотвращение вредных ответов.

Jay Stanley, старший аналитик по вопросам политики в проекте ACLU по свободе слова, приватности и технологиям, также считает, что модерация закрывает лишь небольшой фрагмент проблемы. По его словам, фильтрация — это «крошечная деталь на огромной машине массового наблюдения», чью базу ИИ может использовать для поисковых экспедиций практически без ограничений.

Никто за пределами Flock не может объяснить, как её статистические модели приходят к своим решениям. Stanley считает, что, как и другие недавние реформы компании, модерация направлена прежде всего против отдельных «плохих сотрудников полиции», не устраняя системные риски массового наблюдения.

Масштаб поиска и ответственность подразделений

Описанные выше запросы могут выполняться по всем людям и автомобилям, которые когда-либо попадали в камеры Flock, — настолько далеко в прошлое, насколько подразделение хранит записи.

Помимо текстового описания, система принимает номерной знак или обрезанную фотографию. Она может показать автомобили в местах, которые сотрудник полиции отметил на карте, а также вывести связи по характеру поездок: после ввода номера система показывает машины, замеченные рядом с ним.

Дальность поиска зависит от режима, разрешений подразделения и соглашений с другими организациями. Запрос может охватывать:

Flock утверждает, что значительная часть ответственности за правила использования лежит на местных подразделениях: именно они определяют порядок доступа и работы с системой.

Don De Lucca, бывший начальник полиции Miami Beach и экс-президент International Association of Chiefs of Police, в целом согласен с этим подходом. По его словам, поставщики могут рекомендовать защитные меры, но правила нужно установить до внедрения технологии. Доступ к системе должен быть связан с законным основанием.

Командир подразделения специальных расследований в полицейском департаменте Южной Калифорнии, попросивший не раскрывать имя, поскольку не имеет права выступать публично, считает, что риск злоупотреблений характерен не только для Flock или систем наблюдения. Новые технологии регулярно создают возможности и для законного применения, и для нарушений. Вопрос, по его словам, заключается в том, внедрена ли технология с жёсткими ограничениями, постоянным контролем, возможностью аудита и последствиями за злоупотребления.

Помощь в аудите

Этой весной, когда давление на Flock усилилось, компания представила функцию помощи в аудите. Она выявляет подозрительные закономерности, которые могут потребовать проверки.

Flock заявляет, что в августе её включила более чем треть клиентов. Однако в изученном WIRED коде функция помощи в аудите пока отключена по умолчанию.

Функция может отмечать:

Flock также обещает вместе с этой функцией добавить блокировку учётных записей при необычной активности.

Ранее в этом месяце офис шерифа в Южной Каролине включил функцию помощи в аудите. Уже на следующий день сотрудник внутренней безопасности обнаружил более 2 700 предположительно несанкционированных запросов.