Flock создала для полиции ИИ, который опознаёт и отслеживает людей, хотя годами утверждала обратное
Flock Safety, компания, чья сеть камер считывает автомобильные номера более чем в 6000 населённых пунктов США, годами говорила публике, что её технология «не может распознавать, идентифицировать или отслеживать людей». Расследование издания Wired показывает, что это не так: у компании есть готовый ИИ-инструмент для полиции, который делает именно это, опознаёт водителей и отслеживает машины по паттернам их перемещения.
Инструмент, изначально называвшийся Nightshift, а затем переименованный в OS Investigate, обнаружился в кэше из более чем 450 файлов, которые Wired нашёл на собственном сайте Flock: страницы входа для полицейских отдавали эти файлы любому, кто их загружал, без реальной авторизации. Из кода следует, что у ИИ есть доступ к 45 инструментам, сканам номеров и метаданным камер, делам полиции, сводкам вызовов 911, результатам баллистической экспертизы и коммерческим базам данных с номерами социального страхования, датами рождения, телефонами, электронной почтой, родственниками и связями людей. Находки независимо проверил и частично воспроизвёл Buchodi, псевдонимный исследователь безопасности и приватности с более чем десятилетним опытом реверс-инжиниринга потребительского софта и технологий слежки.
OS Investigate поставляется с 69 готовыми промптами, которые полицейский может выбрать, отредактировать и отправить ИИ, либо написать собственный запрос. 19 из 69 промптов устроены как поиск по поведенческому паттерну, а не по конкретной записи о человеке или машине; в 14 промптах вообще нет ни номера, ни имени, ни описания, только место, промежуток времени и модель поведения. Один из промптов ищет свидетелей по машинам, которые чаще всего появлялись в заданном районе за последние 14 дней в определённое время суток (не считая машин из «белого списка»). Другой просит вывести всех, кого арестовывали больше двух раз за два года по любой статье, кроме наркотических, нанести их адреса на карту, поднять вызовы служб по этим адресам и сформировать полное досье («workup») на трёх людей, которых выберет сам алгоритм.
Есть и промпты, которые вообще не называют ни человека, ни повод: система ищет машины, заезжавшие в три и более магазина в городе за три дня, в несколько банков за неделю или на несколько заправок между полуночью и пятью утра, ни один из этих сценариев не привязан к конкретному подозреваемому или происшествию. Встроенный фильтр исключает автобусы, грузовики, рабочие фургоны и трейлеры, так что курьер, объезжающий несколько точек, не попадёт в выборку, а обычный водитель с похожим маршрутом, останется. Похожая логика применяется и к поездкам между городами: система отмечает машины, которые уехали в другой город и вернулись в течение недели, повторяли такие поездки на протяжении 14 дней или последовательно проезжали через три разных района.
«Workup» на языке Flock, это фоновая проверка одной командой: по имени и дате рождения система выдаёт машины человека, случаи, когда его раньше вносили в базу как подозреваемого, а на втором экране, родственников, номера телефонов и аккаунты в интернете. Ещё один инструмент по одному номеру строит маршруты этой машины и её «связей» (associates): код засчитывает совпадение, если чужой номер попадается на тех же камерах, что и целевая машина, в двухминутном окне минимум трижды, при пороге уверенности по умолчанию 0,75. Всего по одному номеру система может выдать до 20 таких «связанных» машин, один из промптов, например, просит построить маршруты машины и трёх её главных «связей».
Формальные тормоза в системе минимальны. Перед поиском интерфейс может потребовать от полицейского вписать обоснование, но код не проверяет ни содержание, ни длину этого текста. Если ведомство требует номер дела, форма лишь проверяет, что в нём не меньше трёх символов. Проверяет ли что-то дополнительно сервер Flock после отправки запроса, Wired установить не смог.
Flock не ответила на вопросы Wired и не оспорила описанные в материале возможности. Представитель компании Пэрис Льюбел заявил, что OS Investigate, отдельный от классических считывателей номеров продукт, призванный помочь следователям работать с данными, к которым у их ведомств и так уже есть доступ; продукт всё ещё тестируется на небольшой группе партнёров из правоохранительных органов, а его возможности и сценарии работы могут значительно измениться перед более широким релизом. На собственных страницах о доверии к продукту Flock пишет клиентам, что технология создана для точечных расследований по конкретным делам, а «не для слежки за людьми», но опрошенные Wired эксперты говорят, что это трудно совместить с тем, что они увидели в коде.
Публикация выходит на фоне двухпартийного политического давления на Flock, растущего числа случаев, когда полицейские злоупотребляли платформой, и волны вандализма, по стране камеры компании спиливают и закрашивают объективы. Джей Стэнли, старший аналитик Американского союза защиты гражданских свобод (ACLU), говорит: «Думаю, большинство людей представляют, что считыватели номеров просто проверяют номер и смотрят, не в розыске ли машина. Если не в розыске, полиция просто едет дальше». Но, по его словам, «мы всё чаще видим агрессивное внедрение ИИ в Flock, и в этом смысле, как в Китае, очень небольшой зазор между тем, что технически можно сделать, и тем, что реально делается».
Ноэл Пичардо, бывший полицейский из Потакета (Род-Айленд), которого знакомили с технологией Flock во время пилотной программы и который по просьбе Wired изучил промпты, говорит: «Я не знаю, как можно спорить с тем, что Flock буквально отслеживает людей». В 2024 году Пичардо публично выступил против этой технологии перед законодателями Род-Айленда, спустя несколько недель после того, как отбыл 30-дневное отстранение за критику Flock и руководства своего управления в местной газете. Ассоциация начальников полиции штата публично осудила его, последовали проверки и дисциплинарные меры, которые он считает местью, и он уволился, когда управление начало процедуру его увольнения. Детектив из полиции Калифорнии, которому издание сохранило анонимность, оценивает ситуацию иначе: Flock, по его словам, уже помог раскрыть немало угонов, и его управление стало бы использовать такой инструмент. «Мы будем использовать любой доступный инструмент, чтобы раскрывать преступления. Ничего спорного в этом нет», сказал он, признав, что промпты для поиска свидетелей вызывают у него лёгкий дискомфорт.
Компанию в Атланте основал её нынешний генеральный директор Гарретт Лэнгли, первой камерой был смартфон в водонепроницаемом боксе. Сейчас Flock фиксирует 20 миллиардов сканирований номеров в месяц, у неё около 140 000 активных пользователей в месяц, а в последнем раунде финансирования, в который вложились венчурные фонды Andreessen Horowitz, Founders Fund и другие, компанию оценили в $7,5 млрд. Лэнгли сравнивал инструмент с аналитиком, который «всегда не спит и всегда приглядывает за тобой», а на демонстрации для начальников полиции в Денвере показывал, как за меньше чем минуту можно проверить все камеры города, найти машины, сопровождавшие инкассаторский броневик, поднять данные их владельцев и проверить их на судимости; по его словам, следователи, попробовавшие инструмент, «подсаживаются» на него.
Эндрю Гатри Фергюсон, профессор права университета Джорджа Вашингтона, считает появление такой системы неизбежным. «Чтобы использовать все собранные данные, нужно встроить возможность их запрашивать», говорит он. По его словам, чтобы упростить жизнь полицейским, которые сами не создают себе агентные инструменты, систему приходится заранее «программировать промптами на естественном языке и автоматизированными сценариями». Особое впечатление на него произвёл именно набор промптов: «Не бог весть какая наука, догадаться, что полиции нужны определённые объекты или паттерны, но интересно посмотреть, что именно они запрограммировали заранее», отмечает он, добавляя, что под такие сценарии может попасть немало совершенно невинных действий.
Ключевые факты
- Wired нашёл на сайте Flock Safety кэш из более чем 450 файлов с кодом ИИ-инструмента OS Investigate (бывший Nightshift), страницы входа для полиции отдавали их любому, кто их загрузит, без авторизации.
- Код описывает 45 инструментов и 69 готовых промптов: доступ к сканам номеров, метаданным камер, делам полиции, сводкам 911, баллистике и коммерческим базам с номерами социального страхования, телефонами, адресами и родственниками людей.
- 19 из 69 промптов ищут по поведенческому паттерну, а не по конкретной записи; в 14 промптах вообще нет ни номера, ни имени, ни описания, только место, период и модель поведения.
- По одному номеру инструмент находит до 20 «связанных» машин, тех, что попадались на тех же камерах минимум трижды в двухминутном окне при пороге уверенности 0,75 по умолчанию.
- Flock не ответила на вопросы Wired и не оспорила описанные возможности; по словам представителя компании, продукт ещё тестируется на небольшой группе партнёров и может значительно измениться перед широким релизом.
Почему это важно
Компания, чьи камеры считывают номера более чем в 6000 населённых пунктов США, годами публично уверяла, что её технология не умеет распознавать и отслеживать людей, это было ключевым аргументом в спорах о приватности. Код, который нашёл Wired, показывает обратное: система умеет находить свидетелей и подозреваемых не по конкретному номеру, а по паттерну поведения, где, когда и как часто человек ездит, и превращает сеть камер для розыска конкретных машин в инструмент масштабного профилирования водителей. Юристы и эксперты по приватности говорят, что это поднимает серьёзные конституционные вопросы: полиция получает широкий, часто внесудебный доступ к истории перемещений людей, которые ни в чём не подозреваются.
Кому это важно
Юристам и правозащитникам, которые оценивают законность применения технологий распознавания и слежки полицией; законодателям и муниципалитетам, решающим, покупать ли и как регулировать такие системы; самим полицейским управлениям, которые выбирают между Flock и альтернативами и должны понимать реальные возможности продукта; исследователям безопасности, которым методика Wired показывает, что закрытые страницы входа могут отдавать чувствительный код без авторизации; и просто жителям тех самых 6000+ населённых пунктов, чьи перемещения фиксируют камеры Flock.
Как это применить
Для ведомств и муниципалитетов, рассматривающих Flock или похожие системы: материал даёт конкретный список вопросов для проверки перед закупкой, какие 45 источников данных доступны ИИ, какие из 69 промптов включены по умолчанию, требует ли форма поиска содержательного обоснования (в описанной версии, нет) и проверяется ли номер дела на что-то, кроме длины (в описанной версии, только на три символа). Для разработчиков и исследователей безопасности пример Wired, рабочая методика: код закрытых интерфейсов иногда отдаётся со страниц входа без реальной авторизации, и это стоит проверять до релиза, а не после расследования журналистов.
Можно ли доверять
Материал, не пересказ пресс-релиза, а расследование Wired на основе анализа реального кода, который издание нашло на сайте Flock; находки независимо проверил и частично воспроизвёл сторонний исследователь Buchodi. Flock не ответила на вопросы издания и не оспорила ни одну из описанных возможностей, только уточнила статус продукта (тестируется на небольшой группе партнёров, характеристики могут измениться). Это делает историю скорее подтверждённой, чем спорной. Ограничение честно указано в самом материале: код показывает, какие инструменты и промпты существуют, но не раскрывает, что происходит на серверах Flock после отправки запроса, какие инструкции получает сама модель и отказывает ли система когда-либо в исполнении промпта, это остаётся неизвестным.
Риски и подводные камни
Главный риск, не гипотетический, а конституционный: система позволяет искать людей по месту и модели поведения без ордера и без привязки к конкретному подозрению, а фильтр по типу автомобиля отсекает только служебный транспорт, не намерения человека, так что под поиск попадает и невиновный водитель с постоянным маршрутом. Слабое обоснование поиска, форма не проверяет содержание причины, а номер дела достаточно набрать из трёх любых символов, оставляет решение фактически на усмотрение отдельного полицейского. Есть и риск для тех, кто критикует систему изнутри: один из опрошенных бывших полицейских получил отстранение и в итоге уволился после публичной критики Flock и своего руководства. Наконец, сам продукт ещё в разработке: Flock прямо говорит, что его возможности и сценарии работы могут значительно измениться до широкого релиза, то есть сегодняшний код не обязательно описывает то, что в итоге получат полицейские управления.
«Я не знаю, как можно спорить с тем, что Flock буквально отслеживает людей.»
— Ноэл Пичардо, бывший полицейский, Потакет (Род-Айленд)