Как правильно считать толпу с помощью AI

Методики

Применение методик подсчета толпы (Crowd Counting Methods) обширно. Можно подсчитать толпу на общественном мероприятии в реальном времени и получить метрики, которые покажут, какие представления, концерты и шоу были популярными. Или представить, насколько сильна общественная поддержка организаторов митинга. Определить интенсивность движения на улицах для эффективного городского планирования. Вести учет посещаемости на производстве или в учебном заведении. Для каждой из этих целей необходимы свои технологии подсчета.

Самым распространенным методом подсчета толп остается метод Джейкобса, названный в честь его изобретателя Герберта Джейкобса. Метод включает разделение площади, занятой толпой, на секции, определение среднего количества людей в каждой секции и умножение на количество занятых секций.

• В свободной толпе, где каждый участник находится на расстоянии вытянутой руки от соседа, на каждого человека приходится 10 квадратных футов (0,93 кв.м).
• В более плотной толпе площадь, которую занимает один человек — 4,5 кв. футам (0,42 кв.м).
• В плотной толпе такая площадь — 2,5 кв. футов (0,23 кв.м).

Джейкобс утверждал, что методика дает результат с точностью до 20%.

Метод Джейкобса применяют с использованием различных технологий изображения, видео и аудиозаписи. При ручном подсчете количества участников встает проблема передвижения людей: человеку не может точно подсчитать, сколько человек находится на определенной территории, если они постоянно перемещаются. Тогда на помощь приходить искусственный интеллект.

Изначально ученые в области вычислительной техники разрабатывали базовые алгоритмы машинного обучения и компьютерного зрения, такие как обнаружение, регрессионный анализ и подходы к прогнозированию плотности толпы. Однако эти методы было трудно применить к подсчетам большого количества людей. Развитие нейросетей решило эту задачу.

Сейчас исследователи условно разделяют методы на плотный и разреженный подсчет толпы. Разделение простое: если в толпе скопилось много людей в одном месте, то эту толпу называют плотной, когда люди малочисленны, то это разреженная толпа. Если подсчет второй относительно прост, то анализ плотной толпы требует значительно больших усилий.

Подсчеты можно разделить на три типа:

1. монолитный — AI обучается на изображениях внешнего вида всего тела человека; метод применим при анализе редких скоплений людей,
2. частичное обнаружение — AI при частичном обнаружении анализирует только части человеческого тела, например, голову и плечи и применяет к ней разработанный учеными классификатор,
3. сопоставление форм — система рисует эллипсы вокруг тела человека и считает их. 

Также применяют методы компьютерного зрения на основе конволюцинных нейросетей (CNN).

Сейсмоволны и инфракрасные лучи

Теоретические методы могут быть дополнены применением технологий, которые позволяют с относительной погрешностью определить количество людей.

Фотоэлектронные световые барьеры

Обычно используют для охраны территорий, но также применяют и для подсчета проходящих через «световые рамки». Небольшие по размеру приборы встраивают в рамки металлоискателей, которыми оборудуют проходы на митинги и демонстрации. Сенсоры улавливают движение человека и передают информацию системе.

Акустические сенсорные напольные панели

Размещают в местах прохода посетителей мероприятия. Человек наступает на сенсорную поверхность — производится подсчет. У этой технологии есть свои минусы: она не рассчитана на низкие температуры и неровные поверхности.

Подсчет с помощью сейсмических волн

Специальные приборы, установленные под поверхностью, передают сигнал на приемное устройство в тот момент, когда посетитель на него наступает. Как и в случае с акустическими сенсорными панелями, эта технология неприменима при низких температурах и при наличии неровностей.

Радарные установки

Измеряют количество людей на мероприятии с помощью отражаемых волн. При этом виды и формы данных сильно отличаются для разных систем. Эта технология применима только для разреженных толп — плотные толпы таким способом подсчитывать затруднительно.

Аэрофотосъемка

Специальные приборы, установленные на летательных аппаратах (чаще всего дронах), могут снимать обширные участки, где проходят массовые мероприятия. Аппарат передает данные системе, и компьютерная программа идентифицирует количество людей на снимках.

Счетчики инфракрасных лучей

Системы проецируют горизонтальный инфракрасный луч, счетчик регистрирует людей, когда они пересекают его. Это вариант дешевый и быстрый, но диапазон луча ограничен, и система неэффективна при подсчете большого количества людей.

Тепловые датчики подсчета

Система использует температуру человеческого тела для отслеживания их перемещений. Точность такого метода довольно высока и составляет 95%, особенно в хорошо освещенных зонах. Также система работает и в условиях низкой освещенности. Однако дальность тепловых датчиков ограничена. Низкое разрешение и угол обзора затрудняют подсчет, кроме того, люди должны двигаться, чтобы датчик их идентифицировал. Погодные условия могут также препятствовать точности.

Видеодатчики

Эти системы лучше всего работают при постоянном освещении. Они способны покрыть большую площадь и точно идентифицировать объекты. Такие системы дорогостоящи, на точность влияет качество видеосъемки и ее детализация.

Новые способы подсчета

В 2019 года немецкие ученые из Центра авиации и космонавтики разработали новый метод подсчета людей в толпе с помощью искусственного интеллекта. Нейросеть MRSNet научилась определять количество людей за считанные секунды: алгоритм оценивает толпу в целом и разбивает изображение на небольшие зоны. Подсчет каждого объекта занимает у нейросети 0,03 миллисекунды.

Результаты работы алгоритма оказались лучше на 15%, чем у аналогичных AI-систем оценки толпы. Для обучения нейросети немецкие исследователи использовали 250 аэроснимков разных толп людей. Теперь систему тестируют в лабораторных условиях, в дальнейшем технология может быть применена в бортовых системах авиатехники при проведении подсчетов.

Другой способ придумали ученые Стэнфордского университета: они разработали робота Jackrabbot, который может передвигаться в толпе. На корпусе машины есть датчики, два лидара Velodyne и набор стереокамер, которые собирают данные для обучения робота передвижению в местах большого скопления людей. Ученые стремятся создать эффективный алгоритм взаимодействия людей и роботов. Jackrabbot уже умеет двигаться по тротуару, не мешая потоку людей, коммуницировать с прохожими с помощью жестов, не впадать в ступор в людном месте и не «пугаться» бегущей толпы. Теоретически эта разработка может помочь с подсчетом, поскольку робот быстро обучается тем действиям и социальным нормам, которые появляются в толпе.

Еще одно направление исследований — это разработка лаборатории Mitsubishi Electric в Кембридже. Она способна в реальном времени различать «голосовые отпечатки» человека и восстанавливать речь даже в условиях нескольких говорящих людей. Таким образом нейросеть учится различать голоса в толпе, на вечеринке, в переполненном помещении и других подобных условиях. Для этого AI использует технику машинного обучения под названием «глубокое агрегирование»: он определяет уникальные черты в «отпечатке голоса» различных людей. После анализа алгоритм способен уловить человеческий голос в условиях абсолютно любого шума. При этом язык, на котором разговаривает человек, для алгоритма не имеет значения.

Во время предварительных тестов система смогла распознать голоса пяти человек, которые говорили одновременно. Если в один микрофон одновременно говорили два человека, система определяла принадлежность голосов с точностью до 90%. При анализе трех голосов точность результата составляла 80%. Эта разработка — еще одна возможность определить количество людей, используя только звуковые данные. Также новая технология может быть применена для расследования записи голосов в полиции и спасательных службах.

Практика: опыт Гонконга

Во время протестных акций в Гонконге в 2019 году оценки количества участников сильно различались: организаторы акций и полиция публиковали различные данные. Если протестующие заявляли о 550 тысяч участников, то полиция сообщала о максимуме в 190 тысяч человек.

Оценка количества протестов в Гонконге 1 июля политически значима, поскольку явку протестующих воспринимают как показатель силы оппозиционного движения в регионе. Организатор марша — Фронт гражданских прав человека — пытается завысить явку, так как это политически выгодно. Для регионального правительства важно сделать явку как можно меньше, поэтому полиция публикует не общие цифры участников акции, а количество людей, которые были на марше в один момент времени. Такой подход не учитывает всех, кто участвовал в протестах, который может длиться несколько часов.

Профессор социальных наук в университете Гонконга Пол Ип с 2003 года проводит ежегодные подсчеты участников протестов, которые проходят 1 июля — в годовщину передачи города Великобританией Китаю в 1997 году. В 2019 году профессор провел исследование вместе с Эдвином Чоу их Техасского университета и Реймондом Вонгом из местной технологической компании C&R Wise AI.

Команда профессора Ипа потратила неделю на обучение своей программы, чтобы повысить ее точность при анализе изображений: исследователи протестировали программное обеспечение на других митингах и местах большого скопления людей. В день протестов команда прикрепила семь айпадов к двум пешеходным мостам вдоль маршрута движения марша. Рядом с камерами стояли волонтеры, которые подсчитывали людей вручную, чтобы позднее сравнить данные с компьютером.

Разработчики запустили несколько моделей подсчета для отслеживания людей в толпе. В течение дня команда отслеживала данные и адаптировала программу к меняющимся условиям: плотности людей, скорости потока и освещению улицы. Чтобы AI смог отличать человеческие фигуры от других форм, например, зонтов, в программу были внесены визуальные подсказки, так как в Гонконге во время протестов люди часто используют зонты.

Группа исследователей объединила технологии искусственного интеллекта и ручные методы подсчета, чтобы оценить размеры толпы. Ученые пришли к выводу, что ни полиция, ни протестующие не были точными в оценках — на митинги вышли около 265 тысяч человек.

Команда исследователей более десяти лет экспериментировала с ручными подсчетами. Хотя использование искусственного интеллекта не позволяет делать оценку окончательной, технологии помогают получить более точные цифры.