Видеоаналитика
За последние десятилетия системы охранного телевидения (СОТ) настолько глубоко вошли в нашу жизнь, что сейчас без них невозможно представить ни одной сферы деятельности человека. Эти молчаливые и неподкупные свидетели умеют трудиться без устали 24 часа в сутки и 365 дней в году. Но любая, даже самая дорогостоящая система видеонаблюдения, превращается в бесполезную кучу «железа» без участия человека. Именно он, человек, является главным аналитиком громадного потока информации, который ему любезно предоставляет СОТ. И эффективность работы системы в целом будет, в конечном итоге, зависеть от эффективности работы оператора, которому, в отличии от СОТ, свойственна усталость, снижение внимания и другие негативные человеческие факторы. И тогда обширный информационный материал, накапливаемый системой, может стать бесполезным. Работа оператора подразумевает оперативное реагирование на определенные ситуации, но его скорость снижается вследствие монотонности работы. Как быть в такой ситуации? Неужели нет выхода? Выход есть! На помощь человеку приходят технологии видеоаналитики. Видеоаналитика, применяемая в СОТ, способна взять большую часть работы на себя, автоматизировав решение рутинных задач и позволить оператору сконцентрировать свое внимание на более важных моментах.
Видеоаналитику можно определить как технологию, использующую методы компьютерного зрения для автоматизированного получения различных данных на основании анализа видеоизображений, которые поступают с телекамер как в режиме реального времени, так и из архивных записей. Видеоаналитика представляет собой программное обеспечение (ПО) для работы с видеоконтентом. Основой программного обеспечения видеоаналитики является комплекс алгоритмов машинного зрения, позволяющих вести видеомониторинг и анализировать данные без участия человека. Видеоаналитика автоматизирует выполнение следующих основных функций:
- обнаружение (object detection)
- распознавание (object recognition)
- классификация (object classification)
- слежение (object tracking)
Одновременное выполнение всех перечисленных функций позволяет повысить эффективность СОТ и снизить численность персонала, непосредственно задействованного в мониторинге.
Многие производители современного базового программного обеспечения для систем видеонаблюдения, в котором представлен основной интерфейс визуализации и обеспечено архивирование аудио/видео материала, выпускают также ПО видеоаналитики, являющееся надстройкой для базового ПО. Программы видеоаналитики чаще являются дополнительными программными модулями, приобретаемыми отдельно и устанавливаемыми на том же компьютере (и только на компьютере, т.к. обычно «не-ПК» системы максимум способны на запись по детекции движения и простейший поиск в архиве), на котором установлено базовое ПО. О них далее и пойдет речь.
Многие производители современного базового программного обеспечения для систем видеонаблюдения, в котором представлен основной интерфейс визуализации и обеспечено архивирование аудио/видео материала, выпускают также ПО видеоаналитики, являющееся надстройкой для базового ПО. Программы видеоаналитики чаще являются дополнительными программными модулями, приобретаемыми отдельно и устанавливаемыми на том же компьютере (и только на компьютере, т.к. обычно «не-ПК» системы максимум способны на запись по детекции движения и простейший поиск в архиве), на котором установлено базовое ПО. О них далее и пойдет речь.
Рабдотая в «Торговом Доме ТИНКО» инженером техподдержки по системам IP видеонаблюдения и имея большой опыт ежедневного общения как с монтажными организациями, так и с конечными пользователями, могу сказать, что вызывающими наибольший интерес являются программные модули обнаружения и распознавания лиц и автомобильных номеров (рис. 1). Это вызвано, вероятно, желанием максимально автоматизировать идентификацию передвигающихся «объектов». Принцип действия данных модулей заключается в постоянном анализе получаемого с камер изображения и поиска на нем объектов, похожих на искомые. Поиск осуществляется по алгоритму, называемому «Теорией распознавания образов». Основой данной теории является отнесение исходных данных к определенному классу с помощью выделения существенных признаков, характеризующих эти данные, из общей массы несущественных данных. Говоря простым языком, у искомых объектов есть общие признаки (например, овал лица содержит в себе глаза, нос и губы, автомобильный номер имеет определенную геометрическую форму с размещенными на ней типовыми знаками). Модуль при соответствии объекта заданным признакам «захватывает» его и проводит с ним дальнейшую работу, суть которой зависит от возможностей программы. Она может фотографировать лица, сравнивать их с фотографиями, имеющимися в базе данных, отслеживать траекторию движения, наконец, просто пересчитывать. Аналогичные действия могут производиться с автомобильными номерами. Автомобиль может быть сфотографирован, номер может распознаваться и переводиться в текстовый формат, удобный для хранения в базе данных. Далее можно составлять «черные» и «белые» списки и работать с ними.
Приведу практические примеры применения систем охранного телевидения с функцией обнаружения и распознавания лиц и автомобильных номеров совместно с системой контроля и управления доступом (СКУД). Для этого рассмотрим типовую проходную с турникетом для прохода людей по карточкам и шлагбаумом с проездом автомашин по спискам. Человек прикладывает к считывателю идентификационную карту, СКУД считывает ее и проверяет по базе. При разрешении карточки на проход подается электрический сигнал на открытие турникета. При кажущейся защищенности системы от проникновения злоумышленника существует вероятность прохода на объект по утерянной или украденной карте. Здесь на выручку приходит система распознавания лиц, которая сравнивает имеющуюся в базе фотографию человека с фотографией «захваченного» лица на момент прохода (рис. 2). При несоответствии фотографий система не только не откроет турникет, но еще подаст сигнал сотрудникам охраны.
Система распознавания номеров на въездной группе так же сравнивает номера подъезжающих автомашин со списками, имеющимся в базе данных, и подает сигнал на открытие шлагбаума. Следует заметить удобство использования в данном случае IP камер, т.к. большинство из них имеет тревожные выходы, к которым можно подключить турникет или шлагбаум.
Далее, по величине вызываемого интереса, идут программные модули трекинга (рис. 3), позволяющие отслеживать движения объектов в кадре и обрабатывать информацию о них. Каждый производитель по-своему комплектует их разнообразными функциями, но обычно их назначение заключается в контроле пересечения виртуальной линии объектами с возможностью контроля направления пересечения и подсчете их количества. Так же есть возможность фотофиксации объекта и генерации тревожного сигнала при определенных нарушениях. Такая функция применима для решения многих задач, от подсчета посетителей в супермаркете до контроля Правил дорожного движения в системе «Безопасный город» (рис. 4). Дополнительно программа может показывать трассировку движения объекта и предсказывать предполагаемое направление движения. В случае использования скоростных поворотных камер появляется возможность «захвата» камерой движущегося объекта и его сопровождение. Применение модуля трекинга совместно с охранной сигнализацией позволяет в большей степени обеспечить безопасность объекта.
Следующей, на мой взгляд, очень практичной но, к сожалению, малоизвестной, является функция интеллектуального поиска в архиве, реализуемая в соответствующем программном модуле. Особенностью системы охранного телевидения, особенно на больших объектах, являются огромные потоки информации, из которых действительно важной является только малая их часть, которую, в случае возникновения внештатной ситуации, требуется, к тому же, быстро найти. Поиск может осуществляться по интересующим нас дате и времени, размеру и форме объекта, цвету, направлению и скорости движения, области, в которой происходило движение, а также лицу или автономеру (в случае совместного использования соответствующих модулей). Одновременное задание нескольких параметров помогает найти интересующий нас объект за считанные секунды. В основе принципа работы модуля лежит анализ видеоизображения с выделением в нем метаданных, которые синхронно записываются вместе с архивом. В них указывается информация о параметрах видеоизображения, которые могут быть в дальнейшем полезными для нас и именно по ним и происходит поиск. Т.е. мы ищем в не просто движение в кадре или определенной зоне, а конкретные объекты с заданными характеристиками.
Например, в крупном торговом центре необходимо найти человека, одетого в синие брюки и красную рубашку. Открыв меню поиска задаем эти параметры (рис. 5). Модуль интеллектуального поиска в считанные секунды извлечет из архива только те фрагменты, на которых присутствуют люди, одетые подобным образом. Введя дополнительные данные (временной диапазон, место прохода, направление движения) мы сужаем круг поиска. В итоге находим нужного человека и все события, с ним связанные. Это исключает необходимость просмотра многочасовой видеозаписи в режиме перемотки!
На рынке так же существуют весьма интересные решения, такие, как видеодетекторы огня и дыма, позволяющие создавать тревожное событие и подавать сигнал на соответствующие системы безопасности в случае их возникновения. Конечно, подобные модули вряд ли когда-нибудь смогут полноценно заменить систему пожарной сигнализации, но способны внести весомый вклад в безопасность открытых объектов, расположенных на больших территориях.
В крупных системах охранного телевидения могут быть весьма полезными детекторы саботажа, задача которых состоит в постоянном отслеживании качества передаваемой с камеры картинки и в случае умышленных (или случайных) действий по ее ухудшению (закрытию объектива рукой, замазыванию краской, засветке, расфокусировке, отвороту камеры и др.) подающие сигнал охраннику.
Наконец, может найти применение модуль межкамерного трекинга, который привязывает местонахождение камеры к плану здания и помогает проследить перемещение объекта между камерами.
Конечно, при использовании видеоаналитики изменяются требования к ее «глазам», т.е. камерам. Причем не только в техническом плане, но и в их ракурсах и правильном освещении сцены. Например, для системы распознавания номеров камеры должны иметь функцию Компенсации Яркой Засветки (HLC – High Light Compensation) и стабильно работать в ночном режиме. Высота установки должна позволять камере отчетливо «видеть» номер проезжающей машины. Для работы в ночном режиме необходимо предусмотреть подсветку видимым светом. Объектив лучше использовать варифокальный с АРД.
В системах распознавания лиц камера должна быть прямо (фронтально) направлена на лица проходящих людей (отклонение более 15 градусов нежелательно), иметь хорошее разрешение и в случае установки на входной группе иметь функцию Широкого Динамического Диапазона (WDR – Wide Dynamic Range), помогающую бороться с засветкой переднего плана при открытии уличной двери в яркий солнечный день. Объектив тоже должен быть правильно подобран.
Что касается разрешения камеры, то здесь нет единого мнения. Интуитивно кажется, что чем больше будет мегапикселей, тем лучше, но не стоит забывать, что для обработки более «весомого» изображения требуется больше вычислительных ресурсов сервера. И если номер или лицо человека отчетливо видны при меньшем разрешении, то такое разрешение в настройках камеры желательно и оставить. По сложившейся практике для распознавания автономера желательно, чтобы в длину на изображении он занимал не менее 160 пикселей. По лицам существует следующая условная градация: обнаружение лица начинается при условии, что на изображение «от уха до уха» приходится от 50-80 пикселей, а уверенное распознавание начинается от 200 пикселей. Сразу замечу, что эти цифры достаточно условны, ведь здесь идет речь о машинном зрении. Человеку обычно бывает достаточно 5 пикселей для обнаружения лица, 16 для распознавания (если лицо знакомо) и 80 для идентификации. В дополнении к сказанному добавлю, что для подсчета посетителей идеальный ракурс – это вид сверху, т.к. максимальной точности можно достичь только при подсчете людей «по макушкам».
Программное обеспечение видеоаналитики обычно устанавливается на центральном сервере (исключение составляют камеры со встроенной видеоаналитикой, обрабатывающие изображение в своем процессоре) и является достаточно ресурсоемким. Учитывая это необходимо серьезно подходить к выбору «начинки» компьютера не забывая об объеме дисковой системы, которая будет отведена под архив. В среднем изображение с 2-х мегапиксельной камеры, работающей на кодеке Н.264 при непрерывной записи со скоростью 25 кадров в секунду за сутки занимает 40 Гб на жестком диске. При использовании камер со встроенной видеоаналитикой достигается снижение вычислительной нагрузки на центральный сервер и уменьшение сетевой нагрузки. Преимущество данного решения заключается в возможности обработки несжатого видеопотока в самой камере, поступающего непосредственно с матрицы. Стоимость камер, конечно, получается более высокой. По своему опыту скажу, что при построении больших систем редко обходятся одним сервером.
Видеоаналитика – новая и очень интересная область охранного телевидения, уже породила много мифов о своих возможностях. Во-первых, как со мной не будут спорить, но я еще не видел действительно работающего детектора оставленных предметов. В лабораторных условиях – да. Но увы, в условиях реальной жизни, даже в небольшом офисе (не говоря уже о вокзале) видеоаналитика здесь бессильна! Так же и всевозможные детекторы «подозрительного поведения» и «праздношатающихся людей». В конечном итоге они превращаются в детекторы «праздношатающихся ворон», разгуливающих по перрону, которых судорожно пытается отследить скоростная поворотная камера стоимостью в несколько тысяч долларов. В интернете на видеохостингах выложено довольно много таких примеров. Не хочу сильно критиковать другие программные модули, описанные выше, но скажу кратко: достичь 100% вероятности детектирования и 0% ложных тревог невозможно. Здесь главная цель – соблюсти баланс «ложного детектирования» и «пропуска цели». Довольно хорошо в этой роли показывают себя детекторы распознавания номеров и пересечения границ. Они действительно способны работать в автоматическом режиме. Хотя и здесь, конечно, не обойтись без оператора (см. начало статьи).
На современном российском рынке представлено большое количество компаний – разработчиков ПО видеоаналитики. Их продукция отличается разнообразными наборами функций, видом интерфейса и стоимостью. Программное обеспечение «Трассир», разработанное компанией «DSSL», уже имеет встроенную видеоаналитику, такую как детекторы огня, дыма, саботажа, а также модули интеллектуального поиска в архиве. Дополнительно можно приобрести модуль распознавания номеров «AutoTRASSIR», детектор движения «SIMT», который совместно с модулем управления скоростными поворотными камерами «ActiveDome» предоставляет прекрасные возможности отслеживания движущихся объектов. Благодаря модулю «ActiveSearch» можно производить быстрый поиск в архиве.
Пермские коллеги из компании «Макроскоп» также предоставляют возможность расширить возможности своего базового ПО функциями видеоаналитики, предлагая модули интерактивного поиска в архиве, трекинга, подсчета посетителей, обнаружения и распознавания лиц и автомобильных номеров.
Компания «ITV» выпускает программный продукт «Интеллект», умеющий осуществлять интеллектуальный поиск в архиве и детекцию движения, в функции которого входит не только обработка информации о перемещении объектов в кадре, но и определение длины очереди. Базовое ПО также может быть дополнено видеоаналитикой, реализованной на модулях распознавания автономеров и номеров железнодорожных вагонов, лиц и контроля характеристик транспортных потоков (тип проезжающего транспортного средства, контроль выполнения правил дорожного движения, информация о пробках и другие функции). Малобюджетные решения могут быть реализованы на ПО «Axxon Next», имеющем комплект наиболее востребованных функций видеоаналитики.
Специалисты из Санкт-Петербурга представляют на нашем рынке ПО «VideoNet», имеющее уже встроенные функции детектирования движения (пересечение линий, направление движения, подсчет объектов), саботажа, звука и детектор оставленных вещей. Так же программа имеет адаптивный детектор, позволяющий интеллектуально подстраивать детектор движения, делая поправку на погодные условия, такие как, например, падающий снег или дождь.
Шведская компания «AXIS» пошла по пути использования видеоаналитики, встроенной в непосредственно в камеры. Базовый набор видеоанализа включает в себя детекцию движения и пересечения линий. В более профессиональных решениях есть функции автоматического обнаружения «Active Gatekeeper», сопровождения движущегося объекта «Autotracking» и другие. Функционал, встроенный в камеру, позволяет генерировать события, основанные на сигналах данных приложений и передавать его далее. Камеры «Axis» также поддерживают открытую прикладную платформу «Axis Camera Application Platform», которая позволяет загружать модули видеоанализа сторонних производителей. Примеры модулей – счетчик посетителей, карта наиболее посещаемый зон видеосцены, добавление водяных знаков, распознавание номеров авто, и др.
Компания «Smartec» представляет два программных продукта – «SmartStation» и «NetStation», позволяющих так же использовать встроенную видеоаналитику камер «Smartec» серии «NEYRO» (с аналитикой VCA). Метаданные анализа, поступающие с этих камер, записываются в архив и затем обрабатываются настраиваемыми фильтрами ретроспективного поиска. «SmartStation» позволяет задействовать более 10 различных фильтров, обеспечивающих детектирование пересечения виртуальных границ, изменения направления и скорости движения, появления/исчезновения предметов из области наблюдения и др. В числе алгоритмов реакции – активация исполнительных устройств, подключенных к камерам видеонаблюдения, уведомление оператора о событии и др.
Компания «ISS» («Intelligent Security Systems») разработала программное обеспечение «SecurOS», которое предоставляет возможность не только контролировать ситуацию на дорогах, используя модуль контроля движения на автомагистралях «Трафик-Инспектор», но и отслеживать нарушителей при помощи «ПДД-Инспектор». Вдобавок можно использовать модули распознавания автономеров «Авто-Инспектор», номеров вагонов «Транзит-Инспектор» и контейнеров «Карго-Инспектор». Дополняет линейку видеоаналитики модуль распознавания лиц «Face-Инспектор».
И наконец, программное обеспечение «Ewclid» включает в себя детекторы движения, саботажа и дыма. Для распознавания автономеров разработчик предлагает программный модуль «EWCLID-AUTO»
В заключении хочется заметить, что видеоаналитика может широко использоваться не только в комплексных системах безопасности, но и для решения широкого спектра задач в системах управления бизнес-процессами, для проведения маркетинговых исследований (например, «тепловая» карта наиболее часто посещаемых мест в супермаркете (рис. 6), в области управления персоналом, борьбе с пробками путем распределения транспортных потоков и многих других направлениях, приносящих экономическую выгоду.
Большая территориальная распределенность объектов не является преградой для видеоаналитики. Но не стоит забывать, что видеоаналитика - не панацея от всех бед. Ее цель – минимизация рисков и повышение достоверности выявления угроз. Применение интеллектуальных модулей видеоаналитики в системах охранного телевидения позволяет повысить эффективность комплексной защиты объектов от нормированных угроз техногенного, антропогенного и природно-климатического характера.