Как найти движение на видео

Этот пост для тех, кто хочет прокачать свои навыки монтажа и научиться применять отслеживание движения объектов на видео (motion tracking). В качестве видеоредактора, позволяющего работать с инструментом motion tracking, мы возьмём VSDC Pro.

Если вы никогда не слышали о VSDC, это многофункциональный видеоредактор, который набрал популярность за счёт своей бесплатной версии для Windows. Однако в этой статье мы будем говорить о модуле отслеживания движения объектов, доступном только в продвинутой версии программы VSDC Pro. Ниже мы расскажем о том, что такое модуль motion tracking, как он работает (спойлер: очень просто), а также приведём массу примеров, чтобы помочь вам с вдохновением.

Прежде чем начать, вы можете скачать VSDC на официальной странице. В установочном файле находится бесплатная версия редактора, с которой вы в любой момент сможете перейти на Pro (подписка на платную версию VSDC стоит всего $19.99 в год).

Поехали.

Что такое motion tracking?

В сфере монтажа motion tracking – это процесс отслеживания движения объекта в кадре. По окончании трекинга программа «запоминает» и сохраняет траекторию движения, чтобы потом применить её к объекту, которого изначально не было на видео: подписи, изображению, иконке, маске – буквально любому графическому элементу.

Скажем, вы редактируете видеозапись игры в футбол и хотите разместить стрелку над головой футболиста, чтобы зрителям было легче за ним следить. Поскольку игрок постоянно в движении, вам нужно, чтобы и стрелка двигалась вместе с ним – иначе в ней нет никакого смысла, верно? Это как раз тот случай, когда инструмент motion tracking придётся кстати. С технической точки зрения, всё, что вам нужно сделать, это отследить траекторию движения футболиста, добавить изображение стрелки, разместить её над головой игрока и наложить сохранённую траекторию.

Есть множество других примеров применения инструмента motion tracking. Чаще всего это необходимость «привязать» подпись или маску к движущемуся объекту на видео. Об этих примерах мы поговорим через несколько абзацев.

Сперва давайте на практике разберём пример с футболистом и пошагово воспроизведём его непосредственно в видеоредакторе VSDC Pro. Так вам будет понятна логика применения инструмента, и вы сможете использовать её для аналогичных задач.

Как отследить движение объекта на видео в VSDC Pro

Многие относят motion tracking к «продвинутому» уровню видеомонтажа. Начинающим пользователям сперва даже может показаться, что это очень сложно. Однако если вы всерьёз увлечены работой с видео, рано или поздно вам понадобится освоить этот инструмент, поскольку он незаменим в большом количестве ситуаций.

Кроме того, на практике всё гораздо проще, чем кажется. Ниже – пошаговая инструкция для тех, кто хочет научиться отслеживать объекты на видео с помощью VSDC Pro:

Шаг 1. Импортируйте видеофайл в VSDC.

Шаг 2. Правой кнопкой мыши кликните по видео и в открывшемся меню выберите опцию «Создать карту движения». Во всплывающем окне вам необходимо будет подтвердить папку, в которой будет храниться карта. Для удобства вы можете дать карте название, затем нажмите «Сохранить».

Шаг 3. Обратите внимание, что в верхней части интерфейса активировалось меню Motion Tracker. На сцене же появилась рамка красного цвета с точкой в центре. Разместите рамку на сцене так, чтобы она полностью закрывала объект, движение которого вы хотите отследить. Нажмите «Начать анализ».

Шаг 4. По мере проигрывания видео будет вырисовываться траектория зелёного цвета – это и есть карта движения. Через пару шагов вы привяжете к ней изображение стрелки. Как только создание траектории завершится, проверьте её корректность и нажмите «Применить редактирование».

Шаг 5. Теперь самая интересная часть. Используйте комбинацию «Shift + I», чтобы импортировать изображение, для которого вы создавали карту движения. В нашем случае это изображение стрелки в формате .PNG с прозрачным фоном. Если вы не можете использовать сочетание клавиш, используйте зелёную кнопку «Вставить объект» в верхней части меню.

Шаг 6. Захватите изображение мышкой и разместите его в отправной точке, затем сделайте по нему двойной щелчок.

Шаг 7. Используйте сочетание «Shift + Alt +M», чтобы применить к добавленному объекту траекторию, выстроенную ранее (вместо сочетания клавиш вы можете воспользоваться кнопкой «Вставить объект» >> «Движение» >> «Карта движения»). Во всплывающем окне выберите название той карты, которую вы сохранили ранее, и нажмите «Ok».

Используйте функцию предпросмотра и убедитесь в том, что всё выглядит так, как вы задумывали. При необходимости вы можете корректировать расположение и размер добавленного изображения вручную.

На этом инструкционная часть закончена. Сохраните готовое видео на компьютер через вкладку «Экспорт проекта».

8 идей для применения инструмента motion tracking на видео

Пора применить знания на практике. Трекинг объектов широко используется как для творческих задач, так и для информирования зрителя с помощью контекстуальных подписей. Идеи можно подсмотреть и в блогах на YouTube, и в рекламе, и даже в кино.

Мы собрали 8 таких примеров, которые вы сможете легко повторить самостоятельно.

Пример первый. Применение цензуры к объекту на видео

Первый и самый распространённый пример – это добавление пиксельной маски на видео, чтобы скрыть какой-либо объект. Например, вам может понадобиться спрятать лицо человека, который не должен быть узнан, скрыть номер машины, название улицы или логотип.

<pОбычно, чтобы скрыть лицо на видео (при условии, что человек не двигается), достаточно простого фильтра, который доступен в бесплатной версии VSDC. Однако, если человек перемещается в кадре, единственный способ сделать так, чтобы цензурирующая маска перемещалась вместе с ним – применить инструмент motion tracking.

Поскольку мы уже разобрали пример с привязкой полученной траектории к изображению, логика работы инструмента вам должна быть понятна. В случае с пиксельной маской единственный дополнительный нюанс – это её создание. Вместо того, чтобы добавлять стороннее изображение, маску вам необходимо будет создать прямо в редакторе.

В видеоинструкции ниже подробно показано, как это сделать:

Если же вы хотите скрыть объект смайлом или картинкой, советуем найти изображение в формате .PNG с прозрачным фоном.

Пример второй. Текст, который двигается за выбранным объектом на видео

Отдельная большая тема (в которой будет целых 6 идей) – это трекинг текста на видео. Следуя логике, описанной выше, вы можете сделать так, чтобы текст двигался вслед за объектом, к которому он привязан. Текстом в вашем случае может быть заголовок, подпись, призыв к действию – практически что угодно.

Разместить текст можно как на объекте, так и рядом с объектом. Ниже – пошаговая инструкция:

1. Импортируйте видео в VSDC и создайте карту движения, используя инструкцию в первой части статьи.
2. Затем добавьте текст на видео. Вы можете сделать это непосредственно в редакторе. Воспользуйтесь комбинацией «Shift +T» или кнопкой «Вставить объект», чтобы создать текстовое поле. Наберите текст.
3. Откорректируйте размер, стиль и шрифт текста, затем сделайте по нему двойной щелчок.
4. Воспользуйтесь комбинацией «Shift + Alt + M», чтобы применить готовую карту движения к тексту.

Теперь давайте посмотрим, как можно использовать трекинг текста на видео в различных ситуациях.

1. Создайте анимированное интро для своего канала

Если вы работаете с серией роликов или ведёте свой канал, вы скорее всего используете фирменное интро в начале каждого видео. С помощью инструмента motion tracking вы можете добавить в интро текст, который будет двигаться вслед за логотипом или любым другим объектом. Текстом может быть, например, название канала, адрес вашего сайта или ник в Instagram.

2. Используйте трекинг для отображения текстовых сообщений

Узнали, откуда взят этот кадр? Это сериал «Шерлок», в котором motion tracking используется многократно для отображения текстовых сообщений, обозначения локаций, и визуализации размышлений самого Шерлока. Чтобы повторить эффект с сообщениями, всё что вам нужно сделать – это отследить движения телефона, а затем наложить полученную траекторию на текст сообщения.

Таким же образом вы можете визуализировать мысли и речь героя, если это актуально в вашем контексте.

3. Добавьте динамики во вступительные титры

Движущиеся титры в начале фильма помогают мгновенно привлечь внимание зрителя. Почему бы вам не добавить этот приём в свой арсенал? Несмотря на то, что для таких титров часто используется 3D-текст, вы можете просто скачать стильный шрифт из бесплатной библиотеки шрифтов и это уже добавит эффект кинематографичности. Для максимальной естественности вы можете применить к титрам эффект постепенного исчезания (fade out).

4. Пусть подписи движутся вместе с обозначенными объектами

Динамические подписи делают видео более информативным и помогают избежать перегруженности в заголовках и субтитрах. Такой формат обеспечивает дополнительный контекст, что особенно удобно для зрителей, если в видео нет голосового повествования. Вы наверняка замечали этот приём в рекламных роликах – в частности, когда речь идёт о спортивных товарах и электронике.

Например, ниже – отрывок из рекламы спортивного браслета Fitbit. Создатели ролика применяют motion tracking к текстовым обозначениям сильных сторон продукта.

5. Подчеркните детали в продающих видео

Ещё одна ниша, в которой трекинг текста будет полезен – это ролики для бизнеса. Например, если вы снимаете видео о недвижимости, и вам необходимо донести большой объём информации до потенциального покупателя, гораздо удобнее сделать это с помощью контекстных подписей, каждая из которых будет принадлежать к конкретному объекту. Используйте этот приём, чтобы подчеркнуть цифры, даты и вообще любые данные, которые легче воспринимать визуально, чем на слух.

6. Сделайте видео из путешествий более информативными

Видео, снятые во время путешествий, как правило, увлекательны сами по себе, но их восприятие также можно облегчить, если использовать теги, стрелки, факты и подписи там, где это поможет зрителю. Ведь даже если вы предварительно озвучили видео, детали запомнятся лучше, если вы повторите их текстом прямо в ролике.

Motion tracking в данном случае – идеальная техника, поскольку позволяет очень точно обозначить объекты на видео, даже если они находятся в отдалении и двигаются в кадре.

Прежде чем вы приступите к работе

Когда вы приступаете к монтажу, самое главное – иметь представление о том, какой результат вы хотите получить. Как только ваша идея сформирована, визуализировать её не составит большого труда. Если вы прежде не редактировали видео, и это ваш первый опыт трекинга, обратите внимание на следующие рекомендации:

1. Когда вы размещаете рамку отслеживания движения поверх объекта, убедитесь в том, что объект полностью в ней находится. При этом не стоит стремиться к тому, чтобы рамка была «впритык». Программа сможет с более высокой точностью отследить траекторию движения объекта, если внутри рамки будут также присутствовать соседствующие цвета и формы, контрастирующие с отслеживаемым объектом.
2. Если в какой-то момент карта движения идёт в ошибочном направлении или же программа и вовсе «теряет» объект из вида, вы можете откорректировать траекторию вручную. Для этого прочитайте нашу инструкцию о том, как работать с модулем отслеживания движения в VSDC.
3. Наконец, не забывайте, что слой с объектом, который вы привязываете к карте движения, должен находиться поверх слоя с основным видео на таймлайне.

Готовы попробовать?

Тогда скачайте VSDC на свой компьютер и начинайте экспериментировать! За идеями загляните на наш канал на YouTube, а написать нам можно на Facebook.

Умный поиск событий в видеозаписях

С помощью функции Поиска записей, вы можете найти архивные записи, на которых было зафиксировано движение в определенной области кадра.

Функция доступна:

• в личном кабинете на сайте;

• в приложении Ivideon Client для ПК.

1. Поиск в личном кабинете

1. Откройте для просмотра выбранную камеру и нажмите кнопку Поиск в архиве:
2. Задайте параметры поиска: область поиска, дату и временной период, а также чувствительность (чем она выше, тем более мелкие движения будут обнаружены). 3. Установив нужные параметры нажмите кнопку Найти записи:
4. Найденные фрагменты будут отображены в виде списка коротких видеороликов, а также отмечены на шкале таймлайна жёлтым цветом: кликните по карточке видеоролика, чтобы просмотреть один из них; кликните по подсвеченному фрагменту на таймлайне, чтобы воспроизвести архив за нужное время; если установлена галочка Воспроизводить только найденное, плеер будет пропускать фрагменты, не отмеченные жёлтым цветом.

2. Поиск в Ivideon Client

Чтобы найти архивные записи с движением в определенной области:

1. Откройте просмотр с нужной камеры и в левом нижнем углу плеера нажмите Поиск записей.
2. В меню Настройки поиска задайте: дату и интервал времени; область поиска. 3. Чтобы повысить точность поиска, вы можете задать дополнительные параметры: интенсивность движения — установите высокую интенсивность, чтобы отсеять незначительные движения; продолжительность движения; интервал склейки — если интервал между роликами меньше выбранного значения, то такие ролики будут объединены в один. 4. Нажмите Найти записи и дождитесь вывода результатов.
5. Найденные фрагменты видео будут отображены над окном просмотра. Чтобы начать просмотр, нажмите на нужное видео левой кнопкой мыши
6. На временной шкале найденные фрагменты видео выделены желто-оранжевыми цветом. Чем темнее цвет, тем интенсивнее движение было в кадре.

Детектор движения для видеофайлов — программа которая позволяет обнаружить движение на видео.

С помощью этого небольшого приложения вы можете найти движение в записи с камеры видеонаблюдения или с видеорегистратора. Для этого вам не нужно просматривать запись целиком, просто укажите путь к видеофайлу.

Программа анализирует видеофайл и автоматически вырезает фрагменты видео на которых есть движение. Фрагменты с движением сохраняются в отдельном видео файле в той-же папке. Следует учесть, что в обработанном файле звука нет, только видео.

Программа детектор движения для видеофайлов на русском языке, бесплатная и не требует установки. Поддерживается пакетная обработка видео, при условии что все выбранные видеофайлы одного формата. В настройках вы можете указать чувствительность, включить / выключить опцию TimeCode, активировать подавление шума.

OpenCV вместе с Raspberry Pi могут стать мощным инструментом для работы в различных приложениях, требующих производить обработку видео в реальном времени. В предыдущей статье на нашем сайте мы рассмотрели как транслировать видеопоток из системы видеонаблюдения в Raspberry Pi с помощью OpenCV и протокола RTSP – рекомендуем прочитать эту статью прежде чем переходить к данной статье. В данном проекте мы рассмотрим применение библиотеки OpenCV для обнаружения движения (Motion Detection) в видеопотоке, транслируемом в плату Raspberry Pi из системы видеонаблюдения (CCTV). Если у вас нет под рукой системы видеонаблюдения, на которой вы могли бы протестировать данный проект, то вместо нее можно использовать проект камеры видеонаблюдения на основе платы Raspberry Pi.

Мы напишем программу на python, которая будет одновременно мониторить 4 камеры системы видеонаблюдения (CCTV cameras) и обнаруживать на них движения. Если на изображении с какой либо из этих камер будет обнаруживаться движение, то Raspberry Pi будет автоматически переключаться на экран этой камеры и подсвечивать (выделять) место на изображении, на котором было зафиксировано движение. Это будет происходить в режиме реального времени, с задержкой 1,5 секунды. Также мы добавили звуковой сигнал тревоги, который будет подаваться с помощью зуммера при обнаружении движения. Но вы можете усовершенствовать данный проект, например, при обнаружении движения будет передаваться SMS на ваш телефон или отправляться E-mail на вашу электронную почту (похожий проект описан в этой статье).

Автор данного проекта (ссылка на оригинал приведена в конце статьи) использовал плату Raspberry Pi 3 B+ с установленной на нее Buster OS, но можно использовать и другие типы плат Raspberry Pi с другими операционными системами. Также автор проекта использовал OpenCV версии 4.1 – можно использовать и другие версии данной библиотеки, но не ниже 4.1.

Вы можете скомпилировать OpenCV на плату Raspberry Pi с помощью CMake (это займет несколько часов, но это более надежно для «тяжелых» проектов) или вы можете непосредственно установить ее с помощью установщика pip, используя следующие команды:

Если вы устанавливаете OpenCV с помощью pip, то вам необходимо будет установить еще ряд дополнений с помощью следующих команд:

Также вы можете посмотреть все проекты на нашем сайте, в которых использовалась OpenCV.

Установка зуммера на 5-дюймовый дисплей

После подключения 5-дюймового сенсорного дисплея к плате Raspberry Pi, мы можем непосредственно подключить зуммер к задней стороне дисплея, к его неиспользуемым для подключения к плате Raspberry Pi контактам. Мы закрепили зуммер на тыльной стороне 5-дюймового дисплея следующим образом:

В таблице ниже представлено назначение контактов (распиновка) 5-дюймового дисплея. Как вы можете видеть из этой таблицы, большинство контактов используется самим же дисплеем для реализации в нем функций сенсорного экрана (реагирующего на прикосновения), но, несмотря на это, свободными остаются контакты 3, 5, 7, 8, 10, 11, 12, 13, 15, 16 и 24, которые мы можем использовать для подключения зуммера (buzzer). В нашем случае мы подключили зуммер к контакту GPIO 3.

Объяснение программы для Raspberry Pi для обнаружения движения на видео

Полный код программы приведен в конце статьи, здесь же мы кратко рассмотрим его основные фрагменты.

Мониторинг нескольких камер на Raspberry Pi с помощью протокола RTSP

Основной задачей при написании этого фрагмента программы является уменьшение нагрузки на Raspberry Pi чтобы предотвратить задержки при трансляции видеопотока (streaming). Изначально автор проекта пытался переключаться между всеми 4 камерами и отслеживать на них движение, но этот процесс происходил с большими задержками (около 10 секунд). Поэтому он объединил видеопотоки со всех 4 камер в одно изображение и производил обнаружение движения на этом объединенном изображении. Для этого он запрограммировал две функции, с названиями create_camera и read_camera.

Функция create_camera используется для открытия камеры с соответствующим номером канала. Заметьте, что в этой функции RTSP URL заканчивается на “02” – это означает что мы использовали трансляцию видео с под-потоков (sub-stream). Видео в этих под-потоках имеет меньшее разрешение чем в основном канале и поэтому быстрее обрабатывается. Также существенное влияние на скорость обработки видео оказывает тип используемого видеокодека. Автор проекта экспериментировал с различными видеокодеками и обнаружил, что наилучшие показатели производительности обеспечивает кодек FFMPEG.

В функции read_camera мы будем считывать видео со всех 4 камер с именами cam1, cam2, cam3 и cam4 и затем объединять их в единое изображение с названием Main_screen. Как только это изображение будет готово, мы можем «запускать» на него OpenCV.

Внешний вид получившегося у нас подобного объединенного изображения показан на следующем рисунке.

Обнаружение движения с помощью OpenCV и Raspberry Pi

Когда наше объединенное изображение будет готово, мы можем начинать на нем обнаружение движения. Внутри цикла while мы начнем считывание двух различных кадров с именами frame1 и frame2, после чего будем конвертировать их в черно-белое изображение с оттенками серого (grayscale).

Затем мы будем анализировать различия (с определенной границей (threshold) между этими двумя изображениями чтобы определить что изменилось. Затем мы будем помечать «пятнами» все места, в которых зафиксированы изменения и растягивать изображение чтобы предотвратить появление острых краев.

Далее мы находим контуры всех этих областей, в которых мы обнаружили движение. Зная контур области мы можем определить насколько велика область, в которой зафиксировалось движение. Если величина (площадь) этой области больше заранее определенного значения (motion_threshold), то мы полагаем что в этой области произошло движение и выделяем цветным прямоугольником эту область для пользователя.

Функция find_screen() используется для определения того, на какой из 4-х камер зафиксировано движение. Мы можем определить это поскольку знаем координаты x и y, на которых зафиксировано движение. Мы сравниваем эти значения x и y с местоположением экрана каждой из камер (на объединенном изображении) и, таким образом, определяем на каком экране зафиксировано движение. Затем мы вырезаем с объединенного изображения картинку этого экрана и выводим ее на весь экран Raspberry Pi.

Установка срабатывания сигнала тревоги при обнаружении движения

Поскольку теперь мы знаем на каком экране обнаружено движение, мы можем добавить любой тип сигнала тревоги (alarm) какой нам необходим. В этом проекте мы для этой цели использовали зуммер, подключенный к контакту GPIO 3. Мы проверяем с помощью условия if обнаружено ли движение на 3-м экране – если это так, то мы инкрементируем значение переменной trig_alarm. Вы можете изменить срабатывание этого условия на любой экран или даже на несколько экранов.

Если значение переменной trig_alarm станет больше или равно 3, то зуммер сработает один раз (кратковременно). Введение этого условия необходимо для предотвращения ложных срабатываний системы. Если его не вводить, то, к примеру, ложные срабатывания системы могут происходить из-за теней пролетающих птиц. То есть мы подаем сигнал тревоги только тогда, когда движение будет зафиксировано не менее чем в 3-х кадрах.

Мониторинг температуры системы

Поскольку предполагается что наша система обнаружения движения в видеопотоке с камер должна работать в режиме 24×7, то вследствие этого плата Raspberry Pi может достаточно сильно нагреваться. Вследствие этого мы решили выводить на экран дисплея температуру платы и интенсивность использования процессора (CPU) платы. Мы будем получать эту информацию с помощью библиотеки gpiozero.

Тестирование работы проекта

Автор проекта тестировал его работу на протяжении нескольких дней и нашел его работу весьма удовлетворительной. Во время его тестирования он повредил одну из камер, но все равно система продолжила достаточно устойчивую работу. Все эти процессы можно более подробно посмотреть на видео, приведенном в конце статьи.

Если вы планируете эксплуатировать подобный проект достаточно долгое время, то его автор строго рекомендует использовать правильный корпус для платы и вентилятор охлаждения для ее процессора. Также, если вы собираетесь эксплуатировать данный проект в месте, где случаются перебои с электричеством, то его целесообразно дополнить источником бесперебойного питания (UPS) и автозапуском OpenCV при перезагрузке платы.

Исходный код программы на Python

Видео, демонстрирующее работу проекта

Источник статьи

Загрузка…

1 409 просмотров