Как найти человека на видео по лицу

Выясняем, как устроено распознавание лиц на видео и фото, и пробуем самостоятельно создать собственный детектор вместе с программистом Александром Белозеровым.

Где нужно распознавание лиц?

Разработкой ПО для распознавания и улучшением алгоритмов занимаются программисты и дата-сайентисты. Эта технология нужна в разных сферах:

• Государство: видеоаналитика используется службами безопасности стран для пограничного контроля, а в Москве так находили нарушителей карантина. Службы безопасности организаций, имеющих дело с секретностью, также используют алгоритмы идентификации для контроля доступа сотрудников к секретным объектам.
• IT-индустрия: Microsoft,  Google, Яндекс, ВКонтакте тоже разрабатывают собственные алгоритмы. 
• Медицина: технология помогает выявить болезни и отслеживать прогресс в лечении.
• Банкинг: банки используют идентификацию по лицу, чтобы снять деньги в банкомате или получить кредит.
• Образование: распознавание лица помогает поймать тех, кто списывает, — сервисы подключаются к камере на компьютере студента и отслеживают его поведение и движение глаз.
• Персональные портативные устройства: на смартфонах помимо идентификации пользователя распознавание лица выполняет и развлекательную функцию — у приложений Samsung и Snapchat оно лежит в основе AR-фильтров и масок для лица.

Как работает распознавание лиц: метод Виолы-Джонса

Один из способов распознать образ — найти контур объекта и исследовать его свойства. По этому принципу работает метод Виолы-Джонса с использованием признаков Хаара, который придумал венгерский математик Альфред Хаар.

Признаки — это набор геометрических фигур с черно-белым узором, их еще называют маски. Они помогают найти границы какой-либо формы, например очертания лица, линии бровей, носа или рта.

В алгоритме Виолы-Джонса маски накладываются на разные части кадра, а программа определяет, может ли в них находиться объект. Работает это так:

1. Классификатор (алгоритм, который будет искать объект в кадре) обучают на фотографиях лиц и получают пороговое значение — его превышение будет сигнализировать о том, что в кадре есть лицо.
2. В классификатор загружают изображение, на котором будут искать лицо.
3. Классификатор накладывает на него маски и отдельно складывает яркость пикселей, попавших в белую часть маски, и яркость пикселей, попавших в черную часть маски. Потом из первого значения он вычитает второе.

Результат сравнивается с пороговой величиной.

Если результат меньше пороговой величины, значит, в части кадра нет лица, и алгоритм заканчивает свою работу. А если больше, он переходит к следующей части кадра.

На практике маски находят лицо на фотографии так:

Алгоритмы OpenCV

У изображения лица есть свои характеристики:

1. Темные и светлые участки и зоны (темные — глаза, губы; светлые — лоб, щеки, подбородок).
2. Лица всех людей устроены по одному принципу (глаза — на одной линии, под глазами — нос, под носом — губы, под губами — подбородок).

Это значит, что можно подобрать такой набор масок и составить такой классификатор, который будет учитывать эти особенности.

Для этого можно использовать OpenCV — библиотеку алгоритмов компьютерного зрения и обработки изображений. Реализована она на C/C++, также разрабатывается для Python, Java, Ruby, Matlab, Lua и других языков.

Инструкция: распознаем лицо на фото

Шаг 1. Скачайте готовый классификатор. Мы будем использовать классификатор OpenCV, обученный находить лица, а также глаза, улыбки и другие черты. Скачать его в виде xml-файлов можно с GitHub.

Шаг 2. Скачайте PyCharm.

Для разработки мы советуем кроссплатформенную среду разработки PyCharm — в ней есть полезные инструменты для управления версиями пакетов, анализа кода и его отладки. Скачать ее можно тут.

Шаг 3. Создайте новый проект на Python, мы назвали его opencv_face_recognition.

Шаг 4. По правому клику на названии проекта в дереве каталогов добавьте новый файл main.py.

Шаг 5. Установите библиотеку. Для этого в настройках (Settings) проекта нужно найти вкладку с управлением конфигурацией интерпретатора, нажать на «+», вбить в поиск последовательно «opencv-python» и «opencv-contrib-python» и установить эти пакеты.

Это облегченная версия, которая использует для расчетов только процессор, но процесс установки все равно может занять до 15 минут.

Шаг 6. Чтобы использовать установленную библиотеку OpenCV, импортируйте модуль cv2:

import cv2

До тех пор пока мы не обратимся к каким-либо именам из него, он будет подсвечиваться серым, как неиспользуемый.

Шаг 7. Поместите ранее скачанный классификатор haarcascade_frontalface_default.xml в папку проекта

и загрузите его следующим образом:

import cv2.cv2 as cv2
face_cascade = cv2.CascadeClassifier(‘haarcascade_frontalface_default.xml’)

Обратите внимание, что в PyCharm для его корректной подсветки синтаксиса нам пришлось переписать первую строку с импортом.

Шаг 8. Загрузите изображение, на котором мы будем искать лицо, в режиме оттенков серого — информация о цвете алгоритму не важна, только его интенсивность:

import cv2.cv2 as cv2
face_cascade = cv2.CascadeClassifier(‘haarcascade_frontalface_default.xml’)
img = cv2.imread(‘xfiles4.jpg’)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

Мы будем использовать кадр из сериала «Секретные материалы» с Малдером и Скалли; вы можете поместить в папку проекта любое другое фото.

Шаг 9. Напишите код. Для поиска лиц на изображении мы используем метод с сигнатурой (его именем и списком параметров)

cv2.CascadeClassifier.detectMultiScale (image [, scaleFactor [, minNeighbors [, flags [, minSize [, maxSize]]]]]):

import cv2.cv2 as cv2
face_cascade = cv2.CascadeClassifier(‘haarcascade_frontalface_default.xml’)
img = cv2.imread(‘xfiles4.jpg’)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
faces = face_cascade.detectMultiScale(gray, 1.3, 5)

Нам хватит первых трех параметров.

• В image надо будет передать 8-битную матрицу изображения.
• scaleFactor показывает, во сколько раз мы будем уменьшать исходное изображение, пытаясь обнаружить объект: это делается потому, что мы изначально не знаем, какого размера будет лицо. Чем меньше будет этот коэффициент, тем дольше будет работать алгоритм.
• minNeighbors влияет на качество обнаружения: чем больше его значение, тем меньше образов сможет обнаружить алгоритм, но тем точнее будет его работа.

Дефолтные значения для последних двух параметров — 1.1 и 3. Их можно заменить на любые другие и подобрать для конкретного случая, если на дефолтных значениях алгоритм будет работать плохо.

Шаг 10. Если лица будут обнаружены, функция вернет набор объектов типа Rect (x, y, w, h) — прямоугольников, начало которых задано парой координат (x, y), а ширина и высота — как w и h. В цикле for добавим эти прямоугольники в исходное изображение image при помощи cv2.rectangle(image, start_point, end_point, color, thickness) по координатам их противоположных вершин (x, y) и (x+w, y+h):

import cv2.cv2 as cv2
face_cascade = cv2.CascadeClassifier(‘haarcascade_frontalface_default.xml’)
img = cv2.imread(‘xfiles4.jpg’)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
faces = face_cascade.detectMultiScale(gray, 1.3, 5)
for (x, y, w, h) in faces:
cv2.rectangle(img, (x, y), (x+w, y+h), (255, 0, 0), 2)

Шаг 11. Для отображения результата и закрытия программы по нажатию клавиши добавим еще несколько строк: вывод картинки, ожидание нажатия любой клавиши и последующее закрытие окна. В итоге весь наш проект будет выглядеть так:

import cv2.cv2 as cv2
face_cascade = cv2.CascadeClassifier(‘haarcascade_frontalface_default.xml’)
img = cv2.imread(‘xfiles4.jpg’)
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
faces = face_cascade.detectMultiScale(gray, 1.3, 5)
for (x, y, w, h) in faces:
cv2.rectangle(img, (x, y), (x+w, y+h), (255, 0, 0), 2)
cv2.imshow(‘img’, img)
cv2.waitKey(0)
cv2.destroyAllWindows()

Шаг 12. Сочетанием клавиш Ctrl-Shift-F10 (Ctrl-Shift-R на MacOS) запустим скрипт:

Инструкция: распознаем лицо в видеопотоке с веб-камеры

Модернизируем наш код так, чтобы в реальном времени обнаруживать лица в кадре, например, на видео с веб-камеры.

Шаг 1. Создайте объект для захвата видеострима:

import cv2.cv2 as cv2
face_cascade = cv2.CascadeClassifier(‘haarcascade_frontalface_default.xml’)
capture_io = cv2.VideoCapture(2)

Число для cv2.VideoCapture() придется поперебирать, индексом нашей внешней веб-камеры оказалась двойка.

Шаг 2. Считывать кадры с видеоустройства будем в вечном цикле: cv2.VideoCapture.read() возвращает булево значение об успешном считывании из потока (оно нам не нужно) в паре с самой картинкой. Преобразуем ее в 8-битную матрицу так же, как и раньше:

import cv2.cv2 as cv2
face_cascade = cv2.CascadeClassifier(‘haarcascade_frontalface_default.xml’)
capture_io = cv2.VideoCapture(2)
while True:
_, img = capture_io.read()
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

Шаг 3. Остается переписать только конец цикла — чтобы у него было условие выхода, например, по нажатию на «q» (от quit, «выйти»). cv2.waitKey(time) 10 мс ожидает ввода с клавиатуры юникод-символа, который приведет к закрытию стрима и программы.

import cv2.cv2 as cv2
face_cascade = cv2.CascadeClassifier(‘haarcascade_frontalface_default.xml’)
capture_io = cv2.VideoCapture(2)
while True:
_, img = capture_io.read()
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
faces = face_cascade.detectMultiScale(gray, 1.3, 5)
for (x, y, w, h) in faces:
cv2.rectangle(img, (x, y), (x+w, y+h), (255, 0, 0), 2)
cv2.imshow(‘img’, img)
if cv2.waitKey(10) & 0xFF == ord(«q»):
break
capture_io.release()
cv2.destroyAllWindows()

Шаг 4. Код готов, нажимаем Ctrl-Shift-F10 (Ctrl-Shift-R на MacOS) и наблюдаем результат вживую:

Мир киноискусства постоянно видоизменяется. В связи с чем, сложно уследить за бесконечными хитросплетениями и часть потока художественной информации проходит мимо нас, в том числе и некоторые «новые лица» актерского братства. В общем, часто моделируется ситуация, когда какая-нибудь актриса вас поражает в самое сердце своей красотой, харизмой или талантом и возникает вопрос: «как узнать ее имя?»

Зачастую очень просто.

Понятно, что если это фильм и название известно, то просто смотрим актерский состав. А вот если девушка из обычного видеоролика без информационно значимого названия, то в первую очередь делаем качественный скриншот, дабы лицо было видно крупно и отчетливо (без всяких лишних деталей). От этого зависит результат поиска. Ну а с фотографией еще легче, по сути, фото — это готовый скрин. А теперь к делу.

Я подготовил для вас 11 онлайн способов для распознавания лиц.

Для наглядности возьмем двух актрис — зарубежную и из России. Я наделал скриншотов прямо из видео обзоров. С первой все просто, а вот вариант с русской девушкой крайне сложен — она не так широко известна, но тем интереснее. Короче, задача — узнать кто это.

Зарубежный пример:

И наша соотечественница:

Я буду тестировать каждый способ и пытаться нарыть как можно больше информации. А вы, в свою очередь, наглядно увидите алгоритм поиска и обработку результата. Начнем с очевидного, с поисковых систем.

1) Поисковая система bing_com

Нажимаем в поисковой строке на значок фотоаппарата и при помощи кнопки «обзор» подгружаем нашу фотку или скрин.

С зарубежной актрисой у поисковика bing, естественно, проблем не возникло. Это Скарлет Йоханссон.

Зато актрису из России распознать не удалось. В принципе, ожидаемо.

2) Поисковая система Google

Теперь на очереди Google. Заходим и сверху, справа жмем на пункт «картинки».

Открывается поисковая строка с возможностью подгрузить файл для поиска по фотографии. Кликаем на значок фотоаппарата, кнопка «Загрузить изображение» и выбираем файл (подгружаем свой).

В итоге, подгрузив первую фотографию и просмотрев выдачу, можно лицезреть название фильма. Далее дело техники — просто просматриваем актерский состав. Ну, а по нашей актрисе — соотечественнице информации опять нет.

3) Поисковая система Яндекс

Теперь время русских поисковых систем и первый на очереди Яндекс. Жмем на значок «Картинки».

Далее по стандартной схеме. Иконка фотоаппарата и «Выбрать файл».

В результате, в первом случае мы узнаем и имя актрисы, и название фильма.

А во втором — мы получили сразу два тайтла. На самом деле, данная актриса снималась в обеих мелодрамах, соответственно, и узнать ее имя теперь проще простого.

4) Поисковая система Mail

Второй по значимости русский поисковик. Алгоритм поиска в нем — идентичен. «Картинки» — иконка фотоаппарата — и просто подгружаем нужный файл.

Естественно, данная поисковая система смогла идентифицировать обеих актрис. Так как первая слишком известна, ну, а с мелодрамами у Mail особо теплые отношения.

5) Китайский сервис pic.sogou_com

Следующий на очереди — Китайский поисковый сервис. К сожалению, наших соотечественниц он знает немного и тут особой надежды быть не может. Зато со Скарлет у него явно проблем не возникнет.

Кликаем по фотоаппарату.

С помощью голубой кнопки подгружаем необходимую фотку.

Получаем результат:

Вот перевод на русский язык:

6) Поисковая система tineye_com

С помощью кнопки «Upload» загружаем первую фотографию.

Результат выдачи довольно подробный. Есть имена, названия фильмов, вообщем, вся необходимая информация. Осталось только перейти по предоставленным ссылкам.

А что мы получим при загрузке в систему второй фотографии? Ровным счетом ничего.

7) Распознавание лиц с помощью betaface_com/demo.html

Теперь у нас на очереди система распознавания лиц.  Начнем с нажатия кнопки «Custom Upload».

Подгружаем изображение Йоханссон. Система обрабатывает область лица.

Нажимаем на выделенную лицевую область, тем самым вызывая окошко с пунктами. Нас интересует  кнопка «Search celebrities» (Поиск знаменитостей). Соответственно, по ней и кликаем.

По итогу мы получили правильный результат. К сожалению, во втором случае алгоритмы не справились.

Поиск в соцсетях с помощью search4faces_com

Сервис представляет из себя списки баз из различных социальных сетей. При загрузке вами любой фотографии, алгоритмы пытаются распознать черты лица и сравнивают с тем, что есть в их базе. В результате выдается изображение максимально похожего человека.

Для примера возьмем базу Вконтакте. Жмем по кнопке «Перейти».

Подгружаем ваш файл.

После загрузки открывается набор настроек. Можно обрезать лишнее, выкрутить яркость итд.

После нажатия по кнопке «Найти» получаем результат.

Понятно, что в списке совпадений куча фейковых аккаунтов, но нам это и не важно — мы узнали имя актрисы.

Естественно, первое фото я даже искать с помощью этого способа не буду.

9) Распознавание лиц с помощью pictriev_com

Еще один сервис распознавания лиц, в основе которого лежит огромная актерская база.

Я подгрузил оба файла: к сожалению, сайт себя не оправдал. Оба результата даже близко не попали в цель. Но это не значит, что сервис непригоден, пробуйте и всё получится.

10) Просмотр метаданных — exif.regex_info/exif_cgi

Метаданные — это текстовая информация, которая зашита в тело фотографии. Сведения об авторе, название, описание, год создания итд, итп. Естественно, если вы сделали скриншот видеоряда, то никаких метаданных в нем содержаться не может. Пригодна лишь полноценная фотография ито, если автор удосужился в нее вшить какие-то данные.

Переходим по адресу exif.regex_info/exif_cgi (нижнее подчеркивание в адресе замените точками) и выбираем файл.

После чего запускаем анализ изображения с помощью  кнопочки «View Image Data»

Если какая-либо информация вшита, то вы ее увидите в многочисленных таблицах данных, которые сформирует сервис по вашему запросу.

Поиск актрисы из рекламы, фильма, сериала или клипа при помощи телефона

Мы рассмотрели с вами уже 10 способов поиска полюбившейся актрисы и остался еще один, но пользоваться мы им будем при помощи телефона. Это технология Google — получение информации о различных предметах и объектах при наведении камеры смартфона. Детально описывать, тут по факту нечего — устанавливайте и пользуйтесь, отличный бесплатный продукт.

11) Гугл объектив

Ну что ж, подведем итоги. Я надеюсь, что вышеперечисленные способы помогут вам найти любого человека из рекламы, фильма, сериала, клипа или других художественных произведений. Пишите в комментариях темы, которые вас волнуют, и я постараюсь вам помочь.

Просмотры:
12 142

Поиск человека по фото

В этом уроке я покажу, как найти человека по фото в ВК и других социальных сетях. Для этого мы будем использовать бесплатные онлайн сервисы поиска людей по лицу.

ТОП-6 сервисов поиска людей по лицу

1. Search4faces – бесплатный сервис поиска в социальных сетях Вконтакте и Одноклассники. Работает без регистрации.
2. Findclone – ищет по ВК, требуется регистрация по номеру телефона. Бесплатно доступно 25 запросов.
3. Google Images – поисковик Гугл Картинки.
4. Yandex Images – поисковик Яндекс Картинки.
5. TinEye – сервис поиска по изображениям Тинай.
6. PimEyes – англоязычный сайт поиска людей по фото (платный).

Как найти человека по фото – инструкция

Шаг 1: подготовка фотографии

Сначала нужно обрезать снимок. Таким образом, мы уменьшим его размер (обычно он большой), и уберем лишнее.

1. Открываем программу для редактирования изображений: Пуск → Стандартные — Windows → Paint.

2. Добавляем фото в окно. Для этого перетягиваем его в программу или выбираем вручную из папки компьютера (Файл – Открыть).

3. Нажимаем на инструмент «Выделить» в верхнем меню, и обводим человека.

4. Нажимаем кнопку «Обрезать».

5. Сохраняем: – Сохранить как…

Шаг 2: поиск в соцсетях

Далее нужно загрузить снимок в систему поиска человека по фото. И если будут совпадения, сайт покажет страницы найденных людей. Два наиболее популярных сервиса:

1. Search4faces.com – бесплатный, без регистрации. Ищет людей по социальным сетям Вконтакте и Одноклассники. Большая база профилей.
2. Findclone.ru – требуется регистрация по номеру телефона. Умеет весьма точно находить человека по фото, но только в соцсети ВК. Бесплатно можно выполнить 25 поисков.

Был еще один хороший сервис Findface с очень точным распознаванием лиц, но, к сожалению, он закрылся.

Пример

Покажу, как найти человека через сервис Search4faces. Открываем сайт search4faces.com и выбираем режим поиска: «Аватарки Вконтакте и Одноклассников» или «Фотографии профиля Вконтакте». Нажимаем «Загрузить».

Затем добавляем фото человека (можно просто перетащить внутрь окошка) и нажимаем «Загрузить».

Обратите внимание: можно не только выбрать файл с ПК, но и загрузить фотографию по ссылке, в том числе из Инстаграма.

В следующем окне можно задать настройки: пол, страна, город, возраст. Но лучше их не указывать, а сразу нажать «Найти».

Появится список найденных профилей.

Шаг 3: поиск по всему интернету

Если не получилось найти человека по фото через сервис Search4faces и Findclone, попробуйте поискать в Гугле и Яндексе.

Сделать это можно через функцию поиска по изображениям:

• Google Images (images.google.com)
• Google Images (images.yandex.ru)

Пользоваться ими очень легко: нужно просто перетянуть фото в строку.

Google Images

Google Images

Результат появится сразу же. Сначала будет показана эта же картинка, но в других размерах (если таковые в сети имеются), чуть ниже — похожие фотографии. Еще ниже – страницы в интернете, на которых они размещены.

Рекомендую искать в обоих поисковиках. Частенько они выдают разные результаты.

TinEye (tineye.com). Популярный иностранный сайт поиска изображений.

Здесь все точно так же: перетаскиваем снимок со своего компьютера в поисковую строку, и сразу же получаем результат.

Подробнее об этих сервисах читайте в уроке Поиск по фото.

Расширения для браузера

Расширения или дополнения – это такие маленькие примочки, которые добавляются в программу для интернета и выполняют в ней определенные задачи. Например, переводят тексты, делают скриншоты. Такие программки есть и для поиска по фотографиям.

Практически у каждого браузера имеется своя коллекция разнообразных дополнений, но больше всего их в Google Chrome.

Для установки перейдите в магазин расширений:

• Google Chrome
• Яндекс и Opera
• Mozilla Firefox

В строке поиска напечатайте ключевые слова и нажмите Enter. Появятся найденные дополнения и приложения. Установите нужное — его потом в любой момент можно будет удалить.

Плагин добавится сразу после адресной строки.

На телефоне

С телефона можно также искать людей по фото через сервисы Search4faces.com и Findclone.ru. Или через поисковики Гугл (images.google.com) и Яндекс (images.yandex.ru). Кроме того, есть отдельные приложения для поиска по фото: работают они на основе всё тех же Яндекс, Гугл, TinEye. Это такие программы, как:

• Google Объектив (Play Market, App Store)
• Photo Sherlock (Play Market, App Store)

Но есть еще один хитрый, но точный способ поиска человека по фото в Одноклассниках. Для этого нужно установить официальное приложение ОК. Загрузить его можно по ссылке:

• Для Android
• Для iPhone

1. Зарегистрируйтесь или войдите в свой профиль, если он есть на сайте. Нажмите на иконку с изображением трех горизонтальных линий (вверху или внизу программы).

2. Выберите пункт «Друзья».

3. Перейдите в раздел «Дружба по фото» или «Найти по фото».

4. Разрешите доступ к камере.

5. Сделайте снимок человека или его фотографии (например, открыв ее на ПК или другом телефоне).

6. Если программа найдет страницу пользователя, он получит приглашение в «Друзья».