Как по картинке найти дубликаты

Как найти похожую картинку, фотографию, изображение в интернет

12.07.2019

Допустим у Вас есть какое-то изображение (рисунок, картинка, фотография), и Вы хотите найти такое же (дубликат) или похожее в интернет. Это можно сделать при помощи специальных инструментов поисковиков Google и Яндекс, сервиса TinEye, а также потрясающего браузерного расширения PhotoTracker Lite, который объединяет все эти способы. Рассмотрим каждый из них.

Поиск по фото в Гугл

Тут всё очень просто. Переходим по ссылке https://www.google.ru/imghp и кликаем по иконке фотоаппарата:

Дальше выбираем один из вариантов поиска:

1. Указываем ссылку на изображение в интернете
2. Загружаем файл с компьютера

На открывшейся страничке кликаем по ссылке «Все размеры»:

В итоге получаем полный список похожих картинок по изображению, которое было выбрано в качестве образца:

Есть еще один хороший способ, работающий в браузере Chrome. Находясь на страничке с интересующей Вас картинкой, подведите к ней курсор мыши, кликните правой клавишей и в открывшейся подсказке выберите пункт «Найти картинку (Google)»:

Вы сразу переместитесь на страницу с результатами поиска!

Статья по теме: Поисковые сервисы Google, о которых Вы не знали!

Поиск по картинкам в Яндекс

У Яндекса всё не менее просто чем у Гугла  Переходите по ссылке https://yandex.by/images/ и нажимайте значок фотоаппарата в верхнем правом углу:

Укажите адрес картинки в сети интернет либо загрузите её с компьютера (можно простым перетаскиванием в специальную области в верхней части окна браузера):

Результат поиска выглядит таким образом:

Вы мгновенно получаете доступ к следующей информации:

• Какие в сети есть размеры изображения, которое Вы загрузили в качестве образца для поиска
• Список сайтов, на которых оно встречается
• Похожие картинки (модифицированы на основе исходной либо по которым алгоритм принял решение об их смысловом сходстве)

Поиск похожих картинок в тинай

Многие наверняка уже слышали об онлайн сервисе TinEye, который русскоязычные пользователи часто называют Тинай. Он разработан экспертами в сфере машинного обучения и распознавания объектов. Как следствие всего этого, тинай отлично подходит не только для поиска похожих картинок и фотографий, но их составляющих.

Проиндексированная база изображений TinEye составляет более 10 миллиардов позиций, и является крупнейших во всем Интернет. «Здесь найдется всё» — это фраза как нельзя лучше характеризует сервис.

Переходите по ссылке https://www.tineye.com/, и, как и в случае Яндекс и Google, загрузите файл-образец для поиска либо ссылку на него в интернет.

На открывшейся страничке Вы получите точные данные о том, сколько раз картинка встречается в интернет, и ссылки на странички, где она была найдена.

PhotoTracker Lite – поиск 4в1

Расширение для браузера PhotoTracker Lite (работает в Google Chrome, Opera с версии 36, Яндекс.Браузере, Vivaldi) позволяет в один клик искать похожие фото не только в указанных выше источниках, но и по базе поисковика Bing (Bing Images)!

Скриншот интерфейса расширения:

В настройках приложения укажите источники поиска, после чего кликайте правой кнопкой мыши на любое изображение в браузере и выбирайте опцию «Искать это изображение» PhotoTracker Lite:

Есть еще один способ поиска в один клик. По умолчанию в настройках приложения активирован пункт «Показывать иконку быстрого поиска». Когда Вы наводите на какое-то фото или картинку, всплывает круглая зеленая иконка, нажатие на которую запускает поиск похожих изображений – в новых вкладках автоматически откроются результаты поиска по Гугл, Яндекс, Тинай и Бинг.

Расширение создано нашим соотечественником, который по роду увлечений тесно связан с фотографией. Первоначально он создал этот инструмент, чтобы быстро находить свои фото на чужих сайтах.

Когда это может понадобиться

• Вы являетесь фотографом, выкладываете свои фото в интернет и хотите посмотреть на каких сайтах они используются и где возможно нарушаются Ваши авторские права.
• Вы являетесь блогером или копирайтером, пишите статьи и хотите подобрать к своему материалу «незаезженное» изображение.
• А вдруг кто-то использует Ваше фото из профиля Вконтакте или Фейсбук в качестве аватарки на форуме или фальшивой учетной записи в какой-либо социальной сети? А ведь такое более чем возможно!
• Вы нашли фотографию знакомого актера и хотите вспомнить как его зовут.

На самом деле, случаев, когда может пригодиться поиск по фотографии, огромное множество. Можно еще привести и такой пример…

Как найти оригинал заданного изображения

Например, у Вас есть какая-то фотография, возможно кадрированная, пожатая, либо отфотошопленная, а Вы хотите найти её оригинал, или вариант в лучшем качестве. Как это сделать? Проводите поиск в Яндекс и Гугл, как описано выше, либо средствами PhotoTracker Lite и получаете список всех найденных изображений. Далее руководствуетесь следующим:

1. Оригинальное изображение, как правило имеет больший размер и лучшее качество по сравнению с измененной копией, полученной в результате кадрирования. Конечно можно в фотошопе выставить картинке любой размер, но при его увеличении относительно оригинала, всегда будут наблюдаться артефакты. Их можно легко заметить даже при беглом визуальном осмотре.
   

   Статья в тему: Как изменить размер картинки без потери в качестве.

2. Оригинальные фотографии часто имеют водяные знаки, обозначающие авторство снимка (фамилия, адрес сайта, название компании и пр.). Конечно водяной знак может добавить кто угодно на абсолютно на любое изображение, но в этом случае можно поискать образец фото на сайте или по фамилии автора, наверняка он где-то выкладывает своё портфолио онлайн.
3. И наконец, совсем простой признак. Если Ваш образец фото черно-белый (сепия и пр.), а Вы нашли такую же, но полноцветную фотографию, то у Вас явно не оригинал. Добавить цветность ч/б фотографии гораздо более сложнее, чем перевести цветную фотографию в черно-белую 

Уважаемые читатели, порекомендуйте данный материал своим друзьям в социальных сетях, а также задавайте свои вопросы в комментариях и делитесь своим мнением!

Похожие публикации:

• Что выбрать: MBR или GPT для SSD под Windows 10 и 11?
• 20 шорткатов (горячих клавиш) для Windows 10
• Как смотреть Ютуб без назойливой рекламы
• Истории друзей ВК — как легко убрать из ленты новостей
• Как включить режим экономии памяти в Гугл Хром?

Понравилось? Поделитесь с друзьями!

Сергей Сандаков, 42 года.
С 2011 г. пишу обзоры полезных онлайн сервисов и сайтов, программ для ПК.
Интересуюсь всем, что происходит в Интернет, и с удовольствием рассказываю об этом своим читателям.

Привет, меня зовут Петр и я работаю в Badoo в команде биллинга. В этой статье я хочу поделиться своим опытом работы над пет-проектом по созданию хранилища фотографий с возможностью поиска дубликатов. Я расскажу, с каким багажом я вошел в этот проект, в чем заключалась задача и как её решал. В конце поделюсь результатами и почему я считаю, что это один из лучших проектов, которым я занимался. 

Однажды мои знакомые попросили сделать им хранилище изображений для их проекта по модерации внешних ресурсов. Условия: срок хранения до трех лет, фотографии при этом присылаются неравномерно, в среднем поток — 150.000 картинок в сутки.

Казалось бы, достаточно банальная задача. Если бы не еще одно условие: хорошо бы сопоставлять фотографии с уже имеющимися: искать дубликаты и помечать их. 

Начну с того, что есть два класса дубликатов. Первый — это миниатюры, то есть одно и то же изображение, которое растянули или сжали. Второй класс назовем полудубликатами. Это изображения, которые получены из оригинала с более серьезными изменениями. Типичный пример: отрезали у изображения верх с водяным знаком и добавили свой:

Эти полудубликаты нас и интересовали: мы хотели сопоставлять именно этот класс. Но мне было неясно, как решить эту задачу, пока я не наткнулся на теорию о ключевых точках, которой очень загорелся, воспринял как личный вызов и активно ею занялся. Кратко расскажу, в чем заключается теория и как она позволила нам сравнивать полудубликаты.

Ключевые точки

Ключевая точка — это некоторая особенность изображения, где что-то происходит. Например, изменение контраста, который проявляется на углах и гранях. Есть очень много алгоритмов, которые позволяют выделить эти ключевые точки, и все они работают по-разному. На одном изображении они выдадут разное количество точек да и сами точки будут отличаться. Но, как правило, все они возвращают массив из структуры из трех параметров, x, y и q, где 

• x, y — координаты этой самой точки на картинке;

• q — это некоторый параметр, который определяет качество этой точки, то есть насколько сильным было изменение. 

Для сравнения алгоритмов я ввел для себя такое понятие как покрытие. Взял набор картинок из 10.000, разбил каждую на области 16х16 пикселей и посмотрел, в какой процент таких областей попадает хотя бы одна ключевая точка:

Это было нужно, чтобы выбрать алгоритм, который лучше всего описывает тестируемые мной изображения. Если в область не попадает ни одна ключевая точка, то сравнивание в этой области проводится не будет. И чем больше таких областей, тем менее точный поиск будет. В результате я получил большую таблицу, но основные алгоритмы выделились следующие:

Исходя из таблицы, я выбрал алгоритм AKAZE: у него хоть и не самое высокое максимальное покрытие, но хорошее среднее значение и приемлемое время обработки.  Стоит обратить внимание: выделение ключевых точек и анализ по этому алгоритму занимает полсекунды, что достаточно много при большом объеме изображений. 

Анализ изменений

Итак, мы нашли локальную особенность на картинке. Теперь ее надо как-то описать, и в качестве примера я приведу принцип работы самого простого алгоритма — BRISK. На вход мы передаем алгоритму координаты x и y, и тот разбивает область диаметром в 30 пикселей вокруг этих координат на множество мелких частей. Дальше алгоритм бинарно сравнивает эти части между собой. Производится 512 вычислений, в результате мы получаем вектор длиной 512 бит, то есть для описания области диаметром 30 пикселей у нас уходит 64 байта. Этот вектор дальше будет называться дескриптором.  

Теперь мы можем выделить ключевые точки по обоим нашим изображениям, посчитать дескрипторы и получить их массив для одного и второго изображения. И, сравнив эти строчки побитово, найти пары. Если это сделать аккуратно и визуализировать, то можно получить вот такую вот картинку: 

Все алгоритмы достаточно сложны, чтобы нивелировать изменения, в частности поворот. Поэтому если просто перевернуть изображение, то ключевые точки также сопоставляются.

И вроде бы всё хорошо, но возникает другая проблема: такое прямое сравнение хорошо работает, только если изображение было сохранено без потери качества или масштабирования. Иначе появляются ошибки и дескрипторы не сопоставляются. Чтобы это исправить, я использовал одну интересную функцию.

Расстояние Хэмминга

Эта функция, которая говорит, сколько у нас есть позиций, где две строки одной длины отличаются. Рассмотрим пример:

Видно, что две бинарные строки отличаются в трех позициях, то есть расстояние Хэмминга между этими двумя строками будет равно трем. Это расстояние для простоты я буду называть дальше также ошибкой. 

Выбор дескриптора

Теперь, учитывая расстояние Хэмминга, мне было нужно выбрать подходящий алгоритм. К этому времени в базе проекта было собрано много изображений, и я скриптом создал для 10,000 картинок их различные модификации: обрезал сверху или снизу, именил размеры, добавленный текст. Полученные картинки сопоставил, чтобы сравнить заведомо похожие и заведомо не похожие изображения.

Потом я построил графики для каждого алгоритма, где видно, что чем большую ошибку (расстояние Хэмминга) мы допускаем, тем больше получаем положительных, но и ложноположительных сопоставлений:

Разделив один график на другой, можно получить оптимальное расстояние Хэмминга, при котором максимально соотношение положительных к ложноположительным сопоставлениям. Например, для выбранного мной алгоритма получилось 3:

Выбирая алгоритм я также смотрел на процессорное время которое требуется на обработку изображения алгоритмом. А еще — на длину дескриптора, у разных алгоритмов его длина различна. Одно дело 8 байт, другое дело 64 на одну ключевую точку, которых будут миллиарды.

Итак, мы смогли сопоставить точки и даже нивелировали какую-то погрешность. Какие изображения теперь можно считать похожими?

Критерии

Во-первых, я пришел к выводу, что если у фото меньше 10 ключевых точек, то это, как правило, очень низкокачественные изображения. Их я просто отбрасывал, помечая как некачественные. 

Во-вторых, картинки можно считать похожими, если пересечений больше 20% от возможного. Например, в одном изображении 100 ключевых точек, в другом — 200. Максимум может пересечься 100 точек, и, соответственно, достаточно 20 сопоставленных дескрипторов, чтобы эти два изображения признать похожими. 

После того как мы научились сравнивать картинки, осталось только научиться искать одну в большой базе.

Как искать похожие изображения

Первой идеей был линейный поиск. Он очень простой: берем картинку и сравниваем с первой, а потом — со второй, третьей и так далее, пока они не закончатся. Номера тех что совпали — возвращаем как достигнутый результат. Но линейный поиск был вскоре отброшен. При линейном поиске с ростом базы в 2 раза время на обработку вырастает в те же 2 раза, что в итоге оказалось слишком много уже на базе в миллион.

Тест скорости: 

• Загружен 1 миллион изображений;

• Получено примерно 350 миллионов ключевых точек;

• База занимает 10 ГБ (то есть одна картинка в таком индексе занимает примерно 10 Кб). 

• Поиск одной ключевой точки — 47 секунд, а поиск всего изображения — 4,5 часа. Напомню, что в изначальной постановке задачи в день добавляется порядка 150 тысяч новых изображений — получится либо очень долго, либо нужно безумное количество серверов (чего не было). 

Дальше я опробовал много других методов: например, HEngine, VP-деревья и разные специализированные движки. Все, кроме последних, я реализовывал на PHP. Но проблема оказалась не в производительности языка, а в алгоритмической сложности задачи, которую я пытался решить. И наконец одна интересная структура помогла мне найти решение. 

Префиксное дерево

Это дерево, в котором ключ закодирован не значением в самом узле, а путем до этого узла. В префиксном дереве есть два типа узлов. Голубым я отметил узлы, которые хранят информацию только о дочерних узлах. Зеленым — те, что хранят конечную информацию, это может быть какое-то значение, массив, указатель, всё что угодно.

Вот пример префиксного дерева, где закодированы 6 строк длиной в 3 бита:

Теперь разберемся, как можно в префиксном дереве искать с допустимой ошибкой. Например, нам нужно найти все строки которые отличаются от 010 на 1 бит. То есть мы допускаем только одно искажение в любом бите: 

• Сначала мы идем с корня, в котором пока накоплена ошибка 0, в узел и дальше по ветке 0. Она совпадает с нашим первым битом, поэтому накопленная ошибка не увеличивается.

• Идем в следующий 0, а он уже отличается от нашего второго бита, поэтому накопленная ошибка становится 1. 

• Она не превышает максимально допустимую, поэтому мы продолжаем рассматривать решение и так, идя по ветке 0, доходим до самого низа. Если накопленная ошибка у нас остается равной 1, то мы признаем решение успешным.

• Возвращаемся наверх и идем по ветви 1. Так как она отличается от нашего последнего бита, то ошибок становится две, то есть данное решение нам не подходит.

• Дальше пробегаем вторую ветку и переходим на вторую половину дерева. И итоге нам подойдут три значения: два из них с искажением в 1 бит:

Смысл в том, что когда ошибка достигает максимального значения, глубже по дереву спускаться уже не нужно. Ошибка может только расти, и если она достигла какого-то максимального значения, то дальше будет только хуже. В результате поиск начинает работать очень быстро, даже если у дескриптора 512 уровней. А при росте количества элементов скорость с какого-то момента просто превращается в константу и никуда не двигается.

Таблица, которая у меня получилась при сравнении дерева с линейным поиском:

Видим, что на той же базе в 1 млн изображений размер базы внезапно уменьшился на 3 ГБ. Почему так произошло? Потому что префиксные деревья изначально делают дедупликацию данных, и поиск одной ключевой точки вместо 40 секунд стал занимать всего 3,5 мс. А поиск одного изображения стал быстрее в десять тысяч раз!

Конечно, чтобы обрабатывать 150 тысяч изображений в день, обработка должна проходить за полсекунды. Но никто не мешает искать в  префиксном дереве во множестве потоков — и тем самым увеличивать скорость. Первая версия префиксное дерева была реализована на PHP, и она так быстро работала за счет удачно подобранного алгоритма. 

На мой взгляд, префиксные деревья — это очень недооцененная структура данных в современном мире. Те же индексы: если у вас какое-то значение закодировано строкой и в данных мало энтропии —  префиксные деревья будут занимать гораздо меньше памяти, чем двоичные деревья, которые используются в современных реляционных базах данных. Когда я использовал в Postgres префиксные деревья для индексов, мне удавалось уменьшить размер индекса в среднем в два раза.

Префиксное дерево может давать еще такой интересный эффект как рекомендации. Поскольку мы можем искать с какой-то допустимой ошибкой, а у вас, допустим, есть миллиард товаров или каких-то объектов, чье качество кодируется битами — то вы можете поискать и предложить объект, очень похожий на тот, что изначально искал пользователь. 

Перейдём от теории к практике.

Реализация проекта

Хранение изображений 

В первой итерации я просто складывал файлы на диск. Но когда картинок стало несколько миллионов, то выяснилось, что бэкапить такие данные, переносить и анализировать очень сложно. Поэтому в итоге была собрана такая схема:

NGINX принимает запрос и пересылает его демону, написанному на ReactPHP. Демон с помощью данных, хранящихся в реляционных базах данных, понимает: что это за картинка, на каком сервере она хранится, в каком устройстве, с каким смещением и какого объема. Эта информация передается нужному серверу, который просто читает с блочного устройства нужное количество байт с нужным смещением. 

Это дает очень большой прирост к производительности, особенно на задачах массовых данных, когда одновременно надо делать бэкап, пересчитывать все картинки для индекса или переносить их. Но даже одно чтение может проходить в десять раз быстрее.

Это решение пришло мне из системы резервного копирования Bacula. Как следствие, я понял, что ленточные носители очень удобно бэкапить, и при современных ценах на жесткие диски это вышло очень недорого (напомню, что проект был личным, много делалось на энтузиазме, поэтому позволить себе какие-то дорогие решения мы не могли).

Как выглядел кластер

При поиске одной картинки в префиксном дереве происходит примерно 10 тысяч операций чтения памяти для одной ключевой точки, то есть операций чтений из разных случайных блоков. Поэтому данные обязательно должны храниться в памяти, с диска читать такое количество данных невозможно. Но, конечно, рано или поздно заканчивается память. Где-то на 30 миллионах, заняв все 128 ГБ оперативной памяти, нам пришлось переходить к шардированию:

Для данного алгоритма это не проблема, но все ключевые точки одного изображения должны лежать в одном блоке. После чего данные разбиваются по разным блокам. Каждый блок может обслуживаться своим отдельным сервером или группой серверов. Всё это позволяет достигнуть отказоустойчивости и линейно повышать скорость поиска.

Как происходит поиск

Конвейер поиска выглядит достаточно просто. Есть некоторый PHP-демон, который успешно живет месяцами. Он принимает на вход картинку и отправляет ее на кластер, который выделяет ее ключевые точки. Так как картинки могут приходить очень большими пачками, то их нужно обрабатывать максимально быстро — поэтому этим занималось несколько узлов.

Дальше полученные ключевые точки отправлялись во все блоки, и один из обслуживающих блок серверов брал на себя задачу найти id всех похожих изображений и отправить их мастеру. Который компилировал эту информацию:

Вставка работала примерно также, но с единственным различием: запись происходила через демон ReactPHP и только в один блок, в зависимости от внутренней логики. У меня использовалась round-robin:

Результаты

Нам удалось достичь поиска 95 перцентиля (95% изображений) за 8 секунд. Но при большом количестве потоков это работало очень быстро. Кластер спокойно искал 200 фотографий в день, что позволяло с запасом решать наши задачи.

Всего у нас было 150 млн изображений на 18 ТБ, и в пики их обслуживало 9 узлов. Почему я говорю про пики? По мере того как мы узнавали что-то новое, нам удавалось оптимизировать расходы и оборудование. В конце у нас был узел, который имел на борту 768 ГБ оперативной памяти. Он держал почти весь индекс, который составлял 790 ГБ, но его стоимость была сопоставима с топовым игровым компьютером. Никаких заоблачных цен. 

К сожалению, в прошлом году проект был закрыт, но я совершенно не жалею, что работал над ним. Потому что до этого я жил в некой парадигме, что PHP подходит только для сайтов. Как только вам нужно что-то серьезное или большое, то нужно использовать любой другой язык. Мой взгляд изменился, потому что почти всё в этом проекте было написано на PHP. Только один маленький кусочек был переписан на С — мультипоточность для дерева. 

Я получил огромный опыт работы с распределенными вычислениями. Этот опыт до сих пор мне полезен. Я активно ищу и помогаю решить задачи в Badoo, связанные именно с этим, поскольку у нас очень большая инфраструктура. Пока я этим занимался, я много читал про базы данных, и многие мои решения были почерпнуты из документации Postgres и MySQL. У меня теперь есть уверенность в том, что почти любую задачу можно решить, если подойти к ней системно и выделить для этого достаточно времени.

К тому же, я очень интересно провел время, потому что люблю программировать. Мне интересно решать очень сложные задачи. Эта задача, наверное, была одной из самых сложных. Причем не только технических: непросто было не опускать руки каждый раз, когда я натыкался на новые проблемы и думал, что теперь точно конец, ничего больше нельзя сделать. 

Что я хочу сказать напоследок? Хочу пожелать всем найти свой пет-проект, который так же как и меня в свое время, увлечет на пару лет и поможет круто прокачаться.

Конференция PHP Russia 2022 — отличное место, где можно рассказать о своём опыте сообществу. Она пройдет 12 и 13 сентября в Москве, в Radisson SAS Славянская. В центре внимания: развитие экосистемы (сам PHP, стандарты, фреймворки, библиотеки, OpenSource); опыт крупных компаний для построения на PHP сложных проектов и лучшие практики. И, конечно, темы повседневной разработки.

До 25 мая идет прием заявок на выступления. Оплачиваются расходы на дорогу и проживание спикеров. Все подробности на сайте.

С годами на компьютерах собирается большое количество фотографий. Среди которых часто попадаются копии одного и того же изображения. В итоге фотографии могут занимать значительную часть памяти вашего ПК. Поиск и удаление одинаковых фотографий поможет сэкономить ресурсы компьютера. К счастью для этого есть специальные программы и вам не придется искать одинаковые фотографии в ручную.

В этой статье я познакомлю вас с лучшими бесплатными программами для поиска одинаковых фотографий на компьютере с операционной системой Windows 10/8/7. Перечисленные в статье программы помогут вам отыскать одинаковые изображения и даже незначительно модифицированную их версию.

Программы для поиска одинаковых фотографий

Перед тем, как вы начнете использовать эти инструменты, обязательно сделайте копию всех ваших изображений. С вашими фотографиями нечего не будет, но всегда лучше иметь резервную копию важных данных.

РЕКОМЕНДУЕМ:
Добавление 3D-эффектов на фото в Windows 10

Find.Same.Images.OK

Программа Find.Same.Images.OK находит одинаковые изображений, сравнивая их на уровне пикселей. Таким образом, даже если изображения отредактированы, то есть повернуты, зеркалированы и даже изменены, программа сможет их найти.

Скачать программу Find.Same.Images.OK вы можете с официального сайта.

Awesome Duplicate Photo Finder

Данная утилита делает поиск и может находить точные копии изображений, а также показывает процент их сходства. Я проверил работу программы в одной из моих папок, в которой были разные вариации одной и той же фотографии с точки зрения цветов, размеров и даже изображений с похожими лицами. Awesome Duplicate Photo Finder смог найти все.

С помощью настроек можно регулировать поиск похожих изображений от точных копий до похожих снимков. Программа доступна так же в портабельной (версия не требующая установки на компьютер) версии.

Скачать утилиту Awesome Duplicate Photo Finder вы можете с официального сайта.

CCleaner

Многофункциональная утилита CCleaner поставляется со встроенным модулем поиска одинаковых файлов Duplicate Finder, которую вы можете использовать для поиска одинаковых картинок. Но возможности поиска с помощью CCleaner очень ограниченны, т.к. он может найти только изображения с одинаковым размером, именем и измененной датой и содержимым файла, но не
может определить какие именно файлы можно безопасно удалить.

Поэтому я рекомендую проверить путь к файлу и сам файл, чтобы убедиться, что он на самом деле является дубликатом. Папки для поиска одинаковых фотографий вы можете выбирать сами с в  настройках поиска.

Загрузить программу CCleaner вы можете с официального сайта.

Glary Duplicate Finder

Используя Glary Duplicate File Finder, вы можете полностью просматривать все изображения на своем компьютере, чтобы найти дубликаты изображений. Результат делится на две части: на файлы и дубликаты файлов. Вы можете указать, что вы хотите сохранить и удалить все остальное. Чтобы найти дубликат, утилита сопоставляет файлы по типу, содержанию, размеру и дате создания.

Вы также можете нажать кнопку «Check Intelligent» (Проверить интеллектуальность), и он будет выбирать только те дубликаты файлов, которые можно удалить одним щелчком мыши не задумываясь.

Скачать программу для поиска одинаковых изображений Glary Duplicate Finder вы можете с официального сайта.

VisiPics

Это старое программное обеспечение, но оно довольно хорошо работает. Возможно, вам не понравится его интерфейс, но способность находить изображения безусловно впечатлит. Вы можете найти дубликаты изображений, используя три разных фильтра: строгий, простой и свободный. Он также находит небольшие и несжатые изображения с низким разрешением в виде дубликатов, что дает вам возможность выбрать и сохранить лучшую копию. VisiPics поддерживает изображения JPEG, GIF, PNG, BMP, PCX, TIFF, TGA и RAW. Результаты отображаются в реальном времени. Поэтому вам не нужно ждать завершения сканирования. Вы можете продолжать удалять изображения по мере их появления в результате.

Загрузить программу VisiPics вы можете с официального сайта.

Visual Similarity Duplicate Image Finder

Этот поисковик изображений ищет похожие изображения на основе форматов изображений, разной глубины бит и размеров изображений. Программа позволяет вам выбрать процент сходства при выполнении поиска изображений. Как и VisiPics, Visual Similarity Duplicate Image Finder также может находить меньшие изображения с меньшим разрешением в виде дубликатов.

Приложение позволяет создавать правила, выбирать действия после обработки и так далее. Программное обеспечение также поддерживает кеш предыдущих результатов для получения более быстрых результатов. Но в бесплатной версии есть один минус — ограничение результатов до 10.

Скачать утилиту Visual Similarity Duplicate Image Finder вы можете с официального сайта.

AntiTwin

Этот небольшой инструмент может сравнивать не только размер и дату файла, но и его содержимое. Он может находить похожие изображения, документы и музыкальные файлы на вашем ПК. Самое большое преимущество использования этого программного обеспечения в том, что он абсолютно бесплатный, и рекламное ПО полностью отсутствует. Для получения точных результатов при сравнении изображений вы можете выполнить байтовое сравнение или сравнение пикселей.

Результаты ясно показывают дубликаты изображений, но при этом вы можете также просмотреть каждый файл во избежание удаления важной для вас информации.

Скачать программу для поиска одинаковых изображений AntiTwin вы можете с официального сайта.

Рассмотренные выше инструменты помогут вам избавиться от дубликатов изображений и не только изображений. И хотя есть много других программ, — эти наиболее просты и бесплатны!

РЕКОМЕНДУЕМ:
Как найти все фотографии на компьютере

Если вы используете другие удобные и бесплатные программы поиска дубликатов изображений, дайте нам знать в комментариях.

(13 оценок, среднее: 4,31 из 5)

Загрузка…

В этом материале речь пойдёт об инструментах выявления дублирующихся фото. В частности, сегодня в нашем обзоре побывают сразу шесть программ для поиска дубликатов фотографий на компьютере под управлением Windows. Мы сравним и выберем среди них лучшие и самые быстрые.

Поиск одинаковых фотографий: программы и их сравнение

Причин востребованности программ для поиска одинаковых фото на компьютере может быть несколько, например:

• Ваша коллекция могла разрастись настолько, что дубликаты уже занимают немало места;
• Вам нужен инструмент, который найдёт одинаковые или похожие фотографии, избавив вас от необходимости просматривать эти изображения самостоятельно.

В нашей подборке нашлось место для шести интересных программ, четыре из которых распространяются бесплатно. Ниже по тексту мы:

1. Расскажем о каждой из этих программ для поиска и поможем вам быстрее сориентироваться в их интерфейсе;
2. Проведём сравнение всех программ, в котором посмотрим, как они справляются с поиском одинаковых изображений при их лёгком видоизменении;
3. Проверим насколько программы хорошо могут справиться с большим набором фото весом в несколько гигабайт.

Найти дубликаты фотографий с помощью Image Comparer

Первая программа в нашем обзоре, ищущая дубликаты фото, называется Image Comparer. Её сильные стороны: неплохая функциональность и переведённый на русский язык интерфейс, включая подробную справочную информацию.

Теперь о недостатках. Первый – программа не бесплатная. Впрочем, стоимость лицензии составляет гуманные 350 рублей (хотя на сайте почему-то указана цифра 500). Вдобавок первые 30 дней вы можете использовать Image Comparer бесплатно.

Второй негативный момент заключается в лёгкой запутанности, которая может смутить неопытного пользователя. Например, для того чтобы провести поиск в рамках одной папки (в которую могут быть вложены и другие) вам нужно нажать на кнопку «создать галерею» и выбрать нужный каталог, в котором будет проводиться сканирование.

Далее вам тут же предложат дать имя и сохранить файл создаваемой галереи в любое удобное место (этот файл нужен будет самой программе). Как только это будет сделано, перед вами в виде списка или миниатюр откроется перечень всех изображений в указанной папке и её подпапках:

Кнопки, отмеченные стрелками, запускают поиск дубликатов. Первая кнопка – поиск в рамках одной галереи (выбранной вами папки), вторая кнопка чуть правее – в рамках нескольких галерей. Мы пошли по первому варианту.

Следом программа предложила создать ещё один служебный файл, в котором будут сохраняться результаты для дальнейшего удобного к ним доступа. Собственно, создание файла для галереи и вот этого файла с результатами поиска как раз и может немного запутать неопытного юзера. Впрочем, далее всё уже просто. Перед вами появятся найденные дубликаты:

Их можно просматривать в виде миниатюр или же, щёлкнув по вкладке «пары изображений», перейти к виду, где фотографии будут уже сравниваться между собой:

Ползунок по центру позволяет регулировать порог схожести изображений. Установите 100% и перед вами останется только список идеально похожих друг на друга одинаковых картинок. Более низкие значения отобразят лишь схожие фотографии.

В настройках можно увидеть огромный список форматов от базовых JPG и PNG до более экзотических, с которыми работает программа. Форматы можно добавлять и исключить из поиска. Также можно настроить учёт отражённых и перевёрнутых картинок.

• Программа Image Comparer. Официальный сайт;
• Язык: русский;
• Распространение: платно, 30 дней бесплатного использования.

Нахождение одинаковых фотографий в три клика с VisiPics

Следующая программа – VisiPics. В отличие от рассмотренной выше Image Comparer, VisiPics является бесплатным приложением, также специализирующемся на дубликатах фото. Увы, локализации на русский здесь нет, но расстраиваться по этому поводу точно не стоит: всё очень просто и предельно понятно.

С помощью боковой панельки навигации (мы обвели её в рамку) выберите нужный каталог. Далее нажмите стрелочку со значком «+», чтобы добавить эту папку в список, по которому будет вестись поиск. При желании таким же образом вы можете выбрать ещё несколько папок. Наконец, третьим шагом нажмите кнопку Play, чтобы запустить процесс нахождения дубликатов.

Справа от неё располагается специальный ползунок, где вы можете настраивать уровень «внимательности» программы. В случае установленного по умолчанию базового уровня VisiPics обнаружила для нас лишь две группы дубликатов, одна из которых состояла из трёх изображений, а другая из двух:

Это те изображения, которые программа считает практически идентичными дубликатами. Однако если вы понизите ползунок до уровня Loose, то находиться будут и просто похожие друг на друга изображения. В нашем случае при установке Loose вместо Basic приложение нашло ещё четыре (в итоговом тесте ниже – 5) группы дубликатов, а одну из двух уже найденных дополнило ещё одной картинкой:

Дополнительных опций у программы относительно немного. Здесь можно настроить поиск в подпапках (по умолчанию он включён), отображение скрытых папок, учёт фотографий, повёрнутых на 90 градусов. На вкладке loader можно попросить VisiPics игнорировать мелкие файлы или, наоборот, картинки в слишком большом разрешении. Последнее важно для скорости.

• Программа VisiPics. Официальный сайт;
• Язык: английский;
• Распространение: бесплатно.

Программа для поиска дубликатов Awesome Duplicate Photo Finder

Если вы ищете именно предельно простую программу для качественного поиска дублирующихся фото и изображений, в которой было бы элементарно легко разобраться, то обратите внимание на Awesome Duplicate Photo Finder. Интерфейс здесь на английском, но он настолько прост, что разберётся в нём каждый.

С помощью кнопки «+» укажите нужный для поиска каталог или несколько каталогов, после чего нажмите Start Search и по ним начнётся поиск. Опция Scan Subdirectories по умолчанию включена и отвечает за поиск в подпапках. Со своими задачами программа справляется, находя как весьма похожие:

Так и чуть более отличающиеся между собой картинки:

В настройках программы вы можете задать соответствие в 100%, если вам нужны исключительно абсолютно одинаковые фотографии.

Самих настроек, как видите, немного. Пожалуй, самое печальное, что работает программа всего с пятью основными форматами: BMP, JPG, PNG, GIF и TIFF. Причём последний по умолчанию не учитывается.

Также есть опции для обеспечения удаления дубликатов напрямую в корзину и отключения всплывающего подтверждения. Ещё программа умеет обновляться автоматически.

• Программа Awesome Duplicate Photo Finder. Официальный сайт;
• Язык: английский;
• Распространение: бесплатно.

Ищем похожие изображения с Similar Images Finder

Приложение Similar Images Finder встречает нас недобрым сообщением на английском о том, что за него нужно заплатить $34. Тем не менее на протяжении 30 дней программа готова поработать бесплатно. Следом появляется окно, предлагающее выбрать каталоги для поиска дубликатов:

Из него же мы узнаём, что Similar Images Finder поддерживает 29 форматов изображений, причём пользователь может выбирать конкретные форматы для поиска или исключать лишние. В списке, помимо прочего, можно наблюдать ico и wbmp.

При нажатии Next вы запустите поиск дубликатов, а когда он будет закончен, нажмите Next ещё раз, чтоб увидеть дополнительные настройки. Регулируя их, вы сможете более тщательно настроить то, что отобразится в списке результатов. Наконец, нажав Next в третий раз, вы увидите уже и сам результат:

Перейти к следующей найденной картинке можно нажатием миниатюрной стрелочки в верхнем правом углу. Весь список найденных дубликатов открывается кликом по большой кнопке вверху с адресами текущих файлов.

В свою очередь, нажатие кнопки Next внизу приведёт к завершающему этапу работы. Там программа выведет список того, что, по её мнению, точно является дубликатами и предложит их удалить. На скриншоте выше Similar Images Finder справилась с изображением, куда был добавлен водяной знак, а также изменён контраст гистограммы.

Различая между картинками программа посчитала на уровне 5,5%. При этом в другом примере, где на вторую картинку нами был добавлен сильный эффект размытия, отличия, по версии приложения, почему-то составили всего 1,2%:

Увы, программа, находя реальные дубликаты, по умолчанию показывает и многие совсем непохожие друг на друга изображения, как будто в них есть что-то общее:

• Программа Similar Images Finder. Официальный сайт;
• Язык: английский;
• Распространение: платно, 30 дней бесплатного использования.

Универсальный поиск дубликатов с Duplicate Remover Free

Duplicate Remover Free – единственная в нашем обзоре программа, которая сосредоточена всё же не конкретно на дубликатах фотографий, а на поиске дубликатов в целом.

Как показывает практика, такие универсальные решения не очень хорошо проявляют себя в задачах, связанных с какой-то более узкой областью.

Однако одной такой программе мы сегодня даём шанс. Как подсказывает слово Free – распространяется она бесплатно. Вторым достоинством приложения является русский язык, а третьим – относительная современность на фоне других программ в этой подборке, многие из которых, к огромному сожалению, не обновлялись уже долгие годы.

Вам следует кликнуть по кнопке «добавить директорию» и выбрать нужные папки. По умолчанию программа в заданном каталоге не нашла для нас вообще ничего, однако, когда вверху вместо «точные дубликаты» мы выбрали пункт «похожие изображения», тут же были найдены четыре группы дубликатов, одна из которых состояла сразу из трёх файлов:

Дополнительных возможностей у приложения совсем немного. В частности, вы можете исключать из поиска файлы до и после определённого размера.

• Программа Duplicate Remover Free. Официальный сайт;
• Язык: русский;
• Распространение: бесплатно.

Поиск совпадающих фото по различным алгоритмам с AntiDupl

Заключительный участник нашего обзора – программа AntiDupl может приглянуться вам сразу по нескольким причинам. Во-первых, она бесплатная. Во-вторых, у неё русский интерфейс. Последнее, впрочем, не очевидно. Для того чтобы включить русский, откройте меню View и в разделе Language выберете соответствующий пункт:

В отличие от других, эта программа не инсталлируется, а находится в самораспаковывающемся архиве, который извлекает её вместе с необходимыми файлами в отдельную папку.

Чтобы подготовить поиск дубликатов кликните по кнопке с подписью Open и в появившемся окне добавьте нужные каталоги:

Следом можно нажимать Ок, а потом активировать на панели инструментов зелёную кнопку «начать поиск». Используя базовый алгоритм, программа нашла для нас несколько групп дубликатов:

Переключив вверху алгоритм на более вольный SSIM, мы получили уже на две группы дубликатов больше, а после увеличения «свободы» поиска с 20 до 35% программа выдала нам ещё более подробный список:

При этом во всех случаях действительно нашлись как минимум заметно похожие друг на друга изображения. Так что не брезгуйте экспериментировать с настройками.

Дополнительных опций у программы немало:

На вкладке «поиск» можно узнать, что AntiDupl поддерживает 13 форматов, среди которых помимо традиционных JPG/PNG, есть ICON, PSD и EXIF. Разумеется, форматы можно выбирать. Ещё в опциях есть проверка на дефекты, блочность и размытость, причём в последних двух случаях можно задавать порог. Есть возможность искать в скрытых и системных каталогах.

• Программа AntiDupl. Официальный сайт;
• Язык: русский;
• Распространение: бесплатно.

Какая программа лучше ищет одинаковые и похожие фотографии?

При поиске дубликатов часть пользователей интересует именно 100% соответствие, чтобы избавиться от дублей в своей коллекции. Однако нередко возникает и задача найти просто похожие картинки.

И вот здесь огромное пространство для возможных отличий. Этот могут быть разные форматы, разрешения, обрезанные версии одного и того же изображения, добавление рамок и водяных знаков, изменённые цвета и подписи на картинках.

Мы постарались учесть большинство из этих факторов и после всех проб создали в итоге небольшой набор с более чем шестью десятками картинок. В них мы создали девять групп дубликатов. Скажем честно, на истину в последней инстанции наш опыт точно не претендует, но попробовать было интересно. Результаты следующие:

• Duplicate Remover Free: нашёл лишь 3 группы дубликатов;
• Similar Images Finder: нашёл 4 группы, но неудобный интерфейс, множество ложных результатов и при этом платность приложения сильно испортили общее впечатление;
• AntiDupl по умолчанию нашёл 3 типа дубликатов, установка алгоритма SSIM увеличила результат поиска до 5 групп;
• VisiPics при базовом уровне поиска нашёл лишь 2 группы дубликатов, однако установка ползунка на уровень Loose позволила найти уже 7 групп;
• Awesome Duplicate Photo Finder нашёл 7 групп дубликатов;
• Image Comparer также сумел обнаружить 7 групп.

При этом Image Comparer сумел найти изображения, которые пропустили Awesome Duplicate Photo Finder и VisiPics, а те, в свою очередь, восполнили пробелы Image Comparer.

Самые быстрые программы для поиска дубликатов фото

В то же время, качество программы ещё зависит и от её скорости. 60+ картинок – это, конечно же, не то, с чем могут работать пользователи. Поэтому мы провели ещё один тест. На этот раз на скорость. Для этого мы взяли подборку из 4450 самых разных изображений, общий вес которой превысил 2.1 ГБ.

Две программы из этого обзора, увы, в тесте не заняли никакого места. Как выяснилось, Similar Images Finder, за который просят 34 доллара, в бесплатной версии готов зараз обработать не более 200 изображений.

В свою очередь, универсальный поисковик дубликатов Duplicate Remover Free, столкнувшись с каталогом серьёзного размера, более пяти минут интенсивно работал, а потом основательно завис. Остальные программы показали следующее время:

• AntiDupl: 0:39;
• Image Comparer: 1:02 (35 секунд на создание галереи и 27 на поиск);
• VisiPics: 2:37;
• Awesome Duplicate Photo Finder: 3:17.

В итоге в тесте на скорость в лидеры явно выбились Image Comparer и AntiDupl. На обработку нашего архива у них ушло около или же, в случае AntiDupl, меньше минуты.

Заключение

Подведём итоги. Если вам нужно найти не одинаковые, а именно похожие фотографии, отличающиеся, например, подписью или водяным знаком, то лучше остальных с этой задачей справятся Image Comparer, Awesome Duplicate Photo Finder и VisiPics в режиме работы Loose.

В плане скорости обработки многочисленной коллекции изображений безусловные лидеры – AntiDupl и Image Comparer.

Наконец, в плане удобства интерфейса нам понравились Image Comparer и VisiPics, с ходу позволяющие визуально оценить все группы дубликатов. В свою очередь, за наглядность сравнения характеристик отдельных дубликатов мы также отметим AntiDupl.

Иногда нужно найти дубли фотографии. Например, красивая девушка выставила фотку в интернете, но вы не уверены, что на снимке именно она. В этом случае может понадобиться поиск по фотографии в интернете. Если в сети полно таких фото, то это явно фейк. Для этого созданы специальные сервисы и программы. Рассмотрим некоторые из них.

Как найти дубли фотографии в интернете

Итак, у вас есть фото и вы желаете найти все его дубли в сети. Воспользуйтесь сервисами от Yandex или Google, либо отдельными программами.

Google

Алгоритм действий следующий:

1. Перейдите по ссылке.
2. В поисковой строке кликните по миниатюре фотоаппарата.



3. Укажите ссылку на нужное фото или загрузите снимок со своего ПК.



4. Кликните по ссылке “Все размеры”.

Теперь отобразятся сайты, где встречается данное изображение.

Yandex

Аналогичный предыдущему сервису есть и у Яндекса:

1. Откройте ссылку.
2. Кликните по значку фотоаппарата.



3. Укажите ссылку на картинку либо загрузите ее в сервис.



4. В результатах поиска по фото в Яндекс, отобразятся все похожие изображения и ссылки на сайты, где они используются.

Tineye

Еще один сервис для поиска по картинке Тинай. Вместе с дублями фото он находит и их составляющие. У Tineye собрана собственная, крупнейшая база проиндексированных изображений. В ней найдется всё, и это не сарказм. Использовать его просто:

1. Перейдите на официальный сайт Тинай.
2. Как и в поиске по фото Яндекс, загрузите картинку в сервис.



3. На экране отобразятся похожие изображения со ссылками на сайты, где они были найдены.

FindFace

Помимо онлайн-сервисов, существует специальная программа поиска по фотографии в интернете. ФайндФейс ищет странички людей в социальной сети ВКонтакте, на которых установлено похожее фото. Она работает онлайн, то есть, не требует установки на компьютер:

1. Перейдите на официальный сайт FindFace.
2. Кликните по кнопке “Найти одинаковых”.



3. Разрешите приложению доступ к вашему аккаунту в ВК. Это безопасно.
4. Загрузите изображение для поиска дублей.

На нем должно быть лицо искомого человека.

5. Программа найдет все страницы с похожими аватарками.

На мое удивление, она действительно подобрала 30 страниц с максимально близкими к оригиналу лицами. Однако FindFace ищет людей только по России.

Кстати, в Google Play можно загрузить приложение ФайндФейс для Android и использовать его с телефона.

PhotoTracker Lite

Чтобы быстрее искать похожие картинки по сервисам от Яндекса, Гугла и Тинай, установите расширение для браузера PhotoTracker Lite. Оно работает практически со всеми современными браузерами. Найти его можно в магазине расширений Chrome.

Заключение

Теперь вы знаете, как найти дубликаты фото людей, предметов и других объектов в интернете.