Как найти похожие дома

Хочу жить в такой же: как мы научились искать квартиры по фотографиям

Привет, Хабр!

Меня зовут Александр Красных, я тимлид команды ранжирования и рекомендаций в Циан. Мы сделали фичу, которая позволяет найти по фото похожие квартиры. Для этого нужно уметь быстро находить среди миллионов фотографий изображения, визуально похожие по стилю на входную картинку-запрос. 

В статье поговорим о том, как мы решили задачу с помощью алгоритмов глубокого обучения, и расскажем, что там под капотом этой функции и как мы подружили EfficientNet с FAISS. В работе над статьей мне помогал Владимир Филипенко (@vovaf709): он изложил самые основы, чтобы текст мог понять и неспециалист.

Искать квартиры по фото мы придумали в мае на внутреннем хакатоне Циан. Идея победила, и мы запустили MVP, чтобы проверить её на наших пользователях.

Итак, вот в чём суть: пользователь загружает картинку → на нашей стороне через EfficientNet генерируется эмбеддинг → понижается размерность вектора → быстро находятся близкие векторы с помощью FAISS → извлекаются изображения.

Ничего сложного, да? А теперь давайте пройдёмся по каждому этапу в отдельности и поговорим о всех тонкостях процесса и некоторых возникших в ходе работы трудностях.

Дескриптор изображений — EfficientNet-B0 + PCA

«А при чём тут нейросети?»

Итак, задача: необходимо найти изображения, визуально похожие по стилю на входную картинку-запрос, причём достаточно быстро. Как будем решать?

Основная проблема — задача сформулирована довольно абстрактно. Непонятно, чем определяется требуемая от нас «похожесть по стилю» с математической точки зрения и как с этим работать.

На помощь приходит такая абстракция, как дескриптор — некий алгоритм, сжимающий изображение в вектор относительно небольшой размерности и при этом сохраняющий как можно больше полезной информации. Но где его взять? Ян Лекун не так давно (в исторической перспективе) придумал свёрточные нейронные сети. Они справляются с задачами компьютерного зрения и последовательно от слоя к слою «сжимают» картинку, превращая в вектор, который на последних слоях выступает своего рода инпутом для алгоритма принятия решения.

Чтобы понять это, рассмотрим некоторую классификационную нейросеть просто как чёрный ящик, о котором известно лишь то, что он последовательно применяет к изображению некоторые преобразования (слои) и на выходе сообщает нам метку (на самом деле вероятность) класса «кухня», «студия» и так далее. Причём важно помнить, что последний слой берёт результат всех предыдущих (обычно это вектор фиксированной размерности), и уже с его помощью пытается как можно более точно предсказать класс объекта. Ключевое, но не тривиальное соображение состоит в том, что для качественной работы такой нейросети ей придётся сложить в рассматриваемый вектор как можно больше полезной для предсказания информации. В связи с этим, взяв предобученную сетку и отрезав ей последний слой (или несколько последних слоёв), мы увидим, как классификационная нейросеть превращается в «умный» дескриптор.

Почему мы выбрали нейросетевой дескриптор?

1. Алгоритм, хорошо решающий задачу классификации, должен обладать инвариантностью относительно изменений входной картинки, которые не меняют сути изображения. Например, фото студии, отражённое относительно вертикальной оси, повёрнутое или же зашумлённое, всё ещё остаётся снимком студии. Это априорное знание закладывается в нейросеть в процессе обучения, когда мы показываем ей картинки, преобразованные (аугментированные) соответствующим образом, а значит, оно в какой-то мере проникает и в дескриптор.

2. В связи с этим архитекторы нейронных сетей стремятся помочь им стать хоть немного инвариантными относительно описанных преобразований, и потому используют при их построении слои, вносящие это свойство на уровне самой модели. Например, max-pooling с соответствующим смещением делает сеть нечувствительной к небольшим сдвигам изображения.

3. Имеются любопытные наблюдения, свидетельствующие о том, что свёрточные нейронные сети фокусируются в большей степени на текстурах объектов, чем на их геометрических формах. А значит, информация о текстуре, или, другими словами, о стиле будет закодирована в векторе предпоследнего слоя, что нам и нужно.

Что ж, стало ясно, что эмбеддинг, построенный с помощью свёрточной модели — то, что нам нужно. Теперь расскажем непосредственно о той сетке, которую мы препарировали.

EfficientNet-B0

EfficientNet — это целое семейство свёрточных нейронных сетей, представленных в 2019 году. Несмотря на то, что сферу обработки изображений стремительно захватывают более продвинутые архитектуры, EfficientNet’ы остаются достойными моделями по соотношению качества работы и требуемого количества вычислительных ресурсов, особенно среди свёрточных сетей.

В оригинальной статье авторы попытались построить наиболее эффективную одновременно с точки зрения качества и экономии ресурсов свёрточную нейросеть и разработали эмпирические правила по масштабированию её архитектуры. Сначала они использовали neural architecture search, который нашёл оптимальную архитектуру среди указанных для некоторой задачи. По сути, этот алгоритм «умно» перебрал различные конфигурации слоёв нейронки и нашёл такую конфигурацию, которая качественно решает задачу, но при этом требует не очень много ресурсов. Собственно, её назвали EfficientNet-B0. Затем они подобрали поиском по сетке наилучшие коэффициенты для масштабирования ширины, глубины, а также разрешения входного изображения сети. Таким образом, из исходной архитектуры выросли ещё семь, имеющих разный баланс между качеством и количеством параметров.

Архитектура EfficientNet-B0 представлена на схеме. Ничего сверхъестественного она из себя не представляет: стандартный вычислительный граф из MobileNet-свёрток с линейным слоем на выходе. Но работает она на ура. За подробностями отсылаю читателя к оригинальной статье, этой и к этому сборнику, а также к полезному видео.

Модель для прода выбиралась из нескольких предобученных на ImageNet EfficientNet’ов и классических ResNet’ов. Мы прогоняли изображения квартир через сетку и с помощью асессоров визуально сравнивали, насколько похожи изображения, эмбеддинги которых близки. Лучше всех себя показал самый компактный EfficientNet-B0, имеющий всего лишь около 5,3 млн параметров. К тому же, EfficientNet-B0 уже применялся в других проектах Циан, что только добавило плюсик ему в карму. По совокупности факторов мы взяли его, а именно — реализацию из библиотеки timm. Во время разработки также пробовали конвертировать сетку в OpenVINO для ускорения инференса. Однако в итоге сошлись на том, что и timm’овских 300 мс на предсказание при использовании CPU вполне достаточно.

PCA

Сложность задачи поиска похожих векторов линейно зависит от длины вектора (нашего эмбеддинга). Главным bottleneck’ом всего пайплайна должен был стать поиск похожих векторов, так как Циан обладает довольно крупной базой изображений квартир, около 20 млн. Поэтому для ускорения этого процесса мы решили понизить размерность эмбеддингов, получаемых из EfficientNet, с 1280 до 128 с помощью PCA (метода главных компонент).

PCA как он есть

Итак, EfficientNet-B0 (пред)обучен, PCA заряжен, а значит, пора наконец переходить к поиску похожих векторов.

Поиск похожих векторов с помощью FAISS

Задача поиска векторов, ближайших к вектору-запросу, востребована в различных приложениях машинного обучения, в некоторых разделах робототехники, теории кодирования и во многих других сферах. Её решают как подзадачу при рекомендации объявлений в Циан, для распознавания лиц, а классический алгоритм классификации (или его модификация для регрессии) — KNN, по сути, полностью из неё и состоит. Для точного её решения необходимо рассчитать расстояния между вектором-запросом и всеми векторами имеющегося датасета. Это стоит арифметических операций, где — размер датасета, а — размерность вектора, что в случае многомиллионных наборов данных успешно конвертируется в часы ожидания и такие же многомиллионные убытки. Поэтому лучшие умы мира активно трудятся над приближёнными решениям этой задачи в стремлении снизить время работы ценой неточности нахождения ближайших векторов. Как уже было упомянуто, наш набор данных состоит из примерно 20 млн векторов, так что данная проблема актуальна и в нашем случае.

Существует множество алгоритмов и трюков, позволяющих найти ближайшие векторы более эффективно, чем это делает наивный подсчёт. Один из них — построить inverted file индекса. Это крайне эффективный и красивый метод, идея которого заключается в следующем: давайте наделим наш набор данных иерархической структурой и сначала будем искать ближайший вектор среди векторов первого уровня, а затем спустимся на второй и продолжим поиск там, среди значительно меньшего количества объектов, отвечающих первому вектору. Геометрически мы разбиваем наш датасет на кластеры с помощью алгоритма k-means, за каждым из которых закрепляем представителя. И сначала ищем ближайшего представителя (центроид кластера), а потом опускаемся в соответствующий кластер и продолжаем поиск в нём. Прекрасное интуитивное объяснение, не скопипастить которое у нас хватило совести, можно найти здесь.

Таким образом, разбив датасет размера на кластеров, мы снизим асимптотическую сложность поиска с до , что станет весьма и весьма значительным ускорением. С учётом константы, спрятанной за O-нотацией, для нашего датасета с помощью inverted file индекса мы будем искать ближайший вектор примерно в 2000 раз быстрее! Круто! Но, конечно, такое ускорение получается не бесплатно: мы теряем в точности предсказания. Ведь не обязательно ближайший вектор будет лежать в найденном кластере, что прекрасно видно на примере:

Однако в данной задаче нам и не нужно выдавать математически строгий ответ. Ведь, как мы помним, математическая строгость осталась в главе про дескриптор.

Реализацию этого подхода мы взяли из библиотеки FAISS, разработанной Facebook AI Research. В ней можно найти имплементации и многих других методов быстрого поиска схожих векторов. Неплохие обзоры этого фреймворка можно найти здесь и тут. А если вы хотите подробнее разобраться в зоопарке существующих алгоритмов быстрого поиска, то начать стоит с этой статьи. Стоит отметить, что важное преимущество этой библиотеки — можно запускать её алгоритмы на GPU, однако нам пока эта опция не пригодилась.

К сожалению, в этом алгоритме возникла проблема пустых выдач из-за дополнительных фильтров. Дело в том, что в нашей фиче можно устанавливать фильтры, например, по стоимости квартиры. И в первичной реализации мы сначала искали изображения похожих квартир, а затем применяли настройки к соответствующим объявлениям, что порой приводило к пустому ответу. Чтобы частично решить эту проблему, мы завели не один, а несколько (по 10 бинов для каждой категории) индексов FAISS, отвечающих разным диапазонам значений величин, по которым происходит фильтрация. Это существенно улучшило выдачу, но, разумеется, панацеей не стало, так как при определённом желании установить такую комбинацию фильтров, по которой квартир в принципе может не существовать, всё ещё вполне возможно

С учётом поиска в нескольких индексах, обозначаемых в FAISS как IDMap -> IVF2048 -> Flat, набор похожих квартир доставался за мс на CPU, что нас вполне устроило. Для актуализации индексов мы обновляем их ежедневно, что занимает около двух часов.

Внутреннее устройство

Вся фича держится на двух микросервисах. Первый отвечает за получение изображений, поступающих из новых объявлений, их обработку и дальнейшее помещение в индексы FAISS. Второй же реагирует на запросы от пользователя: берёт фото, прогоняет через EfficientNet-B0 + PCA, ищет похожие эмбеддинги с помощью FAISS и отправляет обратно соответствующие объявления, которые также проходят через постфильтрацию. Примеры работы вы можете видеть на скриншотах ниже.

Как видите, вся система неплохо справляется со своей задачей, однако, как говорится, «доверяй, но проверяй», так что рекомендуем вам потестить новую фичу уже самостоятельно в нашем мобильном приложении. К слову: фото удаляется сразу после завершения процессинга. Так что за безопасность личных данных можно не переживать

Текущие проблемы + дальнейшие планы

Эта фича уже используется в системе рекомендаций Циан.

• Помимо важной проблемы с фильтрацией после поиска в индексе FAISS, которую мы успешно преодолели, сервис всё ещё испытывает трудности при работе с фотографиями плохого качества и низкого разрешения. У человека далеко не всегда имеется возможность сделать хороший, чёткий снимок. Причём зачастую дело не только в качестве вашей камеры, но ещё и в освещении, цветовой гамме квартиры (допустим, у вас всё белое) и других нюансах. Для решения проблемы мы трудимся над проектом по улучшению качества контента, заливаемого на Циан, в том числе с помощью нейросетевого super resolution, про который мы когда-нибудь тоже обязательно расскажем.

• Также прямо сейчас мы учим EfficientNet-B0 выдавать похожие представления для изображений квартир со схожими стилями с помощью лосса ArcFace, чтобы адаптировать сетку под нашу задачу.

Так что желаем вам тёплых уютных квартир — пробуйте, ищите, пользуйтесь новой фичей, и будет вам счастье. Кстати, таким способом можно находить офисы и дома (ну а вдруг). Ну а если пока в этом нет необходимости, в случае чего вы знаете, где нас искать. Обнимемся в комментариях!

Как распознать объекты на изображении

1. Кликните внутри области перетаскивания файла, чтобы выбрать и загрузить файл изображения, или перетащите файл туда
2. Нажмите кнопку Старт, чтобы начать процесс обнаружения объектов.
3. После запуска процесса на странице появляется индикатор, отображающий ход его выполнения. После того, как все объекты будут обнаружены, изображение с результатами появится на странице.
4. Обратите внимание, что исходные и получившиеся изображения не хранятся на наших серверах

Смотрите также:
проекты домов из кирпича (поризованного камня), проекты домов из газобетона (пеноблока), проекты деревянных домов, проекты каркасных домов или остальные категории

Способ 1: Поиск по картинкам

Предельно простой в своей реализации, но далеко не всегда эффективный способ определения места съемки по фотографии заключается в поиске похожих картинок. С одной стороны, если в кадре есть какой-то относительно известный архитектурный объект, достопримечательность и т. д., найти его таким образом не составит труда, с другой – большинство подобных «пейзажей» вполне можно опознать и самостоятельно или сформировать подходящее текстовое описание для запроса в поисковик.

Домашняя страница поиска Google

1. Откройте главную страницу любой удобной для вас поисковой системы (выше дана ссылка на Google) и перейдите к поиску по картинкам – обычно для этого предусмотрена отдельная вкладка или пункт меню.

   

2. Воспользуйтесь кнопкой добавления изображения,

   

   после чего выберите способ его загрузки – перетащите в выделенную область,

   

   откройте посредством «Проводника» или вставьте ссылку.

   

3. После непродолжительной обработки поисковик отобразит похожие фотографии.

   

   Ваша задача – найти то же место, которое запечатлено на загруженном изображении, а затем изучить описание соответствующего файла. Вполне возможно, необходимые сведения будут указаны прямо в названии, но не лишним будет перейти по ссылке на сайт и ознакомиться с представленной там информацией.

   

   После того как вы найдете точное название, можете скопировать его, открыть Google Карты или другой картографический сервис, и задействовать поиск.

   

   Таким образом можно узнать точное расположение объекта в кадре и другие сведения,

   

   а также, если такая необходимость возникнет, проложить маршрут.

   

   Как было сказано в начале данной инструкции, такой способ определения места не всегда дает положительный результат, но уделить ему внимание все-таки стоит. Узнать же более детально о том, как работает поиск по картинкам в разных системах, можно из отдельной статьи на нашем сайте.

   Подробнее: Поиск по картинкам онлайн

Способ 2: Поиск по координатам

Любая цифровая камера, будь то любительская, профессиональная или встроенная в смартфон, помимо непосредственно изображения в кадре сохраняет и метаданные – информацию об устройстве и графическом файле, включая точные координаты места съемки. Получив эти данные, можно довольно легко решить озвученную в заголовке статьи задачу. Правда, здесь важно уточнить, что таким образом мы с вами сможем найти не изображенное на фотографии место, а то, где она была сделана — часто это фактически одно и то же (особенно если это открытое пространство), но не всегда. Также стоит учитывать, что такой вариант поиска иногда неточный — возможны отклонения до десятков метров и более. С одной стороны, есть вероятность найти, например, конкретный подъезд, с другой — «ошибиться» на дом или улицу.

Шаг 1: Получение метаданных

Большинство метаданных, включая интересующие нас, можно узнать в свойствах файла, аналогичную возможность предоставляют и некоторые онлайн-сервисы, о чем мы ранее рассказывали в отдельной инструкции. Воспользуйтесь любым из предложенных в ней способов, чтобы получить географические координаты места, в котором осуществлялась съемка.

Подробнее: Как узнать метаданные фотографии онлайн

Шаг 2: Подготовка координат

Широта и долгота, которые нам нужны для поиска места по координатам, в зависимости от метода и места их получения, могут быть записаны немного по-разному. В некоторых случаях может потребоваться их подкорректировать, чтобы привести к одному из следующих видов:

Так, если вы получили координаты, записанные как в примере ниже, обозначение «deg» нужно будет заменить на символ градуса «°» (без кавычек) а все отступы, кроме того, что стоит после буквы «N» — удалить.

41 deg 24' 12.22" N 2 deg 10' 26.5" E
41 deg 24' 12.22" N, 2 deg 10' 26.5" E

В результате должна получиться запись следующего вида:

41°24'12.22"N 2°10'26.5"E

Шаг 3: Поиск места

Теперь, имея готовые координаты в нужном виде, скопируйте их и перейдите на страницу любого картографического сервиса (в примере ниже – Google Карты), вставьте в поисковую строку значение из буфера обмена и нажмите «Enter».

Домашняя страница сервиса Google Карты

Практически сразу на карте будет открыто то место, которому соответствуют координаты из метаданных фотографии.

По необходимости и/или для лучшего понимания, можете изменить масштаб и режим просмотра.

Также, если это будет доступно для найденной местности, откройте сделанные другими пользователями фотографии, панорамы или попробуйте «прогуляться» по улице, чтобы найти объекты с изображения.

Способ 3: Google Фото

В качестве более простой и быстрой в своей реализации альтернативы предыдущему способу можно воспользоваться сервисом Гугл Фото – достаточно открыть свойства предварительно загруженной фотографии, чтобы увидеть место, в котором она была сделана, и по необходимости сразу перейти к данному расположению на карте. О том, как это сделать, рассказывается в отдельной статье на нашем сайте, мы же здесь приведем лишь краткую инструкцию.

Подробнее: Просмотр метаданных изображения в Google Фото

Перейти к онлайн-сервису Google Фото

1. Откройте сайт по указанной выше ссылке и авторизуйтесь в своей учетной записи Гугл, указав логин и пароль от нее.

   

2. Загрузите фотографию, запечатленное на которой место вы хотите отыскать.

   

3. Кликните по изображению, чтобы перейти в режим просмотра, и откройте «Свойства».

   

4. В появившемся справа блоке «Информация» будет указано место съемки (зачастую это город, область, страна), а ниже – показано его точное расположение на карте.

   

5. Если кликнуть по красному маячку, можно перейти непосредственно к Гугл Картам и изучить объект более детально, как это нами было сделано в конце предыдущей инструкции.