Как найти зверя по фотографии

Рассказываем про нейросеть, обученную на самом милом датасете.

Каждый владелец кошки или собаки уверен, что его питомец уникален. Они абсолютно правы! Все животные имеют свои неповторимые особенности. Это позволило нам разработать программу по идентификации кошек и собак на основе искусственного интеллекта. Разработку мы внедрили в страховой продукт «Питомец под защитой» от СберСтрахования. Сейчас нейросети могут распознать кота или собаку по мордочке. Рассказываем о том, как работает система идентификации, и почему мы обучали её на фотографиях плюшевых игрушек.

Нейросеть умеет отличать даже очень похожих друг на друга животных. Сейчас качество сравнения двух мордочек питомцев составляет 94% для собак и 84% — для кошек. У разработки большой потенциал: при определенной модификации в будущем ее можно будет использовать не только в страховых продуктах, но и в социальных проектах. Например, в поиске потерявшихся животных.

Как работает наша система распознавания животных

Изначально казалось, что надёжно (в смысле требований страховых продуктов) идентифицировать собак или кошек проблематично. Гипотезу проверяла совместная команда разработчиков из Управления благосостояния, Лаборатории робототехники и Управления исследований и инноваций Сбера.

В основе модели лежит алгоритм CosFace, который используется для распознавания человеческих лиц. Он умеет находить фото одного и того же человека в базе из десятков тысяч изображений за секунды. Например, когда человека сфотографировали с разных ракурсов и на разных фото он «сам на себя не похож».

Конечно, нельзя просто взять модель, обученную на фотографиях людей, и начать применять её для распознавания животных. Поэтому мы дообучили её на большой базе изображений мордочек питомцев. Получившаяся система работает в два этапа, и на каждом из них в дело вступают разные модели.

На первом этапе последовательно работают три алгоритма. Вот они:

Модель №1 — распознает на изображении мордочку питомца и ее положение в пространстве.

Модель №2 — определяет вид животного (кошка это или собака);

Модель №3 — находит ключевые точки: глаза и нос питомца.

Третья модель имеет уникальную, разработанную нами архитектуру, которая превзошла все прочие решения по скорости и качеству в процессе тестирования.

Модели первого этапа мы обучили на датасете из 140 тыс. фотографий. В базе есть не только реальные кошки и собаки, но и другие животные — волки, лисы, панды и тигры. Это было необходимо для обогащения датасета и повышения точности модели идентификации.

Чтобы повысить точность и исключить случайные ошибки, в датасет для обучения модели мы добавили даже мягкие игрушки разной степени реалистичности.

На втором этапе модель получает два изображения мордочек. Он сравнивает фото и выдает степень уверенности в их схожести от 0% до 100 %.

Система анализирует особенности строения мордочек, которые нельзя изменить, например расстояние между глазами. База для обучения этой модели составляла 3 500 изображений для кошек и 5 000 для собак и продолжает расти. Если животное незначительно изменится, например немного подрастёт или наберёт вес, то модель всё равно его узнает.

В приложении Сбербанк Онлайн в связке с другими процессами скорость обработки одной фотографии составляет от 1 до 3 секунд. Найти сервис можно в приложении, просто вбив в поисковой строке «Питомец под защитой».

Точность распознавания и тонкости, связанные с волками

Ошибки при верификации питомцев могут быть связаны с распознаванием видов животных, анатомически очень похожих на домашних. Например, модель может принять волка за домашнюю собаку, а каракала — за домашнюю кошку. Мы могли бы исправить эту проблему и дообучить алгоритм на большем количестве фотографий диких животных, но решили не повышать точность первой модели. На это есть две причины.

Во-первых, это может затруднить распознавание домашних животных, похожих на волков и диких кошек. Это актуально для владельцев хаски и маламутов — эти собаки по фенотипу очень похожи на волков. Если научить систему исключать все объекты, похожие на волков, владельцы хаски и маламутов могут получить ложные отрицательные ответы по верификации фото их питомцев. То же самое может произойти и с домашними кошками экзотических пород. Бенгалы, например, похожи на своих диких сородичей. А во-вторых, среди домашних питомцев в России крайне мало одомашненных диких хищников. Большой необходимости в их распознавании нет.

Где сейчас используется ИИ-распознавание питомцев

В мировой практике питомцев чаще всего идентифицируют с помощью чипа или менее технологичными способами — по клейму или паспорту. Но будем честными: процент людей, заводящих на питомца хотя бы паспорт, в России очень мал. Мы же хотели сделать продукт «Питомец под защитой» доступным любому владельцу домашнего животного — независимо от породы и даже без неё.

Чтобы оформить страховой полис для своего питомца, нужно указать вид питомца, породу, пол и возраст. А затем сфотографировать его мордочку на телефон или выбрать готовую фотографию и загрузить её в мобильном приложении Сбербанк Онлайн в процессе оформления полиса.

При наступлении страхового случая вместе с документами (выписками, чеками и назначениями) нужно прикрепить фото питомца. Это необходимо, чтобы система идентифицировала животное и нашла его в базе. Так процесс идёт значительно быстрее.

Этап с загрузкой фотографии питомца в нашем продукте существовал и до внедрения ИИ. Но отсутствие верификации приводило к тому, что случались подгрузки некорректных или некачественных фотографий. Кроме того, не было автоматической сверки, а с учётом качества зачастую её нельзя было провести.

Сейчас нейросети могут помочь человеку определить растение, животное, насекомое по фотографии, а также предоставить полное описание. Телефон с доступом в интернет стал для нас как карманная энциклопедия.

Так почему бы не воспользоваться этим? Узнать, что за насекомое находится перед вашими глазами или на изображении – можно, и понадобится это может в самых разных ситуациях. Например, если вы увлекаетесь этим, если путешествуете по разным странам и делитесь с друзьями всем вокруг, или пополнить собственную копилку знаний.

Каким образом определить насекомое по фото

Определить насекомое, используя фотографию с его изображением, сейчас может абсолютно любой человек, который умеет пользоваться интернетом.

Для этого существует специальные приложения и сервисы. Они находят информацию благодаря нейросетям, алгоритмам поиска. Все, что нужно – иметь под рукой фотографию вашего жучка, которую нужно после загрузить в приложение, а оно уже сделает свое дело, предоставит результат, покажет полную информацию и описание.

О том, как это работает, как найти то, что вам необходимо, а также с помощью каких программ – сейчас расскажем.

Это интересно: как определить камень по фото

Яндекс.Алиса — поможет определить насекомых

Алиса – проект компании Яндекс. Это голосовой помощник, который музыку включит, погоду подскажет, а может даже стать неплохим собеседником – поболтает с вами, расскажет сказку, поиграет в игры. В наше время одиночество уже почти не страшно, когда вас понимает искусственный интеллект и готов помочь в любой ситуации.

Алиса идёт в комплекте с Яндекс Браузером. Это первый голосовой ассистент, использующий в работе нейрогенные сети и тщательное обучение. Благодаря этому она понимает не только те команды, которые прописаны, но и устную речь. Постоянно совершенствуется и обучается.

Ещё одна приятная особенность – мы можем помочь Алисе обучаться и дальше, если на ее ответы будем ставить палец вверх или вниз, что будет означать правильно она нас поняли или же нет.

Чтобы подружиться с Алисой, необходимо установить на свой смартфон или планшет приложение Яндекс Браузер, либо скачать браузер на свой ПК.

1. Установите официальное приложение из Гугл Плей или App Store.
2. После установки следует перейти в браузер.
3. Теперь нужно найти круглый фиолетовый значок, и нажать на него.
   
4. Активируется голосовой помощник, поздоровается и представиться.
5. Вы сможете задать Алисе любой вопрос, в нашем случае ее нужно попросить определить насекомое по фотографии.
6. Затем нужно нажать в этом же диалоге на значок камеры и прикрепить снимок, сделанный при хорошем освещении и в неплохом качестве.
   
7. После Алиса найдет информацию, а также предложит ознакомиться с результатами поиска по изображениям.
   

Так Алиса сможет не только найти и определить для вас насекомое, но и любое животное, растение, предмет. Довольно неплохой ассистент в вашем кармане.

Читайте также: как решать задачи по математике по фото

Picture Insect — найдет насекомых по фото

Название данного мобильного приложения уже как будто говорит само за себя, так как Insect в перевода с английского означает – жук, букашка. Это приложение создано именно для той цели, чтобы с помощью снимка можно было определить насекомое.

Эта программа умеет определять насекомых с высокой точностью – в 96% случаев правильно распознает, предоставляет название и информацию. Если вы всерьез увлекаетесь изучением насекомых, интересуетесь их строением, питанием, продолжительностью жизни, то в приложении вы найдете много полезных статей.

Есть внутренние встроенные покупки, а также самим Picture Insect вы сможете пользоваться бесплатно лишь в течение пробного периода, который составляет семь дней. После придется платить деньги.

Чтобы распознать насекомое с помощью алгоритмов программы нужно сделать следующее:

1. Установите приложение из Play Маркет или AppStore на смартфон.
   
2. Запустите и найдите кнопку для загрузки изображения, либо сделайте снимок в реальном времени. Главное, чтобы насекомое было как можно чётче изображено для поиска точного результата.
   
3. Через несколько секунд получите название и сможете узнать всю полезную для вас информацию об этом виде.
   

Если вы планируете постоянно пользоваться приложением, и оно вам покажется удобным, тогда стоит приобрести подписку. В случае, если нужно один раз определить вид и название насекомого, узнать о нем побольше, тогда будет достаточно и пробного периода.

Заключение

С помощью интернета и разработанных под разные нужны программ, можно узнать много нового и полезного. Часто приложения помогают в повседневной жизни, при работе, в путешествиях. Не стоит их недооценивать. Умные алгоритмы распознавания и поиска сделают свое дело, а вы сможете узнать, что за вид, род паука или гусеницы находится перед вами, а также узнаете о них все, что захотите.

Социальная сеть для любителей природы iNaturalist в марте выпустила приложение Seek — своеобразную версию Shazam, которая определяет вид растения или животного по фото. Приложение выпустили в рамках проекта iNaturalist по привлечению обычных людей в гражданские научные проекты.

Seek может быть интересно пользоваться и в городе, и на природе. В нем есть и игровой элемент — пользователи могут зарабатывать значки по мере того, как узнают новые виды, которые фотографируют. Предполагается, что это дополнительно подстегнет интерес к приложению.

Seek использует данные, собранные юзерами iNaturalist. Для распознавания фото используются нейросети. При первом запуске приложение выдает список птиц, животных, насекомых и растений, которые чаще всего встречаются в окружающей местности. Когда пользователь загружает новое фото, искусственный интеллект анализирует его на предмет совпадений, добавляет к коллекции пользователя и загружает краткое описание из «Википедии».

На данный момент нейросеть распознает около 30 тысяч видов. В будущем создатели приложения обещают расширить этот список. По словам одного из авторов приложения Скотта Лори, единственный способ улучшить базу Seek — привлекать больше пользователей и загружать больше фото различных видов флоры и фауны.