Как найти нужный сервис на сайте

Эффективный поиск по сайту. Постановка проблем — поиск решений.

Это перепечатка статьи Ивана Никитина, которая в сентябре была опубликованна на нашем сайте Nomagic.ru. Данная статья содержит только постановку задачи и обсуждению возможных решений. Ссылки на статьи с описанием решения поставленной задачи c помощью LiveSearch API на ASP и PHP можно найти в конце статьи.

У любого современного сайта, на котором присутствуют более 5 – 10 страниц с контентом, должна быть поисковая система. Как бы хорошо мы не планировали навигационную панель, или каталог товаров/разделов сайта, все равно любые наши попытки интуитивно-понятной систематизации, в конечном итоге, будут непонятны 101-му пользователю сайта.

Хотите убедиться что это так? Вот несколько простых задач, попробуйте потратить на их решение несколько минут (все примеры взяты абсолютно случайно из списка лично мне знакомых и посещаемых мною сайтов. Эти примеры ни в коем случае не призваны приуменьшить качество этих ресурсов):

1. Найдите на сайте http://www.specialist.ru/ (не пользуясь поиском!) 2 (два) курса по Microsoft SharePoint 2007. Запишите, сколько времени вы на это потратили.
2. Найдите на сайте http://www.sipnet.ru подтверждение того, что шлюз VoIP D-Link DVG-2001S работает с сервисом Sipnet, а также его краткое описание. Запишите, сколько времени вы на это потратили.
3. На сайте www.megafon.ru найдите годовой отчет по итогам работы за 2006 год в формате Microsoft Word (не пользуясь поиском). Вам это удалось?

Следует ли продолжать? Думаю, вы уже согласны со мной. И точно также рассуждают разработчики сайтов, когда перед ними встает проблема создание поисковой системы. К сожалению, большинство разработчиков недооценивают сложность этого решения и полагают, что поиск можно свести (упрощенно) к SQL запросу:
SELECT * FROM products WHERE
title LIKE ‘%что-то%’
OR description LIKE ‘%что-то%’


Так-то оно может быть и так, только вот ценность такого поиска будет нулевая. Можно, конечно же, усложнить, добавить поиск по словам и их сочетаниям (меня так умиляет фраза, которую иногда встречаешь на сайтах: «Вы можете использовать AND, OR, NOT». Ага! Вы еще пользователю булеву алгебру объясните). Но проблема такого поиска заключается в том, что разработчик полагает, что пользователь будет вводить названия продуктов или заголовки новостей точно так же, как они указаны на сайте, а пользователь вводит просто то, что ему сейчас нужно, совершенно в произвольной форме, и к тому же, он, пользователь, как правило, вводит короткие запросы, состоящие из одного-двух слов. То есть пользователь ищет курсы по SharePoint 2007, он так и напишет «SharePoint 2007», а не «Windows SharePoint Services v3». И в результате мы получаем абсолютно неработающую поисковую систему, потому что подобный поиск или вывалит сотни ссылок в качестве результата, и найти что-то в результате поиска будет невозможным, или не выдаст ничего. Хотите убедиться? Возьмем два мощных ресурса с большими бюджетами на разработку и попробуем протестировать поиск на них:

1. На сайте www.mts.ru найдите с помощью поиска кредитную форму оплаты разговоров, то есть как это оформить и как за разговоры платить… Какой запрос вы введете? «кредитная форма оплаты». Результат будет примерно таким:
   
2. На сайте www.alfabank.ru найдите информацию об ипотечном кредитовании. Какой запрос вы введете? «Ипотека». Вот результат:
   

Легко заменить, что оба раза вы получили негативный результат. В первом случае вы не получили ничего, во втором – совершенно ненужную информацию (как вам понравилась ссылка на баннер про ипотеку?). Заметьте, оба раза неудачный поиск может заставить уйти клиента навсегда: я не стану переходить на MCT, так как там нет кредитной формы оплаты разговоров (на самом деле – есть!), и я не стану обращаться в Альфа-банк, так как не смог найти условий ипотечного кредитования (еще раз – это только примеры! Ничего личного!).
Как решить эту задачу?

Реализация эффективного поиска

Во-первых, необходимо осознать, что хороший поиск – это далеко нетривиальная задача. Более того, можно сказать и так: сложность реализации хорошего поиска намного превосходит сложность реализации функционала всего сайта. Поэтому нужно сто раз подумать, прежде чем ставить перед собой такую задачу. Вы готовы взяться написать систему морфологического анализа, оценки релевантности документов, алгоритм ранжирования результатов? И самое главное, сколько человеко-часов и тысяч строк кода вы готовы положить на это?
Но мы, тем не менее, можем решить эту задачу! У нас есть, как минимум, три способа ее решения:

1. Использование форм поисковых систем
2. Использование доступных Веб-служб
3. Использование сторонних решений

Все эти способы отличаются от себя по трудозатратам, стоимости и получаемому результату, но все три способа дают на порядок более качественный результат, нежели приведенные выше примеры.

Использование форм поисковых систем

Это самый дешевый и легко реализуемый способ. Вместо того чтобы писать свой сырой и некачественный код поиска, вы просто встраиваете форму на страницы своего сайта, которая передает запрос поисковой системе. В качестве такой системы мы покажем использование Google, хотя можно использовать любую другую, например, вот формы Яндекса: http://company.yandex.ru/forms/. Но мне больше нравится Google, так как, на мой взгляд, качество поиска у него намного выше, чем у других поисковиков.
Итак, рисуем примерно такую форму:
<form method="get" action="http://www.google.com/search">
<input type="hidden" name="ie"
value="windows-1251" />
<input type="hidden" name="domains"
value="www.specialist.ru" />
<input type="hidden" name="sitesearch"
value="www.specialist.ru" />
<input id="searchBarInput" type="text" name="q"
value="" />
<input id="searchBarSubmit" type="submit"
value="Искать!" />
<div>
<a id="extendedSearchLink" href="http://google.com/">
<span>Powered by <span style="color:blue">G</span>
<span style="color:red">o</span>
<span style="color:olive">o</span>
<span style="color:blue">g</span>
<span style="color:green">l</span>
<span style="color:red">e</span></span></a>
</div>
</form>

Обратите внимание, указание на то, что поиск предоставлен поисковой системой Google обязательно! Вот и все! За счет скрытых полей мы просим Google искать только на указанном сайте. Причем качество поиска будет заведомо выше, чем в приведенных примерах. Давайте убедимся:

Первая же ссылка указывает на оформление кредитной формы оплаты на сайте МТС.
Пример с Альфа-банком:

Первый же результат – вся информация об ипотеке Альфа-банка!
Конечно же, при всей простоте этого способа, сразу же в глаза бросается и его недостаток: пользователь переходит с вашего сайта на поисковую систему. Вообще-то, само по себе это не так страшно, ведь все ссылки с поисковика обратно ведут к вам и только к вам, но вот контекстная реклама. Не думаю, что Альфа-банк согласится с подобным предложением использовать похожую схему.
Тем не менее, этот способ можно настоятельно рекомендовать малобюджетным или некоммерческим сайтам, так как качество поиска намного перевешивает негативные стороны в виде контекстной рекламы.

Использование доступных Веб-служб

В этом способе мы попробуем отказаться от вывода чужих рекламных объявлений в результатах поиска. Многие поисковые системы предоставляют сервисы для осуществления автоматического поиска. Это и Яндекс.XML (http://xml.yandex.ru/), и службы Google и другие. Общий смысл заключается в том, что мы предоставляем свою форму поиска, которая передает запрос пользователя на наш сервер, который в свою очередь передает его поисковой системе. Получив результаты, наш сервер выводит их в любом дизайне, в любом виде на наш сайт. Пользователь даже не догадывается, что поиск осуществлялся какой-то внешней системой, так как он видит результаты в дизайне нашего сайта. Правда, у Яндекс.XML какая-то совершенно непонятная лицензионная система (требование параллельно выводить объявления Директа), а Google тихой сапой прикрыл подобный сервис примерно год назад, и сейчас предоставляет такой поиск только в совокупности с объявлениями AdSense, опять же, с контекстной рекламой.

Но и здесь можно найти выход. У Microsoft есть API для работы с поиском Live.com (http://dev.live.com/livesearch/), который (API – это «он»), позволяет реализовать подобную систему. Правда и этот API ограничивает количество запросов в день примерно на 1000 – 3000 запросов, но для средних сайтов этого хватает.

Реализовать такой поиск совершенно несложно, тем более Live Search API предусматривает SOAP вызовы XML Веб-сервиса, а это значит, что эти вызовы можно осуществить из любой платформы, и из любого средства разработки сайтов: PHP, ASP.Net и т.п.

Некоторое время назад мы сделали реализацию такого поиска, когда возникла необходимость создания поиска для сайта Specialit.ru. Увидеть ее в действии можно по адресу: http://search.specialist.ru

Если Вам покажется интересной эта тематика, оставьте, пожалуйста, свои отзывы и пожелания в комментариях к публикации, и в своей следующей статье я приведу подробный пример код реализации поисковой системы на базе Live Search API. Поверьте, там все намного проще, чем кажется на первый взгляд.

Использование сторонних решений

Однако, у способа, использующего доступные Веб-службы, например Live Search API, есть два ощутимых недостатка:

1. Невозможность оперативно управлять переиндексацией ресурса
2. Невозможность индексации (и как следствие поиска) в закрытых разделах сайта

Первый недостаток обусловлен тем, что роботы поисковых систем сами устанавливают расписание обновления вашего сайта в индексе, и если, например, ваш сайт не отдает корректный заголовок ответа HTTP Last-Modified (а это болезнь 90% сайтов в Интернете!), то это время может быть значительным. То есть после появления новых материалов на вашем сайте могут пройти дни, а то и недели, прежде чем они появятся в результатах поиска.
Второй недостаток вообще фатален. Робот поисковика никак не сможет получить доступ в закрытые разделы вашего сайта (например, в закрытый форум, где требуется авторизация), и поэтому информация из закрытых разделов никогда не появится в результатах поиска. Можно, конечно же, извернуться и сделать обезличенную публикацию информации из закрытых разделов (например, выводить сообщения закрытого форму без информации о пользователях), но это пройдет далеко не всегда. Например, как быть с поиском в вашей корпоративной почте?
Здесь нам могут помочь сторонние поисковые системы, например, Яндекс.Сервер (http://company.yandex.ru/technology/products/yandex-server.xml) или корпоративный Microsoft Office SharePoint Server (http://office.microsoft.com/ru-ru/sharepointserver/FX100492001049.aspx). Второй мне известен куда лучше, чем сервер от Яндекса, и он обладает достаточно мощной поисковой системой, которую можно использовать, в том числе, и для поиска по вашему сайту.
Возможно, в одной из следующих статей мы также рассмотрим интеграцию Microsoft Office SharePoint Server 2007 с вашим сайтом для построения эффективной поисковой системы.

Ссылки по теме

—  Статья про реализацию поиска по сайту с помощью LiveSearch API на ASP.NET
—  Статья про реализацию поиска по сайту с помощью LiveSearch API на PHP5

30.01.2016

Просмотров: 36229

Все современные сайты имеют строку поиска, в которую, ввёл ключевое слово или фразу, мы получаем перечень страниц или статей, в которых имеется упоминание запроса.

На сайте softikbox.com такая строка расположена в правой верхней части ресурса.

Данная функция работает корректно не на всех сайтах. Как же найти нужную информацию на сайте без внутреннего поиска по самому сайту?

Поиск по сайту через поисковики Google и Яндекс

Найти нужную информацию на определённом сайте, не используя внутренний поиск, можно с помощью поисковиков Google или Яндекс. Для этого выполняем следующие действия.

Открываем Google. В поисковую строку нужно ввести следующий запрос: «site: адрес ресурса ключевая фраза».

К примеру, нам нужно найти статью о браузере Microsoft Edge на сайте softikbox.com. вводим «site: softikbox.com Microsoft Edge».

Поисковая выдача будет отображаться следующим образом.

Это первый способ поиска. Также можно воспользоваться расширенными возможностями. Для этого открываем поисковик и нажимаем «Расширенный поиск». Появится новое окно. Вводим ключевую фразу и указываем адрес сайта.

Поиск через Яндекс осуществляется следующим образом. Переходим по ссылке https://site.yandex.ru/ и настраиваем ресурс. Жмём «Установить поиск».

Принимаем условия ресурса. В следующем окне указываем ключевой запрос, сайт, поиск без ограничений.

Далее очень важный момент, нужно указать конкретный сайт. В разделе «Область поиска» нажимаем «Добавить сайт и исключения».

Указываем ресурс и жмём «Добавить».

Переходим к шагу 2. Настраиваем оформление поиска. После жмём «Шаг 3».

В этом окне, стоит поставить отметку «Показывать результаты на Яндекс».

Также можно отсортировать выдачу, оформить цветом ссылки, заголовки.

Шаг 4 – проверка самого поиска. Вводим ключевую фразу и переходим к шагу 5.

Шаг 5 – это копирование кода. Зачастую код задаётся автоматически, поэтому без знаний не нужно его менять. Копируем и вставляем его на сайт.

Теперь ищем запрос без использования внутреннего поиска по сайту.

Как правило, поисковая система сайта имеет функцию робота или сканера, который проверяет весь сайт через определенные промежутки времени (например: ежедневно/еженедельно). Когда поиск замечает страницу, которая была обновлена/добавлена/изменена, поиск добавляет содержимое страницы в свою базу данных. Когда вы вводите запрос в строку он выполняет поиск по своей базе данных. Он ранжирует (выстраивает) соответствующие страницы. Например, по критерию упоминания запроса — количество раз, когда запрашиваемые слова появляются в документе, как близко к началу индексируемой веб-страницы они появляются, и насколько близко друг к другу каждый экземпляр ключевого слова отображается в другом. Это называется поиском близости. Чем больше раз сайт включает слово, и чем выше на странице он его индексирует, тем важнее слово или термин для страницы.

Определение поисковой системы.

Поисковые системы (ПС) — программно-аппаратный комплекс с веб-интерфейсом, предоставляющий возможность поиска информации в Интернете. Если кратко сформулировать — это цифровая версия библиотекаря. При помощи комплексной индексации ПС формирует нужную информацию для вашего запроса. Под поисковой системой обычно подразумевается сайт, на котором размещён интерфейс (фронт-энд) системы. Программной частью поисковой системы является поисковая машина (поисковый движок) — комплекс программ, обеспечивающий функциональность поисковой системы и обычно являющийся коммерческой тайной компании-разработчика поисковой системы, например Яндекс или Google.
Большинство поисковых систем ищут информацию на сайтах Всемирной паутины, но существуют также системы, способные искать файлы на FTP-серверах (протокол, предназначенный для хранения данных), например товары в интернет-магазинах.

Как работает внутренний поиск на сайте

Внутренний поиск отображает список поисковых запросов, которые посетители ввели в поисковую строку на веб-сайте. Внутренний поиск не показывает поисковые запросы, которые использовались для поиска вашего сайта с помощью внешней поисковой системы, такой как Google или Яндекс.
Внутренний поиск проводится на одном веб-сайте. Вместо того, чтобы прочесывать всю сеть в поисках ответа на заданный запрос, внутренняя поисковая система предоставляет результаты, которые можно найти только на вашем веб-сайте. Независимо от того, сколько информации или контента на сайте, надежная функция поиска по сайту необходима для удержания пользователей на вашем сайте и помогает им эффективно перемещаться по нему.
Используется для поиска содержимого по любому ключевому слову; если ключевое слово поиска найдено на странице, будет отображен результат.

Что нужно помнить, когда речь заходит о внутренней функции поиска по сайту

1. Видимость
Это может показаться само собой разумеющимся, но стоит повторить: функция поиска должна быть четко видна гостю сайта. В идеальном мире поиск должен располагаться в правом верхнем углу или в середине (на всех устройствах просмотра страницы). На мобильных устройствах поиск должен занимать отдельную строку в верхней части экрана, или в виде значка. Некоторые магазины предпочитают размещать значок поиска рядом со значком корзины.
! Никогда не закрывайте поисковую систему в нижнем колонтитуле вашего сайта – никто не будет прокручивать страницу так далеко, чтобы найти ее.

2. Оптимизирован для мобильных устройств
Отзывчивость мобильных устройств абсолютно важна, когда дело доходит до разработки качественной функции поиска по сайту.! Если ваш внутренний поиск по сайту хорошо работает на ПК, но имеет тенденцию давать сбои при использовании на смартфоне или планшете, это может существенно повлиять на ваш пользовательский опыт, конверсию и прибыль.

3. Работает на базе искусственного интеллекта
Хотя видимость и быстрота реагирования на мобильные устройства важны, когда речь идет о хорошем варианте поиска по сайту, в конечном счете, качество функциональности поиска — это самое важное, что вы можете обеспечить для оптимальной работы поиска по сайту. Это означает, что ваш внутренний поиск по сайту должен соответствовать передовым решениям, используемым вашими потенциальными конкурентами.

4. Возможность предсказать запрос пользователя
Внутренняя поисковая система должна быть способна к предсказыванию того, что ищет пользователь. Даже если у пользователя возникают проблемы с формулировкой запроса самостоятельно, например способность различать существительные в единственном и множественном числе, идентифицировать синонимы, сленг или жаргон и интерпретировать орфографические ошибки. Но действительно качественная функция поиска по сайту может пойти еще дальше. Он должен иметь возможность прогнозировать поиск и предлагать релевантные или связанные запросы на основе всего нескольких нажатий клавиш от клиента. В случае неясного поиска – возможно, когда клиент не совсем уверен, как выразить словами то, что он хочет, – улучшенная внутренняя поисковая система будет добавлять запрос “вы имели в виду …?” с предложениями по связанным темам и поисковым запросам, основанным на запросе и содержании вашего интернет-магазина. Все эти элементы в совокупности обеспечат удобство работы пользователя и могут дольше удерживать клиентов на сайте, что повышает шансы на конверсию.

5. Является информативным и настраиваемым
Внутренняя поисковая система так же важна для ваших клиентов, как и для вас, владельца бизнеса. Пользователи выполняют поиск по сайту, чтобы узнать, есть ли у вас на складе продукты, которые соответствуют их потребностям, а аналитика из внутренней поисковой системы должна показать вам, что именно искали ваши клиенты, чтобы вы могли соответствующим образом скорректировать товары и/или маркетинговую стратегию.
Аналогичным образом, даже полностью упакованная внутренняя поисковая система на базе искусственного интеллекта должна быть оснащена возможностью настройки различных функций инструмента поиска по сайту. Ваш конкретный бизнес будет иметь уникальный набор потребностей и задач, поэтому возможность настраивать свои инструменты в соответствии с требованиями вашего интернет-магазина является важной частью любого инструмента поиска по сайту.

Убедившись, что поисковые системы могут находить и автоматически понимать ваш контент, вы улучшаете видимость своего сайта для релевантных поисковых запросов. Это может помочь к привлечению новых пользователей. Хорошая новость в том, что настройка внутреннего поиска по сайту не должна быть сложной, а рентабельность инвестиций хорошей поисковой системы по сайту стоит потраченного времени и усилий, поскольку это приносит пользу как пользователю, так и владельцу бизнеса. Аналитические данные, предлагаемые инструментом аналитики поисковой системы, также могут дать мощное направление вашей стратегии контент-маркетинга, делая инструмент поиска по сайту не просто удобным, но и обязательным для любого онлайн-бизнеса.

Поиск на сайте – это функция, сформированная внутри самого ресурса, которая предназначена для быстрого и удобного подбора интересующего контента.

Больше видео на нашем канале — изучайте интернет-маркетинг с SEMANTICA

Если ваш сайт имеет более 20 страниц, то возможность внутреннего поиска в нем должна быть предусмотрена в обязательном порядке. В настоящее время существует множество вариантов для реализации внутреннего поиска, каждый из которых обладает своими особенностями.

Рассмотрим простой пример, чтобы понять, для чего нужен поиск по сайту. Зайдите на Avito.ru, где размещаются миллионы объявлений. Максимально быстро найти искомую информацию на таком огромном ресурсе можно только воспользовавшись функцией поиска на сайте.

Признаки хорошего поиска на сайте

Существует несколько общих параметров, которые работают для каждого посетителя:

1. Поиск по сайту должен быть видимым. Он должен располагаться в удобном месте на главной странице.
2. Любому пользователю должно быть понятно, что на сайте есть форма поиска. Без добавления поля с опознавательными знаками и соответствующим заголовком сложно понять, что это поиск по сайту.

Что требуется от поиска на сайте

Настройка поиска по сайту предполагает реализацию нескольких функций в рамках определенного ресурса:

• Поиск с учетом морфологии. Вне зависимости от окончания, падежа и прочих особенностей русского языка, система должна искать именно то, что нужно посетителю. Один из вариантов достижения необходимого результата – приведения всех слов из запроса и фраз контента сайта к нужной форме.
• Формирование контекста поиска. Автономный выбор контекста сайта, в рамках которого функционирует поисковый алгоритм, а также определение значимости для всех таких рамок. Например, в интернет-магазине основным приоритетом формы поиска по сайту будут выступать наименования товаров. Второе приоритетное значение – подбор по свойствам продукции и т.д.
• Индексация содержимого ресурса. Процедура осуществляется только после изменения или дополнения содержимого. Поиск ведется по индексу.
• Механизм ранжирования. Ранжирование поисковых результатов – это их сортировка, которая осуществляется на основе анализа значимости собранных данных. Например, если идентичные слова содержатся в двух разных статьях, то приоритетным будет результат, где данное слово отображено в большем количестве.

В чем заключается настройка поиска на сайте

В процессе установки поиска по сайту необходимо настроить морфологический анализатор, алгоритм ранжирования, индексирования и поиска.

Принцип функционирования правильно настроенного поиска:

1. Содержимое ресурса индексируется.
2. Пользователь вводит запрос.
3. Из запроса убираются служебные части предложения.
4. Строка делится на массив слов, переведенных в базовый вариант.
5. Поиск слов осуществляется в индексе.
6. Результаты подлежат ранжированию. Они сортируются и направляются аудитории.

Как сделать поиск по сайту с помощью Google и Яндекс

Рассмотрим, как сделать поиск по сайту с помощью Яндекса. Он предлагает бесплатную модель интеграции поиска. Она удобная, и кроме морфологии, исправления опечаток и ошибок предоставляет возможность добавить к каждому слову перечень синонимов и специальную форму подсказок. Это с большой вероятностью поможет быстро найти искомый контент.

Настройки поиска по сайту предельно просты. Установить все параметры можно самостоятельно. Сервис имеет гибкие настройки элементов поиска и внешнего вида, что дает возможность оформить его в соответствии со стилем ресурса в необходимых цветах. Искать можно не только текст, но и картинки.

Настройка поиска Яндекс

Настройка поиска по сайту осуществляется с помощью инструмента Яндекс.Вебмастер. Необходимо зайти в поиск Яндекса и нажать «Установить поиск». После этого нужно внести все данные, требуемые системой, в том числе название сайта, электронный адрес и параметры поиска. Далее осуществляется подбор внешнего вида функции, указывается, где именно будет располагаться страница поиска по сайту. Затем проводится проверка его работы. Если все в порядке, то функция добавляется на сайт с помощью копирования кода сервиса.

Особенности и настройка поиска Google

В отличие от Яндекса, Google – платный инструмент, но спрос на него очень высокий. Оплачивая около 100 долларов США в год, владелец ресурса получает:

• Персонализированный внешний вид поиска. Можно убрать логотип сервиса и настроить свой.
• Поиск на всех языках.
• Поиск на сайте с синонимайзерами, дающий возможность мгновенно найти то, что нужно, даже если запрос был написан не так, как он отображен на ресурсе.
• Индексирование при необходимости – возможность направлять информацию поисковому роботу сразу после сохраненных изменений.
• Возможность поиска на нескольких ресурсах одновременно.
• Ведение статистики.
• Доход от рекламы.

Как сделать поиск по сайту с помощью Google? Требуется зайти в систему пользовательского поиска Google и заполнить специальную форму. Затем можно подобрать стили, шрифты, цвета для строки поиска и т.д. После завершения настроек нужно скопировать сгенерированный код в тело страницы, где будет отображаться функция.

Поиск по сайту – это обязательный инструмент любого ресурса, один из элементов лояльности пользователей к нему. Всем, кто не знает, как его сделать с помощью PHP и HTML, не имеет навыков в web-программировании, оптимальный вариант – применить скрипты от Яндекса и Google. Они максимально адаптированы под эту функцию, и реально помогают в продвижении сайта в топ выдачи.