Как составить html карту сайта

Обновил Сергей Алмакин

Даже в 2021 году XML-карта нужна: этот инструмент по-прежнему используется краулерами Google и «Яндекс» – для ускорения индексации и получения технической информации о страницах. Из этой статьи вы узнаете, что такое sitemap.xml, зачем нужна XML-карта сайта, как ее создать и настроить правильно.

Что такое карта сайта, и зачем она нужна

В этом руководстве будем говорить преимущественно о картах сайта для поисковых систем. Это XML-документы, которые содержат служебную информацию. Они помогают поисковым роботам ориентироваться на сайтах и эффективно их индексировать.

Пример автоматической карты сайта, сгенерированной плагином Google (XML) Sitemaps Generator для CMS WordPress

Также существуют карты сайта для живых посетителей. Их еще называют HTML-картами. Они представляют собой каталог страниц сайта с отображением иерархии. HTML-карта помогает посетителям путешествовать по сайту и искать нужные страницы.

XML и HTML – языки разметки.

HTML-карты – устаревший и не очень удобный элемент навигации, поэтому уделим им немного внимания в конце статьи. А пока сосредоточимся на XML-картах, которые важны для корректной индексации ресурсов.

Зачем нужна карта сайтаsitemap.xml

Подробно об этом можно прочитать в справочниках от Google и «Яндекса». Краткая суть: в sitemap.xml содержится важная для поисковых роботов информация. Это:

• Список URL страниц сайта и их иерархия.
• Тип опубликованного контента, например, изображения или видео.
• Информация об изображениях и видео, которые поисковики используют для индексирования сайта и формирования выдачи.
• Сведения о частоте обновления и последнем обновлении страницы.
• Сведения о приоритетности страницы.
• Данные об альтернативных версиях страницы.

Те есть карта сайта – навигатор для поисковых систем.

Можно ли обойтись без sitemap.xml

Можно. Поисковые системы считают XML-карту сайта рекомендованным инструментом. Например, если на сайте нет sitemap.xml, «Яндекс» отметит это в списке возможных, а не критичных или фатальных проблем.

Отсутствие sitemap.xml относится к «возможным» проблемам сайта, но такая проблема не является фатальной или критичной

Роботы – не дураки, они проиндексируют сайт и без sitemap.xml. Но в некоторых ситуациях отсутствие XML-карты приводит к проблемам с индексированием. Вот примеры:

• На сайте есть страницы, на которые нет ссылок с других страниц сайта.
• Сайт очень большой, у него сложная структура.
• Новый сайт.
• Многие страницы сайта регулярно обновляются.
• На сайте есть более и менее важные страницы.

Рекомендация: если у вас коммерческий сайт, от посещаемости которого зависит успех бизнеса, создайте и подключите sitemap.xml. Ниже подробно описано, как это сделать.

Как создать и подключить файл sitemap.xml

Создать карту сайта можно двумя способами. Первый – сделать sitemap.xml можно с помощью внешнего онлайн-генератора. Второй – понадобится модуль или внутренний генератор для конкретной CMS. Рассмотрим оба способа.

Как создать карту сайта онлайн с помощью генератора

Этот способ хорош тем, что вы не привязываетесь к конкретному движку. С помощью онлайн-генераторов можно сделать sitemap.xml для сайта на любой CMS или для статичного сайта на HTML.

У этого способа есть недостаток. Он подходит для сайтов с ограниченным количеством страниц, например, для сайтов-визиток. Если на сайте пять страниц, а новые создавать вы не планируете, сделайте sitemap.xml один раз с помощью бесплатного внешнего сервиса. Примеры будут дальше.

Если на сайте постоянно появляются новые страницы, бесплатные внешние генераторы не подходят. Они не включают в карту сайта новые URL, поэтому sitemap.xml теряет актуальность.

Вот несколько генераторов карты сайта:

• XML-Sitemaps.
• XML sitemap generator.
• Online XML sitemap generator.
• My Sitemap generator.

Чтобы создать sitemap.xml с помощью XML-Sitemaps, укажите URL сайта и нажмите кнопку Start.

Создаем карту сайта

В зависимости от масштабов сайта и суммарного количества страниц придется подождать. От нескольких секунд до нескольких минут:

В нашем случае сканирование сайта с 541 страницей в поиске «Яндекса» заняло около 4 минут. После того, как карта будет сформирована, скачайте файл sitemap.xml на жесткий диск. Для этого нажмите кнопку VIEW SITEMAP DETAILS:

Откроется подробная детализация созданной карты. Можете ознакомиться с ней и затем нажать DOWNLOAD YOU XML SITEMAP FILE:

Загружаем созданный файл на жесткий диск

Теперь загрузите sitemap.xml в корневую директорию на сайте. Это можно сделать с помощью FTP-клиента, например, FileZilla. У нас есть руководство по работе с этой программой. Еще легче – при помощи файлового менеджера используемого вами хостинга. Например, вот файловый менеджер хостинга Beget:

Если не знаете, где находится корневой каталог сайта, найдите файл index.html или index.php:

Как создать карту сайта с помощью дополнительных модулей для CMS

Этот способ создания карты сайта более удобный по сравнению с бесплатными онлайн-генераторами. Он обеспечивает дополнительную гибкость: вебмастер может управлять параметрами sitemap.xml. Кроме того, надстройки автоматически обновляют карту сайта после создания новых страниц и уведомляют об этом поисковые системы.

Если ваш сайт работает на WordPress, обратите внимание на плагин Google XML Sitemaps. Установите и активируйте модуль. Перейдите на страницу настроек. В базовых параметрах включите уведомления для Google, добавьте URL карты сайта в robots.txt и включите сжатие файла sitemap.xml:

Обязательно отметьте эти четыре чекбокса

В разделе «Приоритет статьи» отключите автоматический расчет приоритета публикаций. Позже вы укажете приоритеты страниц вручную.

Уделите внимание разделу «Содержание карты сайта». Включите в sitemap.xml только те типы страниц, которые нужны вам в индексе поисковых систем.

Например, если у вас интернет-магазин, имеет смысл включить в карту сайта страницы категорий и меток. В этом случае поисковики будут показывать пользователям страницы каталога, например, рубрику «Смартфоны» или страницу каталога с товарами, помеченными тегом «детский». Если страницы меток и категорий в выдаче не нужны, не включайте их в карту сайта.

Обязательно отметьте галочкой опцию Include the last modification time. В этом случае плагин укажет в карте сайта дату последнего обновления публикации. Эта информация нужна роботам, чтобы планировать повторное сканирование страниц.

Отмечаем четыре чекбокса на главной странице настроек плагина

В разделе Excluded Items при необходимости исключите из карты сайта отдельные категории или страницы.

В разделе Change Frequencies можно попросить поисковые системы индексировать те или иные типы страниц с определенной периодичностью. Поисковики, скорее всего, проигнорируют параметр changefreq в sitemap.xml, так как они сами планируют краулинговый бюджет сайта. Тем не менее, плагин дает возможность указать эти настройки в карте сайта.

Указываем желаемую частоту индексирования страниц

В разделе «Приоритеты» укажите приоритетность страниц сайта. Допустимы значения от 0,1 до 1,0. По умолчанию страница имеет приоритет 0,5. Присвойте высокий приоритет страницам, которые считаете важными по сравнению с остальными страницами сайта. Например, если на главной появляются анонсы новостей или новых товаров, она может считаться самой приоритетной страницей.

Указываем приоритеты индексации

Обратите внимание: время последнего обновления, желаемая частота индексации и приоритетность страниц – необязательная информация. Поисковые системы могут ее учитывать, а могут и не учитывать. Вы ничего не потеряете, если оставите в этих разделах дефолтные значения.

Сохраните изменения. После этого о плагине Google XML Sitemaps можно навсегда забыть, так как он работает в фоновом режиме, автоматически обновляется и сам актуализирует карту сайта. Вам останется только добавить sitemap.xml в Google Search Console и «Яндекс.Вебмастер».

Google XML Sitemaps – не единственный плагин для WordPress, с помощью которого можно создать карту сайта. Например, в комбайне All in One SEO есть модуль «Sitemaps»:

После активации модуля можно создать карту сайта и настроить ее параметры:

Активируем чекбокс Enable Sitemap

Если вы публикуете на сайте видео и хотите, чтобы они ранжировались в поиске, то в этом же плагине можно создать карту сайта для видео:

Кроме этого, для создания отдельной карты сайты для видео можно воспользоваться специально предназначенным для этого генератором, например, Sitemap Generator.

Вот генераторы sitemap.xml для других движков:

• Для «Джумлы»: JSitemap.
• Для Drupal: Simple XML sitemap.
• Для OpenCart: FS XML Sitemap Free — sitemap.xml file generator.

После создания карты сайта добавьте ее в Google Search Console и «Яндекс.Вебмастер».

Как добавить карту сайта в Google Search Console и «Яндекс.Вебмастер»

Чтобы добавить карту сайта в Search Console, выберите раздел «Файлы Sitemap». Добавьте URL карты и нажмите кнопку «Отправить». Обычно карта сайта доступна по адресу типа vash-site.ru/sitemap.xml.

Добавляем sitemap.xml в Search Console

Поисковику понадобится какое-то время, чтобы проиндексировать карту сайта. После индексации появится статус «Успешно» или сообщение об ошибках. Чтобы просмотреть отчет об индексировании карты сайта в новом интерфейсе Search Console, нажмите на отмеченную на иллюстрации пиктограмму.

Смотрим отчет об индексировании sitemap.xml

В отчете можно увидеть данные об индексировании sitemap.xml. Например, если на сайте есть закрытые от индексирования страницы, уведомление об этом появится в отчете.

Если на сайте есть проблемы с индексированием, отчет о карте сайта это покажет

Чтобы добавить sitemap.xml в «Яндекс.Вебмастер», выберите раздел «Индексирование – Файлы Sitemap»:

Укажите URL карты сайта в соответствующем поле и нажмите кнопку «Добавить».

Добавляем карту сайта в «Яндекс.Вебмастере»

В «Яндекс.Вебмастере» уведомление о проблемах с картой сайта появляется в разделе «Диагностика сайта». Также корректность файла можно проверить с помощью специального инструмента.

С sitemap.xml все в порядке

«Яндекс.Вебмастер» или Search Console Google: какая панель все же лучше (и для каких задач)

Как создать HTML-карту сайта

Как отмечалось выше, HTML-карта – элемент навигации для живых пользователей. Если у сайта логичная структура и удобное меню, HTML-карта не нужна. Если сайт большой, а пользователи жалуются на запутанность структуры, попробуйте решить проблему с помощью карты сайта.

Когда искал пример HTML-карты сайта, почему-то сразу подумал про сайты государственных пенсионных фондов. И не ошибся. Видимо, пожилым пользователям сложно ориентироваться на сайте с помощью меню. Учитывайте это, когда будете решать целесообразность добавления карты сайта в формате HTML.

Карта сайта пенсионного фонда РБ

Создать карту сайта в формате HTML на WordPress можно с помощью плагина Simple Sitemap от разработчика David Gwyer или аналогичных решений. Достаточно установить и активировать надстройку, а затем вставить предложенный шорткод на страницу, где нужна >карта сайта.

Карта сайта готова

Вот решения для других CMS:

• OSMap для Joomla.
• Sitemap для Drupal.

В OpenCart карта сайта в формате HTML создается автоматически.

Карта сайта: создать и забыть

Именно так выглядит идеальный алгоритм работы с картой сайта sitemap.xml. Чтобы его реализовать, лучше пользоваться плагинами и модулями для CMS. Они автоматически генерируют файл sitemap.xml и актуализируют его при появлении на сайте новых страниц.

Созданную карту сайта нужно добавить в Search Console и «Яндекс.Вебмастер». После этого о sitemap.xml действительно можно забыть. Если у поисковых систем возникнут проблемы с индексированием карты, они вас уведомят. Чтобы решить проблемы, скорее всего, будет достаточно повторно сгенерировать карту и отправить ее на индексацию.

Поделиться

СВЕЖИЕ СТАТЬИ

Другие материалы из этой рубрики

Не пропускайте новые статьи

Подписывайтесь на соцсети

Делимся новостями и свежими статьями, рассказываем о новинках сервиса

«Честно» — авторская рассылка от редакции Unisender

Искренние письма о работе и жизни. Свежие статьи из блога. Эксклюзивные кейсы
и интервью с экспертами диджитала.

Содержание

Sitemap, или карта сайта, содержит все его страницы в виде URL-адресов. Файл помогает поисковым роботам разобраться с содержимым ресурса, увидеть приоритетные для индексирования ссылки, оценить структуру сайта.

Расскажем, как работает файл, кому он будет полезен и как его установить.

Что такое Sitemap

Sitemap — это xml-документ со списком URL страниц сайта. Это своеобразный путеводитель для поисковиков: он подсказывает им, какой контент доступен на сайте и как его найти. 

Поисковый робот Яндекса или Google (краулер) не заходит на каждую страницу, а однократно считывает Sitemap.xml. Это ускоряет индексацию.

Зачем нужна карта сайта Sitemap.xml

Поисковики индексируют сайты и без Sitemap, но карта подсказывает точки входа для пользователей и роботов. Это увеличивает шансы на быструю индексацию.

Sitemap.xml можно назвать дорожной картой для ботов, которые изучают ваш ресурс. Файл помогает роботам просмотреть сайт глубже, правильно оценить его структуру и добраться до всех страниц.

Когда Sitemap нужен, а когда — нет

Файл актуален для: 

• многостраничных ресурсов с разветвленной структурой и глубокой вложенностью;
• сайтов, страницы которых часто добавляются и обновляются;
• ресурсов со слабой внутренней перелинковкой;
• новых сайтов, на которых мало внешних ссылок. 

Роботы могут не индексировать часть таких ресурсов — карта решает эту проблему.

Иногда xml-карта не нужна. Например, если на сайте не более 500 страниц и есть перелинковка, этот файл может оказаться бесполезным.

Формат Sitemap

Sitemap.xml одностраничника со всеми доступными тегами выглядит так:

Рассмотрим, какое значение несут эти атрибуты и полезны ли они для SEO.

Loc (Location)

Обязательный тег содержит абсолютный путь к странице — канонический URL. В нем прописывают актуальный протокол http:// или https:// и www, если он есть в адресе.

Для международных сайтов здесь указывают hreflang. Атрибут xhtml:link определяет язык и регион, чем снижает время загрузки для каждой конкретной страницы. Такой возможности нет у других элементов в <head> и у HTTP-заголовков.

Lastmod (Last Modified)

Необязательный тег, который все же рекомендуют устанавливать. Он помогает поисковым системам определять не только «свежесть», но и авторство контента. 

Злоупотреблять не стоит — прописывайте Lastmod для значимых изменений. Его обилие может негативно сказаться на ранжировании — вплоть до санкций от поисковых систем.

Priority

Необязательный тег служит для указания веса страницы среди остальных. Может принимать значения от 0 до 1. 

Обычно SEO-специалистов и поисковиков не очень заботит наличие тега Priority и его значения, поэтому он почти не применяется.

Типы Sitemap

Расскажем подробнее о разновидностях карты сайта.

Файл индекса Sitemap

Ограничения для него:

• не более 50 000 URL;
• вес без сжатия — до 50 Мб.

Sitemap можно сжимать через gzip, чтобы не перегружать пропускную способность сервера. Итоговый файл приобретет название вида Sitemap.xml.gz. 

Распакованный Sitemap также должен отвечать требованиям. Если файл слишком большой, его следует разделить — перераспределить URL между несколькими Sitemap.

Отдельные файлы могут быть объединены в единый «sitemap sitemap’ов». Исключительно большие сайты иногда требуют сразу несколько таких списков. В нашем случае основной файл находится по адресу calltouch.ru/sitemap.xml, а внутри него указаны URL частных карт сайта, пример: calltouch.ru/sitemap_iblock_5.xml.

Для оптимальной работы поисковых систем с файлами Sitemap необходимо:

• Добавить файл индекса в Google Search Console и Яндекс.Вебмастер.
• Указать полный путь к файлу в robots.txt, разрешив поисковикам работу с ним. Чтобы лучше понять, как это сделать, читайте руководство по настройке robots.txt.

XML Sitemap для изображений и видео

Его создают, чтобы улучшить индексацию графического и видеоконтента. По актуальным стандартам SEO, изображения/ролики с их атрибутами встроены в контент — программа считывает их одновременно со всей страницей.

Для вызова свойств изображения используйте JSON-LD-разметку schema.org/ImageObject. Она помогает поисковым движкам получить больше атрибутов, чем из xml Sitemap. Именно из-за этого дорожная карта для изображений не актуальна на большинстве сайтов.

Исключение — ресурсы, которые развиваются за счет графики, например стоки картинок или сайты видеоконтента.

Sitemap для Google Новостей

Целесообразна только для ресурсов, зарегистрированных в Google Новостях. Если ваш сайт подключен к ним, добавьте в Sitemap материалы, опубликованные за последние 2 дня, но не более 1 000 URL на один файл. По мере обновления материалов корректируйте файл.

Не стоит подключать к Google Новостям Sitemap для изображений — система их не поддерживает. Сам Google советует использовать schema.org image или og:image для добавления миниатюр из новостей.

Мобильный Sitemap

Он не обязателен, так как предназначался для кнопочных телефонов. Использовать его для смартфонов нет нужды.

HTML Sitemap

XML-карты сайта предназначены для поисковым систем — их читают роботы в целях индексации. HTML-версии годятся только для пользователей — это наглядные карты сайтов, ссылки на которые представлены в основном футере. Сами же карты, если сайт большой, могут располагаться на отдельных страницах.

Такая карта не обязательна: с ними рост посещаемости страниц обычно составляет статистическую погрешность.

Чтобы упростить пользователям связь с вашей компанией, воспользуйтесь Виджетами Calltouch. С их помощью клиенты смогут оставить свои контактные данные и выбрать наиболее удобный способ связи в любое время суток. Программа обработает информацию и передаст ее в контакт-центр, а вы не упустите ни одной заявки.

Динамический XML Sitemap

Можно сделать карту сайта статичной, но как только вы удалите или добавите страницу, Sitemap устареет. То же касается и загрузки нового контента — атрибут Lastmod не перепишется автоматически.

Чтобы не вносить изменения каждый раз, создайте карту сайта с автообновлением.

Требования к файлу

Чтобы Sitemap функционировал корректно, соблюдайте правила:

• Файл не должен быть более 50 Мб и содержать больше 50 000 страниц. Если структура не укладывается в эти рамки, создайте две разных карты.
• Используйте кодировку UTF-8.
• Размещайте Sitemap на домене сайта, для которого он составлен.
• Создавайте файл в формате xml, а не txt.

Генераторы для создания Sitemap

Онлайн-генераторы составляют карту сайта за несколько минут. У большинства сервисов есть бесплатные тарифы, в которых можно создать файл Sitemap на 500 страниц. Крупные сайты они сканируют платно. 

Примеры сервисов для создания Sitemap:

• SiteDozor;
• Online xml sitemap generator;
• Gensitemap;
• My Sitemap generator.

Онлайн-генераторы не подходят для ресурсов, страницы которых постоянно обновляют.

Как создать карту сайта

Простые способы создать Sitemap:

• Написать вручную. Для динамических карт попросите разработчика создать кастомный скрипт с понятными инструкциями.
• Использовать инструмент создания карт сайта: xml-sitemaps.com, Screaming Frog или web-site-map.com.
• Установить плагин для вашей CMS. Например, Yoast SEO для WordPress (мы используем как раз его).

Где размещать карту на сайте

Поместите HTML-карту в корневой каталог сайта. Также добавьте ее в файл robots.txt.

Как добавить XML-файл в Вебмастер и Гугл Консоль

В обе панели карту можно загружать двумя способами: 

• Указать месторасположение файла. 
• Добавить файл в директиву robots.txt. Если на сайте она настроена правильно, то в панелях появится автоматически.

Чтобы добавить файл Sitemap в Вебмастер вручную:

1. Откройте панель.
2. Выберите раздел «Индексирование», затем — «Файлы Sitemap».
3. В окно «Добавить файл» впишите URL карты сайта и кликните на «Добавить».

У Яндекса есть функция проверки сайтмапа перед загрузкой — анализатор файлов Sitemap. Он поддерживает разные форматы: файл, текст, URL. Когда xml уже загружен в Вебмастер, его корректность проверяют в разделе «Диагностика сайта». Если все хорошо, то во вкладке будет написано «Ошибок не найдено». 

Добавить карту в Гугл Консоль можно за 2 шага:

1. Выберите раздел «Файлы Sitemap».
2. Добавьте URL карты и кликните «Отправить».

Если что-то пошло не так, после загрузки файла сервис покажет это во вкладке «Ошибки сканирования». Для проверки карты до загрузки используйте сторонние сервисы, например Screaming Frog.

Поиск ошибок с помощью программы Screaming Frog

Сервис сканирует любые сайтмапы и подходит для больших файлов. Чтобы проверить карту в приложении: 

1. Зайдите в Screaming Frog.
2. Нажмите на кнопку Mode и выберите List.
3. Кликните на Upload, Download xml Sitemap.
4. Введите ссылку на карту и кликните на ОК.

Когда анализ завершится, вы увидите редиректы, ошибки 404, дубликаты адресов. 

Как Sitemap влияет на SEO

Поисковики продвигают сайты с минимальным количеством ошибок. Если вы добавите сайт в Google Search Console или Яндекс.Вебмастер без карты, сервисы могут вывести ошибку — уведомление о том, что не хватает файла Sitemap.xml. Это чревато пессимизацией вашего ресурса. 

Именно поэтому добавлять карту рекомендуют даже для маленьких сайтов с неглубокой вложенностью.

Оптимизация индексации xml Sitemap

Чтобы оптимизация прошла быстро и успешно, следуйте рекомендациям.

Добавляйте в Sitemap только SEO-релевантные страницы

XML Sitemap включает в себя список страниц, которые важно «показать» поисковикам. Краулеры придерживаются перечня, который вы сами определите.

Исключите из показов:

• дубликаты и побочные адреса (non-canonical);
• страницы с пагинацией;
• URL на основе ID сессий и параметров;
• результаты поиска;
• адреса ответов и комментариев;
• адреса для репоста;
• результаты фильтрации;
• архивные страницы;
• редиректы (3**), несуществующие страницы (4**), ошибки сервера (5**);
• страницы, заблокированные в robots.txt;
• страницы с noindex;
• материалы, доступные через форму лидгена (White Paper, PDF и другие);
• страницы, не подходящие в качестве точек входа (окно логина, контакты, пользовательское соглашение и так далее).

Список URL в Sitemap поисковики воспринимают как рекомендацию. Они могут перейти на страницы, не указанные в файле.

Используйте отчеты с пользой

Отчет Google Search Console дает ценные сведения о том, какие ошибки есть в Sitemap, но он полезен не только для валидации.

Рассмотрим сайт, на котором 131 000 страниц. Поскольку объем большой, понадобится несколько файлов. Следуя рекомендациям Google и Schema.org, некоторые веб-мастера просто нумеруют их. Получается отчет вроде:

Названия ни о чем не говорят, и сведения о 64% проиндексированных страниц — не самые полезные. Важнее понять, какие именно типы страниц содержат ошибки. Если продолжить изучать sitemap-1, sitemap-2 и так далее, вы вряд ли что-то поймете. 

Взаимовложенная структура файлов и информативные названия дают более полезные результаты:

Из такого отчета вы поймете, какие разделы проседают в индексации, и что можно предпринять.

Оптимизируйте свои рекламные кампании с помощью Сквозной аналитики Calltouch. Вы узнаете, сколько лидов приносит SEO и другие виды продвижения, получите подробную статистику по доходам и расходам и перераспределите маркетинговый бюджет.

Как удалить сайтмап

Чтобы удалить файл, уберите его из корневой папки сайта и очистите ссылку из robots.txt. Если ресурс создан на платформе CMS, то избавьтесь от плагина, который ее создает.

Чек-лист: как улучшить Sitemap

Используйте чек-лист, чтобы создать карту сайта, которая обеспечит наилучший контакт с поисковыми системами:

• Включайте теги hreflang.
• Обязательно прописывайте <loc> и <lastmod>.
• Сжимайте Sitemap через gzip.
• Используйте файл индекса.
• Создавайте Sitemap для изображений, видео и новостей только в тех случаях, когда это оправдано спецификой сайта.
• Генерируйте динамические карты сайта.
• Ссылайтесь на индексный sitemap в robots.txt.
• Подключите sitemap в Google Search Console и Яндекс.Вебмастере.
• Добавляйте только SEO-релевантные страницы.
• Исправляйте обнаруженные в отчетах ошибки.
• Используйте понятные названия и структуру карт сайта.

Заключение

XML карта сайта — это полезный инструмент, который позволяет улучшить работу ресурса и его показатели в поисковых системах. Он помещает все страницы сайта в один файл. Благодаря этому поисковым роботам легче его индексировать, что положительно влияет на ранжирование и посещаемость ресурса.

Sitemap или Карта сайта – специально созданный файл с перечнем страниц ресурса, которые необходимо проиндексировать.

Зачем нужен файл Sitemap

Существует два вида Карты сайта, которые различаются форматами и назначением:

HTML-карта

Её составляют для пользователей, чтобы упростить им навигацию по страницам сайта. Это необязательный элемент, такую карту можно составить на большом сайте со сложной иерархией для удобства пользователей.

XML-карта

Нужна для поисковых ботов, она важна для SEO, так как помогает ботам индексировать страницы ресурса. Наличие этого файла подсказывает поисковым роботам, как именно организована структура сайта. Соответственно, Яндекс, Google, Bing и другие поисковики получают возможность более качественно индексировать проект.

В этом материале разберем создание XML-карты.

Для чего нужна Карта сайта:

1. Ускорить процесс полной индексации.
   Поисковые роботы Google могут пропустить недавно созданные или измененные страницы, а Карта поможет в них ориентироваться.
2. Ускорить переклейку.
   Сам Google при редиректе страниц советует сгенерировать XML-карту сайта со старыми URL и отправить ее в консоль Google. Например, так стоит сделать при переезде на https. Это поможет быстро переклеить URL на новые.
3. Повысить вероятность признания страницы канонической.
   Наличие адреса страницы в XML-карте увеличивает шанс, что среди дублей бот признает именно эту страницу каноничной, то есть первоисточником.
4. Дать дополнительную информацию.
   В Карте указывают дополнительные рекомендации для робота: делают пометки о важности страницы, частоте и дате обновления.
5. Отобразить количество проиндексированных URL
   Сигналы из Sitemap нужны в том числе для отображения проиндексированных ссылок в Search Console.
6. Ускорить процесс пакетной деиндексации.
   Для этого создают временный файл Sitemap, в который включают страницы для удаления. Об этом рассказал Джон Мюллер, он рекомендует обязательно указать дату последнего изменения страниц, когда им был присвоен код ошибки 404 или атрибут noindex. Так Google будет знать, что необходимо заново просканировать содержимое сайта. Через несколько месяцев эту временную карту сайта можно будет убрать.

При этом даже если Google найдет ссылку в Sitemap, но ее не будет в навигации, он не придаст ей веса и не проиндексирует. Ссылки в Карте сайта — это рекомендации, важнее всего составить грамотную структуру сайта, в которой поисковый робот найдет все нужные страницы.

В большинстве случаев грамотной внешней и внутренней перелинковки страниц достаточно, чтобы поисковые роботы узнали о всем содержимом сайта. Лендингам, небольшим корпоративным сайтам из пары страниц, одностраничным визиткам Карта сайта и не нужна — бот разберется в страницах без труда. Карты нужны для сайтов, которые сложно краулить, поэтому для остальных проектов ее рекомендуют создать.

Как проверить, в индексе ли страница сайта

Карта обязательно нужна сайтам с такими признаками:

• Проект создан недавно, у него мало внешних ссылок. В этом случае поисковому боту сложнее найти сайт.
• В структуре сайта много архивов веб-документов, не связанных между собой.
• У проекта большое количество страниц, разделов и подразделов;
• В структуре преобладают динамические страницы.
• На сайте есть мультимедийный контент. Бот сможет получить дополнительную информацию из Sitemap для показа в результатах поиска.

Поисковые системы могут не проиндексировать все нужные страницы таких сайтов, если не предложить краулерам файл Sitemap. Разберем, как его создать.

Базовые критерии создания файла Sitemap

У поисковиков есть свои требования к составлению Карты сайта, о которых нужно помнить веб-мастеру.

Общие требования к Sitemap:

1. Количество URL-адресов в файле Sitemap не должно превышать 50 тысяч. Если их больше, необходимо создать несколько отдельных Карт сайта, которые прописывают в файле индекса Sitemap. По словам официального представителя Google, для этого достаточно создать несколько отдельных файлов Sitemap, не больше 50 тысяч ссылок каждая, а в сумме ссылок может быть больше лимита. После этого для нескольких Карт создают общий материнский файл Sitemap.
2. Максимальный размер файла – 50 Мб. Файл можно уменьшить при помощи сжатия gzip, но в несжатом виде он все равно должен быть меньше 50 Мб.
3. Файл Sitemap должен находиться на том же домене, что и веб-сайт, для которого он создан.
4. Можно использовать кодировку UTF-8, а также латинские буквы и цифры.
5. Ответом сервера на обращение к файлу Sitemap должен быть HTTP-статус с кодом 200 OK.
6. URL идентификаторы сессий не должны быть в Карте сайта.
7. Ссылки должны иметь одинаковый синтаксис.
8. В Карте указаны только канонические URL.
9. Карта не конфликтует с информацией в robots.txt — если в robots.txt какие-то страницы закрыты от индексации, то их не должно быть в Карте.

Подробнее о требованиях есть в Справке Google и на странице Помощи Яндекса.

Некоторые веб-мастеры беспокоятся о порядке ссылок в файле, но представитель Google Джон Мюллер сказал, что очередность не имеет значения вообще, главное — поместить в Sitemap самые важные канонические ссылки.

Допустимые форматы Карты сайта

Особое требование предъявляется к формату файла Sitemap. Карту сайта можно создать в виде XML-файла, текстового файла или посредством RSS, mRSS и Atom 1.0. Яндекс указывает, что поиск не поддерживает передачу RSS и Atom-фидов с помощью Sitemap. Если ориентируетесь на разные поисковые системы, используйте формат XML. Правила создания файла описаны в стандарте.

Служебные теги Sitemap

Обязательные теги Карты сайта:

• — контейнер с указанием стандарта протокола;
• — родительский тег для каждой записи URL-адреса;
• — указание URL, начинается с префикса, к примеру, http или https.

Дополнительные теги:

• — частота обновления веб-документа с атрибутами never, always, yearly, monthly и так далее;
• — дата последнего обновления на странице;
• — указание разной важности страниц ресурса от 0,1 до 1, определяет очередность обработки URL на этом сайте. Google его не поддерживает. Приоритет можно дать самым важным страницам и нет смысла указывать высокий приоритет всем ссылкам, тогда тег вообще ни на что не повлияет.

Другие языковые версии сайта указывают с помощью атрибута hreflang.

Пример Карты сайта в формате XML

Sitemap для PR-CY.ru, если бы он состоял из одной страницы и содержал упомянутые теги, мог бы выглядеть так:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.pr-cy.ru/</loc>
<lastmod>2016-03-21</lastmod>
<changefreq>daily</changefreq>
<priority>0.8</priority>
</url>
</urlset>

Как создать и где разместить файл Sitemap?

При желании составить Карту сайта можно вручную, но это слишком трудозатратно и бессмысленно — Карта сайта должна быть динамической, если вы регулярно обновляете сайт — публикуете новые записи в блоге, развиваете интернет-магазин. Лучше создавать файл Sitemap автоматически, обратившись к услугам бесплатных онлайн-сервисов и плагинов для CMS.

Сервисы для создания Sitemap

• XML-Sitemaps
  Сделает Карту для небольших сайтов до 500 страниц бесплатно и без регистрации, для обновляемого файла с большим количеством страниц нужно подключить PRO-аккаунт, которые дает много дополнительных преимуществ с анализом ссылок. Есть PHP-скрипт для установки на своем сервере.
• Генератор СайтРепорт
  Бесплатное онлайн-создание файла карты до 5000 страниц.



• MySitemapGenerator
  Бесплатно составит карту до 500 страниц, 2,5 доллара стоит генерация файла до миллиона страниц и создание карты с неограниченным количеством ссылок и автоматическим обновлением по расписанию стоит 4 доллара в месяц.
• Xml Sitemap Generator
  Бесплатно генерирует HTML, RSS и Google XML-карты сайта. Есть онлайн-режим, плагин для WordPress и возможность скачать программу для Windows.

CMS-плагины для создания Sitemap

WordPress: Xml Sitemap Generator, SEO Plugin Rank Math, YOAST SEO, All in One SEO Pack.

Joomla: демо и платная версия OSMap, демо и платная jSitemap, бесплатная JL Sitemap.

1С-Битрикс: в админпанели в разделе «Маркетинг» есть «Настройка sitemap.xml».

После того, как Карта сайта готова, файл необходимо определить в корневую директорию. В этом случае ссылка, указывающая поисковым системам путь к файлу Sitemap, может выглядеть так: http://www.pr-cy.ru/sitemap.xml

Добавление Карты сайта в поисковые системы

Чтобы о новом файле Sitemap быстрее узнали поисковые роботы, веб-мастеру необходимо внести изменения в файл robots.txt, прописав в нем особую директиву, указывающую точный маршрут к Карте сайта:

 Sitemap: http://www.pr-cy.ru/sitemap.xml

Готовый файл Sitemap нужно проверить на ошибки и добавить в Яндекс или Google при помощи Яндекс.Вебмастера или Google Search Console.

Как удалить старую Карту сайта

При реорганизации контента и создании новых Sitemap нужно удалить старую Карту сайта. ​В панели Вебмастера Google нет такой функции, но сотрудник Google Джон Мюллер советует присвоить ссылке на файл ошибку 404. Если ссылка на Sitemap XML отдает код ошибки 404, то со временем поисковик автоматически перестанет учитывать этот файл.

---

Наличие у сайта правильно составленной Карты — не гарантия того, что поисковик проиндексирует все страницы. Sitemap — подсказка для поисковых ботов о том, как лучше сканировать ресурс. Тем не менее, если вы управляете не лендингом и не сайтом из нескольких страниц, составьте файл для своего проекта.