Как правильно составить сайтмап

Обновил Сергей Алмакин

Даже в 2021 году XML-карта нужна: этот инструмент по-прежнему используется краулерами Google и «Яндекс» – для ускорения индексации и получения технической информации о страницах. Из этой статьи вы узнаете, что такое sitemap.xml, зачем нужна XML-карта сайта, как ее создать и настроить правильно.

Что такое карта сайта, и зачем она нужна

В этом руководстве будем говорить преимущественно о картах сайта для поисковых систем. Это XML-документы, которые содержат служебную информацию. Они помогают поисковым роботам ориентироваться на сайтах и эффективно их индексировать.

Пример автоматической карты сайта, сгенерированной плагином Google (XML) Sitemaps Generator для CMS WordPress

Также существуют карты сайта для живых посетителей. Их еще называют HTML-картами. Они представляют собой каталог страниц сайта с отображением иерархии. HTML-карта помогает посетителям путешествовать по сайту и искать нужные страницы.

XML и HTML – языки разметки.

HTML-карты – устаревший и не очень удобный элемент навигации, поэтому уделим им немного внимания в конце статьи. А пока сосредоточимся на XML-картах, которые важны для корректной индексации ресурсов.

Зачем нужна карта сайтаsitemap.xml

Подробно об этом можно прочитать в справочниках от Google и «Яндекса». Краткая суть: в sitemap.xml содержится важная для поисковых роботов информация. Это:

• Список URL страниц сайта и их иерархия.
• Тип опубликованного контента, например, изображения или видео.
• Информация об изображениях и видео, которые поисковики используют для индексирования сайта и формирования выдачи.
• Сведения о частоте обновления и последнем обновлении страницы.
• Сведения о приоритетности страницы.
• Данные об альтернативных версиях страницы.

Те есть карта сайта – навигатор для поисковых систем.

Можно ли обойтись без sitemap.xml

Можно. Поисковые системы считают XML-карту сайта рекомендованным инструментом. Например, если на сайте нет sitemap.xml, «Яндекс» отметит это в списке возможных, а не критичных или фатальных проблем.

Отсутствие sitemap.xml относится к «возможным» проблемам сайта, но такая проблема не является фатальной или критичной

Роботы – не дураки, они проиндексируют сайт и без sitemap.xml. Но в некоторых ситуациях отсутствие XML-карты приводит к проблемам с индексированием. Вот примеры:

• На сайте есть страницы, на которые нет ссылок с других страниц сайта.
• Сайт очень большой, у него сложная структура.
• Новый сайт.
• Многие страницы сайта регулярно обновляются.
• На сайте есть более и менее важные страницы.

Рекомендация: если у вас коммерческий сайт, от посещаемости которого зависит успех бизнеса, создайте и подключите sitemap.xml. Ниже подробно описано, как это сделать.

Как создать и подключить файл sitemap.xml

Создать карту сайта можно двумя способами. Первый – сделать sitemap.xml можно с помощью внешнего онлайн-генератора. Второй – понадобится модуль или внутренний генератор для конкретной CMS. Рассмотрим оба способа.

Как создать карту сайта онлайн с помощью генератора

Этот способ хорош тем, что вы не привязываетесь к конкретному движку. С помощью онлайн-генераторов можно сделать sitemap.xml для сайта на любой CMS или для статичного сайта на HTML.

У этого способа есть недостаток. Он подходит для сайтов с ограниченным количеством страниц, например, для сайтов-визиток. Если на сайте пять страниц, а новые создавать вы не планируете, сделайте sitemap.xml один раз с помощью бесплатного внешнего сервиса. Примеры будут дальше.

Если на сайте постоянно появляются новые страницы, бесплатные внешние генераторы не подходят. Они не включают в карту сайта новые URL, поэтому sitemap.xml теряет актуальность.

Вот несколько генераторов карты сайта:

• XML-Sitemaps.
• XML sitemap generator.
• Online XML sitemap generator.
• My Sitemap generator.

Чтобы создать sitemap.xml с помощью XML-Sitemaps, укажите URL сайта и нажмите кнопку Start.

Создаем карту сайта

В зависимости от масштабов сайта и суммарного количества страниц придется подождать. От нескольких секунд до нескольких минут:

В нашем случае сканирование сайта с 541 страницей в поиске «Яндекса» заняло около 4 минут. После того, как карта будет сформирована, скачайте файл sitemap.xml на жесткий диск. Для этого нажмите кнопку VIEW SITEMAP DETAILS:

Откроется подробная детализация созданной карты. Можете ознакомиться с ней и затем нажать DOWNLOAD YOU XML SITEMAP FILE:

Загружаем созданный файл на жесткий диск

Теперь загрузите sitemap.xml в корневую директорию на сайте. Это можно сделать с помощью FTP-клиента, например, FileZilla. У нас есть руководство по работе с этой программой. Еще легче – при помощи файлового менеджера используемого вами хостинга. Например, вот файловый менеджер хостинга Beget:

Если не знаете, где находится корневой каталог сайта, найдите файл index.html или index.php:

Как создать карту сайта с помощью дополнительных модулей для CMS

Этот способ создания карты сайта более удобный по сравнению с бесплатными онлайн-генераторами. Он обеспечивает дополнительную гибкость: вебмастер может управлять параметрами sitemap.xml. Кроме того, надстройки автоматически обновляют карту сайта после создания новых страниц и уведомляют об этом поисковые системы.

Если ваш сайт работает на WordPress, обратите внимание на плагин Google XML Sitemaps. Установите и активируйте модуль. Перейдите на страницу настроек. В базовых параметрах включите уведомления для Google, добавьте URL карты сайта в robots.txt и включите сжатие файла sitemap.xml:

Обязательно отметьте эти четыре чекбокса

В разделе «Приоритет статьи» отключите автоматический расчет приоритета публикаций. Позже вы укажете приоритеты страниц вручную.

Уделите внимание разделу «Содержание карты сайта». Включите в sitemap.xml только те типы страниц, которые нужны вам в индексе поисковых систем.

Например, если у вас интернет-магазин, имеет смысл включить в карту сайта страницы категорий и меток. В этом случае поисковики будут показывать пользователям страницы каталога, например, рубрику «Смартфоны» или страницу каталога с товарами, помеченными тегом «детский». Если страницы меток и категорий в выдаче не нужны, не включайте их в карту сайта.

Обязательно отметьте галочкой опцию Include the last modification time. В этом случае плагин укажет в карте сайта дату последнего обновления публикации. Эта информация нужна роботам, чтобы планировать повторное сканирование страниц.

Отмечаем четыре чекбокса на главной странице настроек плагина

В разделе Excluded Items при необходимости исключите из карты сайта отдельные категории или страницы.

В разделе Change Frequencies можно попросить поисковые системы индексировать те или иные типы страниц с определенной периодичностью. Поисковики, скорее всего, проигнорируют параметр changefreq в sitemap.xml, так как они сами планируют краулинговый бюджет сайта. Тем не менее, плагин дает возможность указать эти настройки в карте сайта.

Указываем желаемую частоту индексирования страниц

В разделе «Приоритеты» укажите приоритетность страниц сайта. Допустимы значения от 0,1 до 1,0. По умолчанию страница имеет приоритет 0,5. Присвойте высокий приоритет страницам, которые считаете важными по сравнению с остальными страницами сайта. Например, если на главной появляются анонсы новостей или новых товаров, она может считаться самой приоритетной страницей.

Указываем приоритеты индексации

Обратите внимание: время последнего обновления, желаемая частота индексации и приоритетность страниц – необязательная информация. Поисковые системы могут ее учитывать, а могут и не учитывать. Вы ничего не потеряете, если оставите в этих разделах дефолтные значения.

Сохраните изменения. После этого о плагине Google XML Sitemaps можно навсегда забыть, так как он работает в фоновом режиме, автоматически обновляется и сам актуализирует карту сайта. Вам останется только добавить sitemap.xml в Google Search Console и «Яндекс.Вебмастер».

Google XML Sitemaps – не единственный плагин для WordPress, с помощью которого можно создать карту сайта. Например, в комбайне All in One SEO есть модуль «Sitemaps»:

После активации модуля можно создать карту сайта и настроить ее параметры:

Активируем чекбокс Enable Sitemap

Если вы публикуете на сайте видео и хотите, чтобы они ранжировались в поиске, то в этом же плагине можно создать карту сайта для видео:

Кроме этого, для создания отдельной карты сайты для видео можно воспользоваться специально предназначенным для этого генератором, например, Sitemap Generator.

Вот генераторы sitemap.xml для других движков:

• Для «Джумлы»: JSitemap.
• Для Drupal: Simple XML sitemap.
• Для OpenCart: FS XML Sitemap Free — sitemap.xml file generator.

После создания карты сайта добавьте ее в Google Search Console и «Яндекс.Вебмастер».

Как добавить карту сайта в Google Search Console и «Яндекс.Вебмастер»

Чтобы добавить карту сайта в Search Console, выберите раздел «Файлы Sitemap». Добавьте URL карты и нажмите кнопку «Отправить». Обычно карта сайта доступна по адресу типа vash-site.ru/sitemap.xml.

Добавляем sitemap.xml в Search Console

Поисковику понадобится какое-то время, чтобы проиндексировать карту сайта. После индексации появится статус «Успешно» или сообщение об ошибках. Чтобы просмотреть отчет об индексировании карты сайта в новом интерфейсе Search Console, нажмите на отмеченную на иллюстрации пиктограмму.

Смотрим отчет об индексировании sitemap.xml

В отчете можно увидеть данные об индексировании sitemap.xml. Например, если на сайте есть закрытые от индексирования страницы, уведомление об этом появится в отчете.

Если на сайте есть проблемы с индексированием, отчет о карте сайта это покажет

Чтобы добавить sitemap.xml в «Яндекс.Вебмастер», выберите раздел «Индексирование – Файлы Sitemap»:

Укажите URL карты сайта в соответствующем поле и нажмите кнопку «Добавить».

Добавляем карту сайта в «Яндекс.Вебмастере»

В «Яндекс.Вебмастере» уведомление о проблемах с картой сайта появляется в разделе «Диагностика сайта». Также корректность файла можно проверить с помощью специального инструмента.

С sitemap.xml все в порядке

«Яндекс.Вебмастер» или Search Console Google: какая панель все же лучше (и для каких задач)

Как создать HTML-карту сайта

Как отмечалось выше, HTML-карта – элемент навигации для живых пользователей. Если у сайта логичная структура и удобное меню, HTML-карта не нужна. Если сайт большой, а пользователи жалуются на запутанность структуры, попробуйте решить проблему с помощью карты сайта.

Когда искал пример HTML-карты сайта, почему-то сразу подумал про сайты государственных пенсионных фондов. И не ошибся. Видимо, пожилым пользователям сложно ориентироваться на сайте с помощью меню. Учитывайте это, когда будете решать целесообразность добавления карты сайта в формате HTML.

Карта сайта пенсионного фонда РБ

Создать карту сайта в формате HTML на WordPress можно с помощью плагина Simple Sitemap от разработчика David Gwyer или аналогичных решений. Достаточно установить и активировать надстройку, а затем вставить предложенный шорткод на страницу, где нужна >карта сайта.

Карта сайта готова

Вот решения для других CMS:

• OSMap для Joomla.
• Sitemap для Drupal.

В OpenCart карта сайта в формате HTML создается автоматически.

Карта сайта: создать и забыть

Именно так выглядит идеальный алгоритм работы с картой сайта sitemap.xml. Чтобы его реализовать, лучше пользоваться плагинами и модулями для CMS. Они автоматически генерируют файл sitemap.xml и актуализируют его при появлении на сайте новых страниц.

Созданную карту сайта нужно добавить в Search Console и «Яндекс.Вебмастер». После этого о sitemap.xml действительно можно забыть. Если у поисковых систем возникнут проблемы с индексированием карты, они вас уведомят. Чтобы решить проблемы, скорее всего, будет достаточно повторно сгенерировать карту и отправить ее на индексацию.

Создание XML-карты сайта (sitemap.xml) — обязательный пункт в списке работ по внутренней оптимизации. Зачем нужен файл sitemap, где он находится и как его создать, разбираемся в статье.

Отличие XML-карты сайта от HTML версии

Под термином «карта сайта» понимают 2 вида документов:

На сайте должны присутствовать и HTML карта, и XML. Первая нужна для пользователей, вторая — для роботов. Далее будем говорить об XML-карте сайта.

Синтаксис файла sitemap.xml

Первой строкой в файле sitemap указывается ссылка на пространство имен языка XML (описание стандарта, на основе которого составлен файл). Строка стандартная и всегда выглядит вот так:

XML-карта сайта должна иметь кодировку UTF-8 и содержать следующие теги:

Рекомендация по количеству ссылок в файле sitemap.xml — не более 50 тысяч. Если количество страниц сайта превышает это число, нужно сделать несколько карт, а в файле по адресу site.com/sitemap.xml указать на них ссылки:

XML-карта позволяет экономить краулинговый бюджет

Краулер (паук) — поисковый робот, который сканирует страницы сайта и добавляет их в индекс. Краулинговый бюджет — это количество страниц за одно посещение робота, для разных сайтов бюджет ограничен — это может быть несколько десятков или сотен документов. Именно поэтому нужно направить краулера по тем страницам, которые важны для продвижения сайта, и сделать все, чтобы он не добрался до некачественных, малоинформативных, служебных страниц.

Отсутствие файла sitemap не является критичной ошибкой. Но если поисковый бот не найдет файл sitemap.xml, он станет сканировать и добавлять в индекс документы по своему усмотрению, и тогда наличие «мусорных», служебных страниц, дублей, страниц с ошибкой 404 в индексе может стать препятствием к выходу сайта в топ.

Роботы всех поисковых систем могут самостоятельно обнаружить XML-карту сайта, если она доступна по адресу site.com/sitemap.xml, но есть способы донести до поисковиков важную информацию быстрее.

Как рассказать поисковым роботам о карте сайта

1. Указать ссылку на файл в директиве sitemap файла robots.txt:

2. Добавить файл sitemap.xml в разделы «Индексирование — Файлы Sitemap» Яндекс.Вебмастера и «Файлы Sitemap» в Google Search Console.

Яндекс и Google не только просканируют добавленный файл, но и укажут на возможные ошибки.

4 cпособа создать sitemap.xml

При любом способе обратите внимание на следующие моменты:

Рассмотрим подробнее самые популярные способы создания XML-карты.

Онлайн генераторы карты сайта

Если на сайте небольшое количество страниц, создайте sitemap при помощи онлайн-генераторов.

Самые популярные:

Большой недостаток онлайн-генераторов — они создают файл sitemap.xml раз и навсегда. Если на сайт постоянно добавляются новые страницы, такой способ не подходит.

Как создать sitemap.xml в разных CMS

Во всех популярных системах управления сайтом (CMS) есть возможность создать XML-карту. Файлы sitemap в этом случае обновляются автоматически, вам не придется генерировать карту сайта заново после каждой добавленной страницы.

1C-Битрикс: встроенная функция

Настройка sitemap.xml доступна в разделе «Маркетинг» административной панели сайта:

Добавьте файл, назовите его и активируйте чекбокс о добавлении ссылки в robots.txt:

Во вкладке «Файлы» выберите разделы, которые вы хотите предоставить для индексации поисковым роботам:

То же самое проделайте во вкладке «Инфоблоки».

Сохраните все изменения и нажмите кнопку «Запустить»:

После создания карты сайта вы увидите сообщение, что генерация закончена:

WordPress: используйте плагины

Покажем настройку на примере первого.

Сначала нужно установить плагин. Это делается в разделе «Плагины» консоли сайта. После установки он будет доступен для настройки. Нам нужен раздел «Управление модулями»:

В нем активируем модуль, который отвечает за XML-карту:

После активации модуль становится доступным для редактирования:

Далее вы можете оставить настройки по умолчанию или задать свои. Полная документация по модулю — здесь. Она на английском языке, но даже встроенный переводчик в Chrome поможет вам разобраться.

В Yoast SEO карта сайта создается автоматически по адресу site.com/sitemap_index.xml. Модуль также доступен для редактирования или можно оставить настройки по умолчанию.

Модули для других популярных CMS

Выбирайте подходящий способ создания XML-карты сайта и сообщайте поисковым роботам, какие страницы им стоит посетить — это даст вам уверенность в том, что поисковый робот проиндексирует все нужные страницы вовремя.

Из этой статьи вы узнаете, как создать файл Sitemap и предоставить доступ к нему роботам Google. Если вы только начинаете работать с файлами Sitemap, ознакомьтесь с общей информацией.

В Google поддерживаются форматы Sitemap, определенные протоколом Sitemap.
Каждый формат Sitemap имеет свои преимущества и недостатки. Выберите тот из них, который лучше всего подходит для вашего сайта и его настроек (для Google нет никакой разницы). Различные форматы Sitemap сравниваются в следующей таблице.

Сравнение форматов Sitemap
Файл Sitemap в формате XML	XML-файл Sitemap – самый универсальный. Он легко расширяется и может предоставлять дополнительные данные об изображениях, видео и новостном контенте, а также локализованные версии страниц сайта. Плюсы Расширяемый и универсальный. Содержит больше всего информации о ваших URL. Пользователи CMS могут легко найти плагины для создания файлов Sitemap. Минусы Такие файлы могут быть громоздкими в работе. Разметка крупных сайтов или ресурсов, на которых URL часто меняются, отнимает много сил.
RSS, mRSS и Atom 1.0	Файлы Sitemap форматов RSS, mRSS и Atom 1.0 похожи по структуре на XML-файлы Sitemap, но предоставить их проще всего, так как они создаются в CMS автоматически. Плюсы Большинство CMS автоматически создают фиды RSS и Atom. Такие файлы могут предоставлять Google информацию о ваших видео. Минусы Помимо HTML и других индексируемых страниц, формат может содержать информацию только о видео, а не об изображениях или новостях. Такие файлы могут быть громоздкими в работе.
Текстовый формат Sitemap	Самый простой из форматов Sitemap; может лишь содержать URL HTML-страниц и других индексируемых страниц. Плюсы Легко настроить и обновлять, особенно на крупных сайтах. Минусы Ограничен HTML и другими индексируемыми страницами.

Рекомендации в отношении файлов Sitemap

Рекомендации в отношении файлов Sitemap определяются протоколом Sitemap.
Рекомендации, которые чаще всего упускают из виду, связаны с ограничениями по размеру файлов Sitemap, их расположением и URL, которые в них входят.

Ограничения по размеру файлов Sitemap.
Для всех форматов действуют следующие ограничения: файл Sitemap может содержать не более 50 000 URL, а его размер в несжатом виде не должен превышать 50 МБ. Если объем файла или количество URL превышают эти лимиты, разбейте его на несколько частей. Вы можете по желанию создать и отправить в Google файл индекса Sitemap. При необходимости можно отправить несколько файлов и индексов Sitemap. Они могут понадобиться, если вам нужно отследить поисковую эффективность каждого файла Sitemap в Search Console.

Расположение и кодировка файлов Sitemap.
Файлы Sitemap должны быть в кодировке UTF-8. Файл Sitemap можно разместить в любой части сайта, но если сделать это не через Search Console, то он влияет только на каталоги уровнем ниже родительского. Поэтому, чтобы файл Sitemap действовал на весь сайт, мы рекомендуем располагать его на корневом уровне.

Свойства указываемых URL.
В файлах Sitemap следует использовать полные абсолютные URL. Google будет сканировать в точности те URL, которые вы перечислите. Например, если адрес сайта – https://www.example.com/, вместо URL вида /mypage.html (относительный URL) следует указывать полный абсолютный URL: https://www.example.com/mypage.html.

Добавляйте в Sitemap те URL, которые хотите видеть в результатах поиска Google. В общем случае Google показывает в результатах поиска канонические URL, на которые можно влиять с помощью файлов Sitemap. Если у мобильной и обычной версии страницы разные URL, советуем указывать только одну из них.
Если все же требуется включить в файл оба URL, добавьте для них аннотации, чтобы обозначить эти версии.

Полный список рекомендаций можно найти на странице протокола Sitemap.

Файл Sitemap в формате XML

XML-файл Sitemap – самый универсальный. Используя поддерживаемые Google расширения файлов Sitemap, вы можете указать дополнительные сведения об изображениях, видео и новостном контенте, а также о локализованных версиях страниц.

Вот пример простого XML-файла Sitemap с одним URL:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://www.example.com/foo.html</loc>
    <lastmod>2022-06-04</lastmod>
  </url>
</urlset>

Подробную документацию и более сложные примеры вы можете найти на сайте sitemaps.org.

Примечания об XML-файлах Sitemap

• Как и в любых других XML-файлах, все значения тегов необходимо экранировать.
• Значения в тегах <priority> и <changefreq> игнорируются.
• В Google используется значение в теге <lastmod>, если оно всегда является гарантированно точным (например, если его точность проверяется путем сравнения с последней измененной версией страницы).

Если у вас есть блог с фидом RSS или Atom, можно отправить URL этого фида в качестве источника файла Sitemap.
Большинство сервисов для ведения блогов позволяют создать фид, но нужно учитывать, что такие фиды предоставляют информацию только о последних URL.

Примечания о файлах RSS, mRSS и Atom 1.0

• Google поддерживает фиды RSS 2.0 и Atom 1.0.
• Отправить в Google сведения о видеоконтенте можно также с помощью фида mRSS (media RSS).
• Как и в любых других XML-файлах, все значения тегов необходимо экранировать.

Текстовый формат Sitemap

Если в файле Sitemap есть только адреса страниц, вы можете отправить Google обычный текстовый файл с этими URL (по одному в каждой строке). Пример:

https://www.example.com/file1.html
https://www.example.com/file2.html

Примечания о текстовых файлах Sitemap

• В файл Sitemap можно добавлять только URL.
• Этому текстовому файлу можно дать любое имя, но необходимо использовать расширение .txt (например, sitemap.txt).

Как создать файл Sitemap

Создавая файл Sitemap, вы сообщаете поисковым системам, какие из ваших URL следует выбирать для показа в результатах поиска. Такие URL называются каноническими. Если вы разместили одинаковый контент по нескольким URL, выберите основной вариант страницы и включите в файл Sitemap только его.

Выбрав URL, которые следует добавить в файл Sitemap, создайте его одним из перечисленных ниже способов. Оптимальный вариант будет зависеть от архитектуры и размеров сайта.

• Файл Sitemap можно сгенерировать с помощью системы управления контентом.
• Если в файле несколько десятков URL или меньше, попробуйте создать его вручную.
• Если ожидается, что файл Sitemap будет очень велик, создавайте его автоматически.

Как создать файл Sitemap с помощью системы управления контентом

Если вы работаете с системой управления контентом, такой как WordPress, Wix или Blogger, то возможно, что она уже сгенерировала файл Sitemap, доступный поисковым системам. Попробуйте найти сведения о том, как ваша система управления контентом создает файлы Sitemap, или о том, как подготовить такой файл, если она не сделала этого автоматически. Например, если вы работаете с Wix, введите в поисковой системе запрос «wix sitemap», а в случае с Blogger – «Blogger RSS».

Как создать файл Sitemap вручную

Если вы планируете добавить в файл Sitemap несколько десятков URL или меньше, его можно создать вручную.
Для этого откройте текстовый редактор, такой как Блокнот (Windows) или nano (Linux, macOS), и начните вносить данные в новый файл. При этом нужно использовать синтаксис, который описан в разделе Форматы файлов Sitemap выше. Название файла может быть любым, но оно должно состоять только из символов, которые разрешены в URL.

Вручную можно создавать и крупные файлы Sitemap, но это очень трудоемкий процесс, который сложно поддерживать на протяжении долгого времени.

Как создать файл Sitemap автоматически с помощью инструментов

Если вам нужно включить в файл Sitemap множество URL, то удобнее будет создавать его автоматически. Сгенерировать файл Sitemap можно с помощью различных инструментов,
но лучше всего воспользоваться для этого средствами вашего сайта. Например, вы можете извлечь URL, относящиеся к сайту, из его базы данных и экспортировать эти адреса на экран или в файл на вашем веб-сервере. При необходимости обратитесь к разработчикам или менеджеру сервера. Ознакомьтесь с нашей типовой подборкой сторонних генераторов файлов Sitemap: вы можете создать на их основе аналогичный инструмент.

Порядок следования URL в файле Sitemap не имеет значения для Google. Не забывайте про требования к размерам файлов Sitemap. Если файл становится слишком большим, его необходимо разбить на более мелкие. Подробнее об управлении крупными файлами Sitemap…

Как сделать файл Sitemap доступным для Google

Помните о том, что файл Sitemap служит лишь подсказкой для поисковых систем. Его наличие не гарантирует, что система Google скачает этот файл или использует его для сканирования страниц на сайте. Предоставить Google доступ к файлу Sitemap можно несколькими способами.

• Отправьте файл Sitemap в Search Console с помощью отчета о файлах Sitemap.
  Благодаря этому вы увидите, когда робот Googlebot получит доступ к файлу Sitemap, а также узнаете о возможных ошибках обработки.
• Используйте Search Console API, чтобы отправить файл Sitemap алгоритмическим методом.
• Выполните запрос ping. В браузере или командной строке отправьте запрос GET на приведенный ниже адрес, указав полный URL файла Sitemap и убедившись, что этот файл доступен роботу Googlebot:

  https://www.google.com/ping?sitemap=FULL_URL_OF_SITEMAP

  Пример:

  https://www.google.com/ping?sitemap=https://example.com/sitemap.xml

• Вставьте в любом месте файла robots.txt строку с путем к файлу Sitemap (она будет обнаружена при следующем сканировании файла robots.txt). Пример:

  Sitemap: https://example.com/my_sitemap.xml

• Если вы используете Atom или RSS и хотите уведомить о внесенных вами изменениях не только Google, но и другие поисковые системы, сделайте это с помощью протокола WebSub.

Как передавать файлы Sitemap на несколько сайтов

Если у вас несколько сайтов, вы можете упростить процедуру создания и отправки файлов Sitemap. Для этого создайте один или несколько файлов со всеми URL и сохраните их в одной папке. Можно выбрать один из перечисленных ниже вариантов:

• Один файл Sitemap, содержащий URL нескольких сайтов (даже из разных доменов). Например, файл Sitemap, размещенный по адресу https://host1.example.com/sitemap.xml, может содержать следующие URL:
  • https://host1.example.com
  • https://host2.example.com
  • https://host3.example.com
  • https://host1.example1.com
  • https://host1.example.ch
• Отдельные файлы Sitemap (по одному для каждого сайта) в одном каталоге:
  • https://host1.example.com/host1-example-sitemap.xml
  • https://host1.example.com/host2-example-sitemap.xml
  • https://host1.example.com/host3-example-sitemap.xml
  • https://host1.example.com/host1-example1-sitemap.xml
  • https://host1.example.com/host1-example-ch-sitemap.xml

Чтобы передать файлы Sitemap, расположенные в одном каталоге, используйте Search Console или файл robots.txt.

Как отправить файл Sitemap на другой сайт с помощью Search Console

1. Убедитесь в том, что вы подтвердили права собственности на все выбранные сайты, которые вы добавили в файл Sitemap.
2. Создайте один или несколько файлов Sitemap и включите URL всех сайтов, которые вы хотите охватить. Вы можете добавить файлы Sitemap в файл индекса Sitemap и продолжить работу с этим файлом.
3. Отправьте файлы Sitemap или файлы индекса Sitemap с помощью Google Search Console.

Как отправить файл Sitemap на другой сайт с помощью файла robots.txt

1. Создайте один или несколько файлов Sitemap для каждого сайта. Убедитесь, что в каждом отдельном файле Sitemap содержатся URL конкретного сайта.
2. Загрузите все файлы Sitemap на один сайт, который вам принадлежит, например https://sitemaps.example.com.
3. Убедитесь, что каждому файлу Sitemap для отдельного сайта соответствует файл robots.txt. Предположим, вы создали файл Sitemap для сайта https://example.com/ и разместили его по адресу https://sitemaps.example.com/sitemap-example-com.xml. Тогда в файле robots.txt, размещенном по адресу https://example.com/robots.txt, вы должны сделать запись .

   # robots.txt file of https://example.com/
   sitemap: https://sitemaps.example.com/sitemap-example-com.xml

Устранение неполадок, возникающих при обработке файлов Sitemap

Вы можете устранить неполадки при обработке файлов Sitemap с помощью Google Search Console. Рекомендуем ознакомиться с руководством по устранению неполадок при обработке файлов Sitemap.

Поделиться

СВЕЖИЕ СТАТЬИ

Другие материалы из этой рубрики

Не пропускайте новые статьи

Подписывайтесь на соцсети

Делимся новостями и свежими статьями, рассказываем о новинках сервиса

«Честно» — авторская рассылка от редакции Unisender

Искренние письма о работе и жизни. Свежие статьи из блога. Эксклюзивные кейсы
и интервью с экспертами диджитала.

Содержание

Sitemap, или карта сайта, содержит все его страницы в виде URL-адресов. Файл помогает поисковым роботам разобраться с содержимым ресурса, увидеть приоритетные для индексирования ссылки, оценить структуру сайта.

Расскажем, как работает файл, кому он будет полезен и как его установить.

Что такое Sitemap

Sitemap — это xml-документ со списком URL страниц сайта. Это своеобразный путеводитель для поисковиков: он подсказывает им, какой контент доступен на сайте и как его найти. 

Поисковый робот Яндекса или Google (краулер) не заходит на каждую страницу, а однократно считывает Sitemap.xml. Это ускоряет индексацию.

Зачем нужна карта сайта Sitemap.xml

Поисковики индексируют сайты и без Sitemap, но карта подсказывает точки входа для пользователей и роботов. Это увеличивает шансы на быструю индексацию.

Sitemap.xml можно назвать дорожной картой для ботов, которые изучают ваш ресурс. Файл помогает роботам просмотреть сайт глубже, правильно оценить его структуру и добраться до всех страниц.

Когда Sitemap нужен, а когда — нет

Файл актуален для: 

• многостраничных ресурсов с разветвленной структурой и глубокой вложенностью;
• сайтов, страницы которых часто добавляются и обновляются;
• ресурсов со слабой внутренней перелинковкой;
• новых сайтов, на которых мало внешних ссылок. 

Роботы могут не индексировать часть таких ресурсов — карта решает эту проблему.

Иногда xml-карта не нужна. Например, если на сайте не более 500 страниц и есть перелинковка, этот файл может оказаться бесполезным.

Формат Sitemap

Sitemap.xml одностраничника со всеми доступными тегами выглядит так:

Рассмотрим, какое значение несут эти атрибуты и полезны ли они для SEO.

Loc (Location)

Обязательный тег содержит абсолютный путь к странице — канонический URL. В нем прописывают актуальный протокол http:// или https:// и www, если он есть в адресе.

Для международных сайтов здесь указывают hreflang. Атрибут xhtml:link определяет язык и регион, чем снижает время загрузки для каждой конкретной страницы. Такой возможности нет у других элементов в <head> и у HTTP-заголовков.

Lastmod (Last Modified)

Необязательный тег, который все же рекомендуют устанавливать. Он помогает поисковым системам определять не только «свежесть», но и авторство контента. 

Злоупотреблять не стоит — прописывайте Lastmod для значимых изменений. Его обилие может негативно сказаться на ранжировании — вплоть до санкций от поисковых систем.

Priority

Необязательный тег служит для указания веса страницы среди остальных. Может принимать значения от 0 до 1. 

Обычно SEO-специалистов и поисковиков не очень заботит наличие тега Priority и его значения, поэтому он почти не применяется.

Типы Sitemap

Расскажем подробнее о разновидностях карты сайта.

Файл индекса Sitemap

Ограничения для него:

• не более 50 000 URL;
• вес без сжатия — до 50 Мб.

Sitemap можно сжимать через gzip, чтобы не перегружать пропускную способность сервера. Итоговый файл приобретет название вида Sitemap.xml.gz. 

Распакованный Sitemap также должен отвечать требованиям. Если файл слишком большой, его следует разделить — перераспределить URL между несколькими Sitemap.

Отдельные файлы могут быть объединены в единый «sitemap sitemap’ов». Исключительно большие сайты иногда требуют сразу несколько таких списков. В нашем случае основной файл находится по адресу calltouch.ru/sitemap.xml, а внутри него указаны URL частных карт сайта, пример: calltouch.ru/sitemap_iblock_5.xml.

Для оптимальной работы поисковых систем с файлами Sitemap необходимо:

• Добавить файл индекса в Google Search Console и Яндекс.Вебмастер.
• Указать полный путь к файлу в robots.txt, разрешив поисковикам работу с ним. Чтобы лучше понять, как это сделать, читайте руководство по настройке robots.txt.

XML Sitemap для изображений и видео

Его создают, чтобы улучшить индексацию графического и видеоконтента. По актуальным стандартам SEO, изображения/ролики с их атрибутами встроены в контент — программа считывает их одновременно со всей страницей.

Для вызова свойств изображения используйте JSON-LD-разметку schema.org/ImageObject. Она помогает поисковым движкам получить больше атрибутов, чем из xml Sitemap. Именно из-за этого дорожная карта для изображений не актуальна на большинстве сайтов.

Исключение — ресурсы, которые развиваются за счет графики, например стоки картинок или сайты видеоконтента.

Sitemap для Google Новостей

Целесообразна только для ресурсов, зарегистрированных в Google Новостях. Если ваш сайт подключен к ним, добавьте в Sitemap материалы, опубликованные за последние 2 дня, но не более 1 000 URL на один файл. По мере обновления материалов корректируйте файл.

Не стоит подключать к Google Новостям Sitemap для изображений — система их не поддерживает. Сам Google советует использовать schema.org image или og:image для добавления миниатюр из новостей.

Мобильный Sitemap

Он не обязателен, так как предназначался для кнопочных телефонов. Использовать его для смартфонов нет нужды.

HTML Sitemap

XML-карты сайта предназначены для поисковым систем — их читают роботы в целях индексации. HTML-версии годятся только для пользователей — это наглядные карты сайтов, ссылки на которые представлены в основном футере. Сами же карты, если сайт большой, могут располагаться на отдельных страницах.

Такая карта не обязательна: с ними рост посещаемости страниц обычно составляет статистическую погрешность.

Чтобы упростить пользователям связь с вашей компанией, воспользуйтесь Виджетами Calltouch. С их помощью клиенты смогут оставить свои контактные данные и выбрать наиболее удобный способ связи в любое время суток. Программа обработает информацию и передаст ее в контакт-центр, а вы не упустите ни одной заявки.

Динамический XML Sitemap

Можно сделать карту сайта статичной, но как только вы удалите или добавите страницу, Sitemap устареет. То же касается и загрузки нового контента — атрибут Lastmod не перепишется автоматически.

Чтобы не вносить изменения каждый раз, создайте карту сайта с автообновлением.

Требования к файлу

Чтобы Sitemap функционировал корректно, соблюдайте правила:

• Файл не должен быть более 50 Мб и содержать больше 50 000 страниц. Если структура не укладывается в эти рамки, создайте две разных карты.
• Используйте кодировку UTF-8.
• Размещайте Sitemap на домене сайта, для которого он составлен.
• Создавайте файл в формате xml, а не txt.

Генераторы для создания Sitemap

Онлайн-генераторы составляют карту сайта за несколько минут. У большинства сервисов есть бесплатные тарифы, в которых можно создать файл Sitemap на 500 страниц. Крупные сайты они сканируют платно. 

Примеры сервисов для создания Sitemap:

• SiteDozor;
• Online xml sitemap generator;
• Gensitemap;
• My Sitemap generator.

Онлайн-генераторы не подходят для ресурсов, страницы которых постоянно обновляют.

Как создать карту сайта

Простые способы создать Sitemap:

• Написать вручную. Для динамических карт попросите разработчика создать кастомный скрипт с понятными инструкциями.
• Использовать инструмент создания карт сайта: xml-sitemaps.com, Screaming Frog или web-site-map.com.
• Установить плагин для вашей CMS. Например, Yoast SEO для WordPress (мы используем как раз его).

Где размещать карту на сайте

Поместите HTML-карту в корневой каталог сайта. Также добавьте ее в файл robots.txt.

Как добавить XML-файл в Вебмастер и Гугл Консоль

В обе панели карту можно загружать двумя способами: 

• Указать месторасположение файла. 
• Добавить файл в директиву robots.txt. Если на сайте она настроена правильно, то в панелях появится автоматически.

Чтобы добавить файл Sitemap в Вебмастер вручную:

1. Откройте панель.
2. Выберите раздел «Индексирование», затем — «Файлы Sitemap».
3. В окно «Добавить файл» впишите URL карты сайта и кликните на «Добавить».

У Яндекса есть функция проверки сайтмапа перед загрузкой — анализатор файлов Sitemap. Он поддерживает разные форматы: файл, текст, URL. Когда xml уже загружен в Вебмастер, его корректность проверяют в разделе «Диагностика сайта». Если все хорошо, то во вкладке будет написано «Ошибок не найдено». 

Добавить карту в Гугл Консоль можно за 2 шага:

1. Выберите раздел «Файлы Sitemap».
2. Добавьте URL карты и кликните «Отправить».

Если что-то пошло не так, после загрузки файла сервис покажет это во вкладке «Ошибки сканирования». Для проверки карты до загрузки используйте сторонние сервисы, например Screaming Frog.

Поиск ошибок с помощью программы Screaming Frog

Сервис сканирует любые сайтмапы и подходит для больших файлов. Чтобы проверить карту в приложении: 

1. Зайдите в Screaming Frog.
2. Нажмите на кнопку Mode и выберите List.
3. Кликните на Upload, Download xml Sitemap.
4. Введите ссылку на карту и кликните на ОК.

Когда анализ завершится, вы увидите редиректы, ошибки 404, дубликаты адресов. 

Как Sitemap влияет на SEO

Поисковики продвигают сайты с минимальным количеством ошибок. Если вы добавите сайт в Google Search Console или Яндекс.Вебмастер без карты, сервисы могут вывести ошибку — уведомление о том, что не хватает файла Sitemap.xml. Это чревато пессимизацией вашего ресурса. 

Именно поэтому добавлять карту рекомендуют даже для маленьких сайтов с неглубокой вложенностью.

Оптимизация индексации xml Sitemap

Чтобы оптимизация прошла быстро и успешно, следуйте рекомендациям.

Добавляйте в Sitemap только SEO-релевантные страницы

XML Sitemap включает в себя список страниц, которые важно «показать» поисковикам. Краулеры придерживаются перечня, который вы сами определите.

Исключите из показов:

• дубликаты и побочные адреса (non-canonical);
• страницы с пагинацией;
• URL на основе ID сессий и параметров;
• результаты поиска;
• адреса ответов и комментариев;
• адреса для репоста;
• результаты фильтрации;
• архивные страницы;
• редиректы (3**), несуществующие страницы (4**), ошибки сервера (5**);
• страницы, заблокированные в robots.txt;
• страницы с noindex;
• материалы, доступные через форму лидгена (White Paper, PDF и другие);
• страницы, не подходящие в качестве точек входа (окно логина, контакты, пользовательское соглашение и так далее).

Список URL в Sitemap поисковики воспринимают как рекомендацию. Они могут перейти на страницы, не указанные в файле.

Используйте отчеты с пользой

Отчет Google Search Console дает ценные сведения о том, какие ошибки есть в Sitemap, но он полезен не только для валидации.

Рассмотрим сайт, на котором 131 000 страниц. Поскольку объем большой, понадобится несколько файлов. Следуя рекомендациям Google и Schema.org, некоторые веб-мастера просто нумеруют их. Получается отчет вроде:

Названия ни о чем не говорят, и сведения о 64% проиндексированных страниц — не самые полезные. Важнее понять, какие именно типы страниц содержат ошибки. Если продолжить изучать sitemap-1, sitemap-2 и так далее, вы вряд ли что-то поймете. 

Взаимовложенная структура файлов и информативные названия дают более полезные результаты:

Из такого отчета вы поймете, какие разделы проседают в индексации, и что можно предпринять.

Оптимизируйте свои рекламные кампании с помощью Сквозной аналитики Calltouch. Вы узнаете, сколько лидов приносит SEO и другие виды продвижения, получите подробную статистику по доходам и расходам и перераспределите маркетинговый бюджет.

Как удалить сайтмап

Чтобы удалить файл, уберите его из корневой папки сайта и очистите ссылку из robots.txt. Если ресурс создан на платформе CMS, то избавьтесь от плагина, который ее создает.

Чек-лист: как улучшить Sitemap

Используйте чек-лист, чтобы создать карту сайта, которая обеспечит наилучший контакт с поисковыми системами:

• Включайте теги hreflang.
• Обязательно прописывайте <loc> и <lastmod>.
• Сжимайте Sitemap через gzip.
• Используйте файл индекса.
• Создавайте Sitemap для изображений, видео и новостей только в тех случаях, когда это оправдано спецификой сайта.
• Генерируйте динамические карты сайта.
• Ссылайтесь на индексный sitemap в robots.txt.
• Подключите sitemap в Google Search Console и Яндекс.Вебмастере.
• Добавляйте только SEO-релевантные страницы.
• Исправляйте обнаруженные в отчетах ошибки.
• Используйте понятные названия и структуру карт сайта.

Заключение

XML карта сайта — это полезный инструмент, который позволяет улучшить работу ресурса и его показатели в поисковых системах. Он помещает все страницы сайта в один файл. Благодаря этому поисковым роботам легче его индексировать, что положительно влияет на ранжирование и посещаемость ресурса.