Содержание
Sitemap, или карта сайта, содержит все его страницы в виде URL-адресов. Файл помогает поисковым роботам разобраться с содержимым ресурса, увидеть приоритетные для индексирования ссылки, оценить структуру сайта.
Расскажем, как работает файл, кому он будет полезен и как его установить.
Что такое Sitemap
Sitemap — это xml-документ со списком URL страниц сайта. Это своеобразный путеводитель для поисковиков: он подсказывает им, какой контент доступен на сайте и как его найти.
Поисковый робот Яндекса или Google (краулер) не заходит на каждую страницу, а однократно считывает Sitemap.xml. Это ускоряет индексацию.
Зачем нужна карта сайта Sitemap.xml
Поисковики индексируют сайты и без Sitemap, но карта подсказывает точки входа для пользователей и роботов. Это увеличивает шансы на быструю индексацию.
Sitemap.xml можно назвать дорожной картой для ботов, которые изучают ваш ресурс. Файл помогает роботам просмотреть сайт глубже, правильно оценить его структуру и добраться до всех страниц.
Когда Sitemap нужен, а когда — нет
Файл актуален для:
- многостраничных ресурсов с разветвленной структурой и глубокой вложенностью;
- сайтов, страницы которых часто добавляются и обновляются;
- ресурсов со слабой внутренней перелинковкой;
- новых сайтов, на которых мало внешних ссылок.
Роботы могут не индексировать часть таких ресурсов — карта решает эту проблему.
Иногда xml-карта не нужна. Например, если на сайте не более 500 страниц и есть перелинковка, этот файл может оказаться бесполезным.
Формат Sitemap
Sitemap.xml одностраничника со всеми доступными тегами выглядит так:
Рассмотрим, какое значение несут эти атрибуты и полезны ли они для SEO.
Loc (Location)
Обязательный тег содержит абсолютный путь к странице — канонический URL. В нем прописывают актуальный протокол http:// или https:// и www, если он есть в адресе.
Для международных сайтов здесь указывают hreflang. Атрибут xhtml:link определяет язык и регион, чем снижает время загрузки для каждой конкретной страницы. Такой возможности нет у других элементов в <head> и у HTTP-заголовков.
Lastmod (Last Modified)
Необязательный тег, который все же рекомендуют устанавливать. Он помогает поисковым системам определять не только «свежесть», но и авторство контента.
Злоупотреблять не стоит — прописывайте Lastmod для значимых изменений. Его обилие может негативно сказаться на ранжировании — вплоть до санкций от поисковых систем.
Priority
Необязательный тег служит для указания веса страницы среди остальных. Может принимать значения от 0 до 1.
Обычно SEO-специалистов и поисковиков не очень заботит наличие тега Priority и его значения, поэтому он почти не применяется.
Типы Sitemap
Расскажем подробнее о разновидностях карты сайта.
Файл индекса Sitemap
Ограничения для него:
- не более 50 000 URL;
- вес без сжатия — до 50 Мб.
Sitemap можно сжимать через gzip, чтобы не перегружать пропускную способность сервера. Итоговый файл приобретет название вида Sitemap.xml.gz.
Распакованный Sitemap также должен отвечать требованиям. Если файл слишком большой, его следует разделить — перераспределить URL между несколькими Sitemap.
Отдельные файлы могут быть объединены в единый «sitemap sitemap’ов». Исключительно большие сайты иногда требуют сразу несколько таких списков. В нашем случае основной файл находится по адресу calltouch.ru/sitemap.xml, а внутри него указаны URL частных карт сайта, пример: calltouch.ru/sitemap_iblock_5.xml.
Для оптимальной работы поисковых систем с файлами Sitemap необходимо:
- Добавить файл индекса в Google Search Console и Яндекс.Вебмастер.
- Указать полный путь к файлу в robots.txt, разрешив поисковикам работу с ним. Чтобы лучше понять, как это сделать, читайте руководство по настройке robots.txt.
XML Sitemap для изображений и видео
Его создают, чтобы улучшить индексацию графического и видеоконтента. По актуальным стандартам SEO, изображения/ролики с их атрибутами встроены в контент — программа считывает их одновременно со всей страницей.
Для вызова свойств изображения используйте JSON-LD-разметку schema.org/ImageObject. Она помогает поисковым движкам получить больше атрибутов, чем из xml Sitemap. Именно из-за этого дорожная карта для изображений не актуальна на большинстве сайтов.
Исключение — ресурсы, которые развиваются за счет графики, например стоки картинок или сайты видеоконтента.
Sitemap для Google Новостей
Целесообразна только для ресурсов, зарегистрированных в Google Новостях. Если ваш сайт подключен к ним, добавьте в Sitemap материалы, опубликованные за последние 2 дня, но не более 1 000 URL на один файл. По мере обновления материалов корректируйте файл.
Не стоит подключать к Google Новостям Sitemap для изображений — система их не поддерживает. Сам Google советует использовать schema.org image или og:image для добавления миниатюр из новостей.
Мобильный Sitemap
Он не обязателен, так как предназначался для кнопочных телефонов. Использовать его для смартфонов нет нужды.
HTML Sitemap
XML-карты сайта предназначены для поисковым систем — их читают роботы в целях индексации. HTML-версии годятся только для пользователей — это наглядные карты сайтов, ссылки на которые представлены в основном футере. Сами же карты, если сайт большой, могут располагаться на отдельных страницах.
Такая карта не обязательна: с ними рост посещаемости страниц обычно составляет статистическую погрешность.
Чтобы упростить пользователям связь с вашей компанией, воспользуйтесь Виджетами Calltouch. С их помощью клиенты смогут оставить свои контактные данные и выбрать наиболее удобный способ связи в любое время суток. Программа обработает информацию и передаст ее в контакт-центр, а вы не упустите ни одной заявки.
Виджеты Calltouch
- Увеличьте конверсию сайта на 30%
- Обратный звонок, промо-лендинги, формы захвата, мультикнопка, автопрозвон форм
Узнать подробнее
Динамический XML Sitemap
Можно сделать карту сайта статичной, но как только вы удалите или добавите страницу, Sitemap устареет. То же касается и загрузки нового контента — атрибут Lastmod не перепишется автоматически.
Чтобы не вносить изменения каждый раз, создайте карту сайта с автообновлением.
Требования к файлу
Чтобы Sitemap функционировал корректно, соблюдайте правила:
- Файл не должен быть более 50 Мб и содержать больше 50 000 страниц. Если структура не укладывается в эти рамки, создайте две разных карты.
- Используйте кодировку UTF-8.
- Размещайте Sitemap на домене сайта, для которого он составлен.
- Создавайте файл в формате xml, а не txt.
Генераторы для создания Sitemap
Онлайн-генераторы составляют карту сайта за несколько минут. У большинства сервисов есть бесплатные тарифы, в которых можно создать файл Sitemap на 500 страниц. Крупные сайты они сканируют платно.
Примеры сервисов для создания Sitemap:
- SiteDozor;
- Online xml sitemap generator;
- Gensitemap;
- My Sitemap generator.
Онлайн-генераторы не подходят для ресурсов, страницы которых постоянно обновляют.
Как создать карту сайта
Простые способы создать Sitemap:
- Написать вручную. Для динамических карт попросите разработчика создать кастомный скрипт с понятными инструкциями.
- Использовать инструмент создания карт сайта: xml-sitemaps.com, Screaming Frog или web-site-map.com.
- Установить плагин для вашей CMS. Например, Yoast SEO для WordPress (мы используем как раз его).
Где размещать карту на сайте
Поместите HTML-карту в корневой каталог сайта. Также добавьте ее в файл robots.txt.
Как добавить XML-файл в Вебмастер и Гугл Консоль
В обе панели карту можно загружать двумя способами:
- Указать месторасположение файла.
- Добавить файл в директиву robots.txt. Если на сайте она настроена правильно, то в панелях появится автоматически.
Чтобы добавить файл Sitemap в Вебмастер вручную:
- Откройте панель.
- Выберите раздел «Индексирование», затем — «Файлы Sitemap».
- В окно «Добавить файл» впишите URL карты сайта и кликните на «Добавить».
У Яндекса есть функция проверки сайтмапа перед загрузкой — анализатор файлов Sitemap. Он поддерживает разные форматы: файл, текст, URL. Когда xml уже загружен в Вебмастер, его корректность проверяют в разделе «Диагностика сайта». Если все хорошо, то во вкладке будет написано «Ошибок не найдено».
Добавить карту в Гугл Консоль можно за 2 шага:
- Выберите раздел «Файлы Sitemap».
- Добавьте URL карты и кликните «Отправить».
Если что-то пошло не так, после загрузки файла сервис покажет это во вкладке «Ошибки сканирования». Для проверки карты до загрузки используйте сторонние сервисы, например Screaming Frog.
Поиск ошибок с помощью программы Screaming Frog
Сервис сканирует любые сайтмапы и подходит для больших файлов. Чтобы проверить карту в приложении:
- Зайдите в Screaming Frog.
- Нажмите на кнопку Mode и выберите List.
- Кликните на Upload, Download xml Sitemap.
- Введите ссылку на карту и кликните на ОК.
Когда анализ завершится, вы увидите редиректы, ошибки 404, дубликаты адресов.
Как Sitemap влияет на SEO
Поисковики продвигают сайты с минимальным количеством ошибок. Если вы добавите сайт в Google Search Console или Яндекс.Вебмастер без карты, сервисы могут вывести ошибку — уведомление о том, что не хватает файла Sitemap.xml. Это чревато пессимизацией вашего ресурса.
Именно поэтому добавлять карту рекомендуют даже для маленьких сайтов с неглубокой вложенностью.
Оптимизация индексации xml Sitemap
Чтобы оптимизация прошла быстро и успешно, следуйте рекомендациям.
Добавляйте в Sitemap только SEO-релевантные страницы
XML Sitemap включает в себя список страниц, которые важно «показать» поисковикам. Краулеры придерживаются перечня, который вы сами определите.
Исключите из показов:
- дубликаты и побочные адреса (non-canonical);
- страницы с пагинацией;
- URL на основе ID сессий и параметров;
- результаты поиска;
- адреса ответов и комментариев;
- адреса для репоста;
- результаты фильтрации;
- архивные страницы;
- редиректы (3**), несуществующие страницы (4**), ошибки сервера (5**);
- страницы, заблокированные в robots.txt;
- страницы с noindex;
- материалы, доступные через форму лидгена (White Paper, PDF и другие);
- страницы, не подходящие в качестве точек входа (окно логина, контакты, пользовательское соглашение и так далее).
Список URL в Sitemap поисковики воспринимают как рекомендацию. Они могут перейти на страницы, не указанные в файле.
Используйте отчеты с пользой
Отчет Google Search Console дает ценные сведения о том, какие ошибки есть в Sitemap, но он полезен не только для валидации.
Рассмотрим сайт, на котором 131 000 страниц. Поскольку объем большой, понадобится несколько файлов. Следуя рекомендациям Google и Schema.org, некоторые веб-мастера просто нумеруют их. Получается отчет вроде:
Названия ни о чем не говорят, и сведения о 64% проиндексированных страниц — не самые полезные. Важнее понять, какие именно типы страниц содержат ошибки. Если продолжить изучать sitemap-1, sitemap-2 и так далее, вы вряд ли что-то поймете.
Взаимовложенная структура файлов и информативные названия дают более полезные результаты:
Из такого отчета вы поймете, какие разделы проседают в индексации, и что можно предпринять.
Оптимизируйте свои рекламные кампании с помощью Сквозной аналитики Calltouch. Вы узнаете, сколько лидов приносит SEO и другие виды продвижения, получите подробную статистику по доходам и расходам и перераспределите маркетинговый бюджет.
Сквозная аналитика Calltouch
- Анализируйте воронку продаж от показов до денег в кассе
- Автоматический сбор данных, удобные отчеты и бесплатные интеграции
Узнать подробнее
Как удалить сайтмап
Чтобы удалить файл, уберите его из корневой папки сайта и очистите ссылку из robots.txt. Если ресурс создан на платформе CMS, то избавьтесь от плагина, который ее создает.
Чек-лист: как улучшить Sitemap
Используйте чек-лист, чтобы создать карту сайта, которая обеспечит наилучший контакт с поисковыми системами:
- Включайте теги hreflang.
- Обязательно прописывайте <loc> и <lastmod>.
- Сжимайте Sitemap через gzip.
- Используйте файл индекса.
- Создавайте Sitemap для изображений, видео и новостей только в тех случаях, когда это оправдано спецификой сайта.
- Генерируйте динамические карты сайта.
- Ссылайтесь на индексный sitemap в robots.txt.
- Подключите sitemap в Google Search Console и Яндекс.Вебмастере.
- Добавляйте только SEO-релевантные страницы.
- Исправляйте обнаруженные в отчетах ошибки.
- Используйте понятные названия и структуру карт сайта.
Заключение
XML карта сайта — это полезный инструмент, который позволяет улучшить работу ресурса и его показатели в поисковых системах. Он помещает все страницы сайта в один файл. Благодаря этому поисковым роботам легче его индексировать, что положительно влияет на ранжирование и посещаемость ресурса.
Неспешно гулять по улицам — увлекательное занятие. Но когда нужно добраться до определенного места, в ход идут карты и навигационные подсказки. То же самое и с поисковыми роботами — большую часть времени они исследуют ваш сайт, просто переходя по ссылкам. Но не факт, что таким образом краулеры когда-нибудь доберутся до важных вам страниц. Основные причины — сайт слишком большой или на нем есть страницы, на которые не ведет ни одна ссылка.
Чтобы не пропустить важные страницы, поисковые роботы иногда обращаются к карте сайта — это помогает им находить те части сайта, которые они никогда раньше не посещали.
Что такое карта сайта
Карта сайта (Sitemap) — это файл со списком всех страниц сайта, о которых должны знать как поисковые роботы, так и пользователи. По виду она напоминает оглавление книги, только вместо разделов — ссылки.
Существует 2 основных типа карты сайта: HTML и XML.
HTML Sitemap — это веб-страница, на которой перечислены ссылки на наиболее важные разделы и страницы сайта. Вот несколько хороших примеров в формате HTML: Эльдорадо, Apple, Olx.
Карта сайта в формате HTML предназначена в основном для пользователей, а не для роботов, и помогает быстро перемещаться по основным разделам сайта.
XML Sitemap — это XML-файл (например, sitemap.xml), расположенный в корневом каталоге ресурса. В нем указывают URL-адреса, даты изменения страниц и другие параметры, которые важны для поисковых систем. Поскольку все параметры помечены специальными тегами, XML-файлы визуально очень похожи на HTML-код сайта:
Хоть синтаксис XML Sitemap выглядит запутано, карта сайта очень важна для SEO. Этот файл помогает краулерам получить целостное представление о сайте, лучше понять его структуру, быстро обнаружить новый контент и многое другое.
В этой статье мы рассмотрим преимущества, которые XML-карта может дать сайту, поговорим о различных ее типах и, наконец, выясним, как создать правильную карту сайта. В конце этой статьи есть бонус — инфографика, где собраны рекомендации по созданию файла Sitemap.
Преимущества XML Sitemap
Если у вас большой сайт или вы только запускаете новый проект, вам точно понадобится файл Sitemap. В первом случае он поможет поисковикам обнаружить контент, который находится далеко от главной страницы. А если говорить о новом сайте, то благодаря карте сайта можно не ждать вечность, пока поисковая система вообще узнает о существовании вашего контента. Но что, если сайт не подпадает ни под одну из категорий? Стоит ли создавать файл Sitemap в таком случае?
Google утверждает, что создание карты сайта позитивно оценивается поисковыми системами. Наличие файла Sitemap может дать множество ощутимых преимуществ:
- Карты сайта в формате XML помогают краулерам понять, какие страницы необходимо проиндексировать — добавляя URL в файл Sitemap, вы сообщаете поисковикам, что страница качественная. Но не забывайте, что поисковая система может проигнорировать ваш запрос — чтобы страница была проиндексирована, она должна соответствовать стандартам качества Google.
- Файлы Sitemap помогают контролировать индексацию определенных страниц в Google Search Console.
- Можно сообщить поисковикам о региональных версиях страниц, указав их в карте сайта вместе со специальными атрибутами hreflang. Это не единственный способ правильно организовать многоязычный сайт, но некоторые вебмастера считают, что именно этот вариант — самый простой.
- Карта сайта в формате XML — наглядное подтверждение ваших авторских прав на контент: в ней указываются время публикации и обновления страниц.
Сколько файлов Sitemap нужно сайту?
Перед созданием карты сайта вам нужно понять, сколько карт вам понадобится. Обычно достаточно одной. Но есть случаи, когда требуется создать несколько файлов Sitemap.
Разделяйте большие файлы Sitemap
Максимально допустимый размер файла Sitemap — 50 МБ в несжатом виде. Также карта сайта не должна содержать более 50 000 URL-адресов. Google ввел такие ограничения не просто так — они гарантируют, что ваш сервер не будет перегружен при обработке больших файлов.
Рекомендуем сжимать файлы Sitemap с помощью инструмента gzip для экономии трафика. Когда карта сайта сжимается, к имени файла добавляется расширение .gz, например, sitemap.xml.gz.
Поэтому если у вас огромный сайт и, соответственно, огромный файл Sitemap, необходимо разбить его на несколько поменьше. В противном случае вам выдаст ошибку при отправке файла Sitemap в Google Search Console.
Несколько файлов Sitemap для разных разделов сайта
Для интернет-магазинов часто создают несколько карт сайта, по одной для каждой категории. Например, можно разделить страницы товаров, страницы категорий, блог и т. д. Это позволяет вебмастерам выявить, есть ли у определенного типа страниц проблемы с индексацией. Также страницы товаров, например, обновляются чаще других, и при использовании нескольких карт сайта нужно будет обновить только одну карту категории, а не общий файл Sitemap для всего сайта.
Наконец, использование файлов Sitemap меньшего размера для разных разделов сайта — хорошее техническое решение. Размер вашей карты сайта может не превышать 50 МБ, а количество перечисленных URL будет меньше 50 000, но чем больше страниц в карте сайта, тем больше ненужной нагрузки на ваш сервер. Это может привести к усеченным ответам или тайм-аутам соединения и, следовательно, к возможным ошибкам сканирования. Используя файлы Sitemap меньшего размера, вы можете предотвратить такие проблемы.
Карта сайта для видео, изображений и новостей в Google
В дополнение к файлам Sitemap, которые содержат URL сайта, Google позволяет создавать отдельные карты сайта для изображений и видеоконтента, а также — для новостей.
Последнее точно пригодится новостным порталам — такие сайты создают контент, который быстро теряет актуальность, и для Google очень важно как можно быстрее находить новостные статьи. Чтобы пользователи получали свежую информацию, Google разрешает включать только новые статьи в файл Sitemap для новостей — они должны быть опубликованы в течение последних двух дней. Нужно помнить, что в одну такую карту можно включить не более 1000 статей. Но, если учитывать, что старый контент необходимо удалить из файла, это не будет проблемой. Последнее и, наверное, самое важное условие — сайт должен быть зарегистрирован в Google News.
А вот файлы Sitemap для изображений и видео будут очень полезны для сайтов, которые существуют за счет медиаконтента. Например, стоки, библиотеки или стриминговые платформы. Файлы Sitemap для изображений увеличивают шансы сайта на попадание в поиск по картинкам, а карта сайта для видео помогает Google ранжировать видеоконтент.
Здесь можно предоставить Google дополнительную информацию о медиа — например, указать заголовок изображения и подпись. А для видео — обозначить его длину, рейтинг, возрастное ограничение для просмотра и многое другое.
Но большинству сайтов не нужны отдельные файлы Sitemap для медиаконтента — чтобы поисковики заметили ваши важные изображения и видео, можно просто добавить их URL в обычную карту сайта.
Какие страницы включить в карту сайта
Эта часть нашего интенсива по созданию файла Sitemap очень важна, так что читайте внимательно!
Распространенное заблуждение: для того, чтобы помочь поисковику сканировать и индексировать сайт, необходимо включить все страницы сайта в файл Sitemap. На самом деле все наоборот. Поисковой системе не нужно просматривать мусорные страницы сайта. Необходимо только сообщить ему о качественных и интересных страницах, которые, по вашему мнению, заслуживают высокого ранжирования. Включая определенные страницы в карту сайта, вы как бы просите поисковик сконцентрировать внимание именно на них. Он может прислушаться к вашему совету, а может и проигнорировать его, но это уже совсем другая история.
Как правило, все страницы в карте сайта должны возвращать код ответа 200 ОК и содержать качественный контент для пользователей. То есть следует убрать из файла Sitemap все страницы, которые не соответствуют этим критериям. Но стоит учесть некоторые исключения.
Страницы с кодом 4хх в XML Sitemap
Код ответа 4хх означает, что запрошенной страницы не существует или у нее ограниченный доступ. Поэтому в большинстве случаев нет необходимости включать такие страницы в карту сайта.
Страницы с кодом 4хх, которых не должно быть в карте сайта
404 — это удаленные страницы. Поэтому, если они были удалены намеренно, не стоит включать их в карту сайта. То же самое касается страниц soft 404, которые были удалены, но по-прежнему возвращают код ответа 200 ОК. Обычно soft 404 — это страницы, на которых нет или очень мало контента, страницы с перенаправлением на главную или заблокированные файлом robots.txt. Ошибки soft 404 вряд ли хорошо повлияют на продвижение сайта в целом, поэтому выделите время для решения этого вопроса.
Не забудьте создать продуманную страницу 404, чтобы обеспечить крутой пользовательский опыт посетителям сайта.
Другой популярный код ответа из группы 4хх — 401. Он означает, что поисковик «не залогинился» для доступа к странице. Обычно такие страницы предназначены для авторизованных пользователей, и вы не хотите, чтобы поисковая система их индексировала. Следовательно, и в карте сайта эти страницы не нужны.
Страницы с кодом 4хх, которые могут быть в карте сайта
В некоторых случаях необходимо, чтобы поисковик просканировал и проиндексировал страницу 401. Например, вы защищали паролем страницу на стадии разработки, а затем забыли снять ограничения, когда проект был запущен. Иногда вебмастера ограничивают доступ к определенным страницам, чтобы защитить их от плохих ботов или спамеров. В таких случаях для проверки необходимо выполнить DNS-запрос, чтобы убедиться, что краулер, который обращается к странице, является роботом Google.
Страницы с кодом 3хх в XML Sitemap
3xx — это страницы редиректа. Они могут быть в карте сайта в зависимости от типа редиректа.
Страницы с кодом 3хх, которых не должно быть в карте сайта
Код ответа 301 означает, что страница была навсегда перемещена на новый адрес, а исходной страницы больше не существует. Таких страниц не должно быть в карте сайта. Единственное, что в этом случае обязательно нужно внести целевой URL в файл Sitemap.
Страницы с кодом 3хх, которые могут быть в карте сайта
Страницы с кодом 302 — это временно перенаправленные страницы. Например, такой редирект часто используется для A/B-тестирования — когда часть пользователей перенаправляют на тестовый URL. В этом случае вам нужно, чтобы исходная страница оставалась проиндексированной, поэтому очевидно, что она должна оставаться в карте сайта. С другой стороны, тестовую страницу не нужно индексировать, потому что она по сути дублирует исходную. Поэтому вам необходимо сделать исходный URL каноническим и не вносить тестовый URL в карту сайта, как и все неканонические страницы.
Страницы с кодом 5хх, которых не должно быть в карте сайта
Код 5хх означает, что на сервере возникла проблема. Наиболее распространенной является ошибка 503 Service Unavailable — она сообщает, что сервер временно не работает. Это может произойти из-за того, что сервер находится на техническом обслуживании или он попросту перегружен.
Если ошибка была обнаружена единожды, не стоит беспокоиться — скорее всего это произошло из-за планового технического обслуживания сервера. В другом случае нужно выяснить, в чем проблема, и исправить ошибку как можно скорее. Иначе поисковик решит, что сайт плохо обслуживается.
В случае страниц с кодом 5хх речь не идет о том, чтобы добавлять их в карту сайта. Главное здесь — устранить проблему и убедиться, что страницы возвращают код ответа 200 OK.
Неиндексируемые страницы
На каждом сайте есть ряд служебных страниц, которые важны для пользователей, но не для поисковых систем — страницы входа, личные аккаунты, страницы сортировки и фильтрации и т. д. Обычно такие страницы блокируют с помощью файла robots.txt, чтобы Google не мог получить к ним доступ. Или можно дать поисковику сканировать страницу, но ограничить ее индексирование специальными директивами (noindex или all).
Логично, что эти страницы не нужны в карте сайта. Если страница не может быть проиндексирована, но указана в файле Sitemap, это не только сбивает поисковик с толку, но и расходует ваш краулинговый бюджет. То же самое и со страницами, заблокированными файлом robots.txt — поисковик не сможет их просканировать.
Если вы хотите, чтобы Google исключил из индекса страницу и применили к ней тег noindex, не добавляйте страницу в файл robots.txt. Также можно сохранить ее в карте сайта до того, как она выпадет из индекса.
Рекомендую провести аудит сайта, чтобы убедиться, что тег noindex и файл robots.txt используются правильно, и вы случайно не заблокировали не те страницы.
Вы можете легко найти все необходимые страницы с помощью инструмента «Аудит сайта» SE Ranking. После запуска аудита нужно перейти в раздел «Отчет об ошибках» — «Сканирование».
Нажав на количество страниц, вы увидите полный список URL-адресов, отмеченных метатегом noindex или заблокированных файлом robots.txt. Здесь можно отследить и другие важные параметры — количество внутренних ссылок, указывающих на страницу, все метатеги robots, теги X-Robots и заголовки страниц. Также вы сможете увидеть, какие страницы включены в файл Sitemap.
Если вы еще не пользовались SE Ranking, протестировать платформу можно в рамках 14-дневной пробной версии.
Неканонические страницы
Тег canonical используют, когда на сайте есть похожие страницы и необходимо обозначить, какая из двух является основной. Чаще всего поисковики индексируют и ранжируют основную страницу и игнорируют дубли или практически идентичные страницы. Похожие страницы с тегом canonical могут иметь как совершенно разные, так и похожие URL (например, URL-адреса, созданные в процессе сортировки и фильтрации, URL-ы с UTM-метками и параметрами отслеживания).
Иногда теги canonical используют, чтобы сделать страницу доступной как по HTTP, так и по HTTPS, а также как с префиксом www, так и без него. В этом случае основная версия страницы (например, вариант HTTPS без www) будет помечена атрибутом rel=canonical. Однако большинство сайтов делают переадресацию на стороне сервера — это просто и гарантирует индексацию только предпочтительного варианта сайта.
Теги canonical отличаются от редиректов — это скорее рекомендация, чем директива, поэтому поисковики могут как следовать им, так и игнорировать их. Вот почему наличие неканонических URL в карте сайта действительно сбивает с толку поисковые системы. Если страница не помечена как каноническая, это говорит Google, что вы не хотите, чтобы она индексировалась. В то же время вы добавляете страницу в карту сайта, побуждая поисковые системы проиндексировать ее. В результате Google может проиндексировать все версии страниц, и вам придется столкнуться с каннибализацией ключевых слов. Или поисковики проиндексируют неканонический URL, что вам тоже не нужно.
Страницы, которые не нужно добавлять в карту сайта
А теперь давайте быстро закрепим, какие страницы вам не следует добавлять в карту сайта:
- удаленные страницы 404 и soft 404, страницы с кодом 401, которые защищены паролем;
- страницы 301, с которых настроена постоянная переадресация;
- неиндексируемые и неканонические страницы — эта категория включает страницы входа и страницы пагинации, фильтрации и сортировки, страницы результатов поиска по сайту, URL-адреса с идентификаторами сеансов и т. д.
Включая в карту сайта только качественные страницы, вы повышаете общее качество своего сайта в глазах поисковой системы, что должно положительно сказаться на ранжировании.
XML-теги карты сайта и их настройки
Ранее я уже упоминала, что наряду с URL-адресами сайтов, файл Sitemap также содержит различные теги, которые определяют параметры страницы. Вот отрывок из XML Sitemap нашего блога, чтобы наглядно показать вам, как расположены теги.
Теперь давайте рассмотрим каждый из них, чтобы разобраться, зачем нужны эти теги и как их правильно использовать.
- <urlset> — это обязательный элемент, который инкапсулирует карту сайта и показывает, какая версия стандарта протокола XML Sitemap используется (с помощью атрибута xmlns). Стандарт протокола еще называют пространством имен.
- <url> — еще один обязательный элемент, который отмечает блок со всей информацией, относящейся к одному URL-адресу.
- <loc> — последний обязательный элемент, который указывает на сам URL страницы. Все перечисленные URL должны быть абсолютными — содержать протокол сайта (HTTP или HTTPS), а также префикс www, если он включен в доменное имя.
- <changefreq> определяет примерную частоту изменений страницы. Можно указать следующие значения: always, hourly, daily, weekly, monthly, yearly или never.
- <priority> устанавливает приоритетность сканирования страницы (допустимый диапазон значений — от 0,0 до 1,0).
- <lastmod> указывает дату последнего изменения страницы.
Убедитесь, что вы используете такой же синтаксис при указании URL-адреса. Кроме того, файлы Sitemap должны быть в кодировке UTF-8.
Раньше Google обращался к тегам <changefreq> и <priority>, чтобы понять, каким страницам следует отдавать приоритет при сканировании сайтов. Поэтому вебмастерам приходилось тщательно настраивать эти параметры для каждой страницы. Сейчас это неактуально. Аналитики Google Джон Мюллер и Гэри Иллис подтвердили, что Google теперь не учитывает тег <priority>. А Гэри Иллис заявил, что этот тег — это просто «много шума из ничего».
То же самое и с тегом <changefreq> — по словам Джона Мюллера он также не берется во внимание.
Единственный необязательный тег, который все еще учитывается Google — это <lastmod>. Гэри Иллис утверждает, что поисковик может обратиться к нему, если тег достаточно актуален. Вероятно, он имел в виду, что тег должен обновляться только тогда, когда в контент были внесены существенные изменения. Намеренное обновление тега — чтобы заставить поисковик думать, будто у вас новый контент, никак не поможет.
При правильном использовании <lastmod> помогает Google понять, когда контент обновлялся в последний раз и нужно ли его повторно сканировать. Кроме того, тег помогает поисковой системе выяснить, кто был первоначальным автором публикации.
Статические и динамические карты сайта
Сейчас вы наверняка думаете, сколько же придется тратить времени на обновление карты сайта каждый раз, когда вы создаете новую страницу или переделываете существующую. Поддержание актуальности карты сайта — непростая задача, если вы решите создать статический файл Sitemap. Но есть и хорошая новость. Можно легко избежать всех этих хлопот, создав вместо этого динамическую карту.
Этот вид файла Sitemap обновляется автоматически, когда вы вносите какие-либо изменения на сайте. Например, каждый раз, когда вы удаляете страницу, и она становится 404, эта страница удаляется из карты сайта. Если вы пометите страницу метатегом noindex или добавите ее в файл robots.txt, она тоже будет удалена из карты сайта. Также каждый раз, когда вы создаете новую страницу и помечаете ее как каноническую, она сразу же добавляется в карту сайта. Проще некуда — все, что вам нужно, это правильно настроить инструмент, который будет генерировать динамические карты сайта.
Как создать карту сайта в формате XML
Наконец, мы подошли к практической части нашей статьи — давайте разберемся, как создать карту сайта.
Самый простой способ — создать Sitemap на вашей CMS-платформе. Поскольку в базе CMS есть информация обо всех страницах сайта и внесенных изменениях, она может передавать все данные в динамическую карту сайта.
У некоторых CMS встроенная функция создания карты сайта — это относится к Tilda, «1С-Битрикс», Magento, Shopify, Wix и Squarespace. С другими популярными CMS, такими как WordPress, Joomla, Drupal или OpenCart, придется использовать специальные плагины.
В таблице выше перечислены популярные плагины для создания Sitemap. Выбирая один из вариантов для своего сайта, обратите внимание на набор функций: оптимизированные для SEO решения позволят исключить страницы 404, а также перенаправленные, неиндексируемые, неканонические и другие неприемлемые страницы из вашей карты сайта. Кроме того, обратите внимание на возможности кастомной настройки — так вы сможете легко изменять список страниц, включенных в карту сайта.
Если ваш сайт работает не на CMS, можно использовать один из специальных сервисов для создания файлов Sitemap. На рынке доступно множество как бесплатных, так и платных предложений, поэтому внимательно изучите функции каждого сервиса. В то время как платный инструмент дает вам возможность создать динамическую карту с гибкими настройками, большинство бесплатных решений слишком примитивны и не имеют многих важных функций. В таком случае вы скорее получите статическую карту сайта, в которой представлены все страницы вашего сайта, включая неканонические, неиндексируемые и перенаправленные URL-адреса.
Поэтому, если использование одного из платных решений и функций CMS не подходит, советую создать файл Sitemap с помощью инструмента «Аудит сайта» SE Ranking. Всего за несколько минут инструмент сделает для вас статическую карту сайта на основе последнего сканирования. По умолчанию инструмент включает в карту сайта только страницы с кодом ответа 200, упуская 4xx, 3xx, неиндексируемые и другие страницы, которые обычно не добавляют в файл Sitemap.
При создании Sitemap с помощью инструмента «Аудит сайта» помните об ограничениях сканирования — количество страниц на вашем сайте не должно превышать установленные лимиты. Иначе есть риск, что некоторые важные страницы не попадут в карту сайта.
Наконец, если ни одно из готовых решений не подходит для вашего сайта, можно создать файл Sitemap самостоятельно. Конечно, для этого потребуются определенные навыки программирования — вам понадобится разработчик, который создаст правильную динамическую карту сайта.
Как загрузить карту сайта в Google
Все зависит от платформы, которая использовалась для создания карты сайта. В некоторых случаях придется добавить файл Sitemap вручную на свой сайт. А если динамическая карта сайта создана на CMS, она скорее всего уже есть на сайте. Обычно, когда Sitemap автоматически добавляется на сайт, ее можно найти по адресу: yoursite.com/sitemap.xml.
Если вы использовали один из сервисов для создания XML Sitemap, вам придется вручную загрузить его в корневой каталог сайта. Сделать это можно с помощью хостинг-панели cPanel или программы «FTP-клиент», например, Total Commander или FileZilla. Перед загрузкой необходимо проверить карту сайта, особенно если файл был создан вручную. Воспользуйтесь одним из бесплатных сервисов, подобных этому, чтобы убедиться, что карта сайта работает так, как вы задумали.
Также рекомендуется продублировать ссылку на файл Sitemap в robots.txt — ее можно найти в корневом каталоге сервера.
Host: seranking.ru Sitemap: https://seranking.com/ru/sitemap.xml
Загружаем карту сайта в Google Search Console
Давайте рассмотрим, как отправлять файл Sitemap в Google. Как только на вашем сайте появится действующая карта сайта, можете смело отправлять ее в Google Search Console (GSC). Для этого перейдите в раздел «Файлы Sitemap», нажмите «Добавить файл Sitemap», введите URL-адрес карты сайта и нажмите кнопку «Отправить».
В столбце «Статус» будет показано, смог ли Google обработать ваш файл Sitemap. Если все прошло удачно, вы увидите «Успешно». Если карта сайта была проанализирована, но Google нашел ошибки, будет статус «Обнаружены проблемы». Наконец, если Google не смог просканировать карту сайта, вы увидите «Не получено».
Обязательно исправьте все ошибки карты сайта, чтобы получить статус «Успешно». Я создала отдельное руководство с описанием распространенных ошибок в файлах Sitemap, чтобы помочь в этом вопросе.
В этом же отчете о файле Sitemap вы увидите количество выявленных URL — в идеале оно должно совпадать с общим количеством URL, которые добавлены в файл Sitemap.
Наконец, щелкнув на значок рядом с количеством обнаруженных URL-адресов, вы попадете в отчет об индексировании, который даст лучше понять, как Google сканирует и индексирует сайт. Изучение отчета поможет удалить некачественные страницы из карты сайта и добавить пропущенные.
Отправка нескольких карт сайта в Google
Несколько файлов Sitemap можно отправить в поисковую систему одновременно. Для этого нужно указать все свои карты сайта в одном файле.
Файл под названием Sitemap index поможет поисковикам легко найти все ваши карты сайта. В один файл можно включить до 50 000 URL-адресов отдельных карт сайта, и еще одно требование — размер файла. Как вы уже могли догадаться, он не должен превышать 50 МБ.
Создав индекс файлов Sitemap, отправляйте его в Google так же, как и стандартный файл Sitemap.
Заключение
Поздравляю! Вы успешно прошли наш интенсив по SEO-картографии. Следуйте рекомендациям по созданию Sitemap, и у краулеров точно не возникнет проблем с поиском и сканированием всех качественных страниц вашего сайта. Если вы хотите получить максимальную отдачу от собственной карты сайта, ознакомьтесь с руководством по ее усовершенствованию.
Бонус! Инфографика: как создать правильную карту сайта
Даша — контент-маркетолог и редактор в SE Ranking. Пишет статьи о SEO и диджитал-маркетинге. Любит разбираться в сложных вещах и описывать их просто и доступно. В свободное от блога время Даша путешествует, изучает искусство фотографии и посещает картинные галереи.
Создание XML-карты сайта (sitemap.xml) — обязательный пункт в списке работ по внутренней оптимизации. Зачем нужен файл sitemap, где он находится и как его создать, разбираемся в статье.
Отличие XML-карты сайта от HTML версии
Под термином «карта сайта» понимают 2 вида документов:
- HTML (веб-страница) — перечень ссылок на страницы сайта. Нужна для навигации пользователей, обычно оформлена как древовидная структура, имеет адрес вида site.com/sitemap/ или site.com/karta-saita/ и т.п.
- XML — файл в корневой папке сайта, который содержит список URL с информацией об их последнем обновлении и приоритете в индексировании. Нужна для поисковых роботов, должна быть доступна по адресу site.com/sitemap.xml.
На сайте должны присутствовать и HTML карта, и XML. Первая нужна для пользователей, вторая — для роботов. Далее будем говорить об XML-карте сайта.
XML-карту удобно использовать для парсинга данных с сайтов. Парсер мета-тегов и заголовков системы PromoPult: быстро, с любого сайта. Соберем мета-теги и заголовки H1 с любого сайта. Подгрузите список страниц или карту сайта.
Синтаксис файла sitemap.xml
Первой строкой в файле sitemap указывается ссылка на пространство имен языка XML (описание стандарта, на основе которого составлен файл). Строка стандартная и всегда выглядит вот так:
<urlset xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″>
XML-карта сайта должна иметь кодировку UTF-8 и содержать следующие теги:
- <urlset> — открывающий/закрывающий тег, в него заключаются все ссылки файла sitemap.
- <url> — заключает в себе всю необходимую для робота информацию о каждой ссылке: URL, с какой периодичностью обновляется информация по этому адресу, дату последнего обновления и приоритет в индексировании.
- <loc> — ограничивает конкретный URL:
- <changefreq> — задает периодичность обновления информации на странице: always, hourly, daily, weekly, monthly, yearly, never (всегда, ежечасно, ежедневно, еженедельно, ежемесячно, ежегодно, никогда). Благодаря этому тегу робот может понять, насколько часто меняется содержание в документе и нужно ли его сканировать. Тег необязателен и сейчас используется крайне редко.
- <lastmod> — указывает на дату последнего обновления страницы. Так робот понимает, изменилось ли что-нибудь с момента его предыдущего посещения.
- <priority> — дает роботам рекомендацию о приоритете индексирования. Главная страница всегда имеет <priority> 1, остальные можно расставить в зависимости от предпочтений оптимизатора (например, 0,8, 0,6 и так далее до 0,1).
Рекомендация по количеству ссылок в файле sitemap.xml — не более 50 тысяч. Если количество страниц сайта превышает это число, нужно сделать несколько карт, а в файле по адресу site.com/sitemap.xml указать на них ссылки:
Модуль SEO в системе Promopult: все инструменты для улучшения качества сайта и поискового продвижения. Полный комплекс работ — с нами вы не упустите ни одной мелочи. Чек-листы, подсказки, прозрачная отчетность и рекомендации профессионалов. Гарантии, оплата работ в рассрочку.
XML-карта позволяет экономить краулинговый бюджет
Краулер (паук) — поисковый робот, который сканирует страницы сайта и добавляет их в индекс. Краулинговый бюджет — это количество страниц за одно посещение робота, для разных сайтов бюджет ограничен — это может быть несколько десятков или сотен документов. Именно поэтому нужно направить краулера по тем страницам, которые важны для продвижения сайта, и сделать все, чтобы он не добрался до некачественных, малоинформативных, служебных страниц.
Важно понимать, что указания в файлах robots.txt и sitemap.xml — только рекомендации для роботов.
Отсутствие файла sitemap не является критичной ошибкой. Но если поисковый бот не найдет файл sitemap.xml, он станет сканировать и добавлять в индекс документы по своему усмотрению, и тогда наличие «мусорных», служебных страниц, дублей, страниц с ошибкой 404 в индексе может стать препятствием к выходу сайта в топ.
Роботы всех поисковых систем могут самостоятельно обнаружить XML-карту сайта, если она доступна по адресу site.com/sitemap.xml, но есть способы донести до поисковиков важную информацию быстрее.
Как рассказать поисковым роботам о карте сайта
1. Указать ссылку на файл в директиве sitemap файла robots.txt:
2. Добавить файл sitemap.xml в разделы «Индексирование — Файлы Sitemap» Яндекс.Вебмастера и «Файлы Sitemap» в Google Search Console.
Яндекс и Google не только просканируют добавленный файл, но и укажут на возможные ошибки.
4 cпособа создать sitemap.xml
- Вручную, руководствуясь правилами синтаксиса, которые мы описали выше. Этот вариант подходит для небольших сайтов. Не забудьте разместить файл sitemap.xml в корневой папке сайта (потребуется доступ к хостингу или ftp) и проверить, открывается ли он корректно по адресу site.com/sitemap.xml.
- Использовать платные и бесплатные программы для генерации XML-карты сайта (например, Sitemap Generator, Sitemap Writer Pro, SiteMap XML Dynamic). Такой софт использовался до широкого распространения онлайн-генераторов. На момент написания статьи все три программы давно не обновлялись.
- Использовать генераторы карты сайта онлайн — самый простой и бесплатный способ создать файл sitemap.xml.
- Воспользоваться возможностями системы управления сайтом.
При любом способе обратите внимание на следующие моменты:
- Разместить файл sitemap.xml нужно в корень сайта.
- Ссылки в sitemap не должны конфликтовать с правилами в файле robots.txt. Иначе говоря, страниц, закрытых от индексации в robots.txt, не должно быть в XML-карте сайта.
- После автоматической генерации нужно проверить и скорректировать XML-карту на предмет попадания в нее ненужных для индексации URL.
Рассмотрим подробнее самые популярные способы создания XML-карты.
Онлайн генераторы карты сайта
Если на сайте небольшое количество страниц, создайте sitemap при помощи онлайн-генераторов.
Самые популярные:
- Mysitemapgenerator: бесплатно сканирует до 500 страниц, есть платный тариф и подписка на автоматически обновляемый файл sitemap.xml.
- Xml-sitemaps: бесплатно без регистрации позволяет просканировать до 500 страниц, есть платный аккаунт и php-версия для установки на сервер. Англоязычный сервис.
- Web-Site-Map: количество бесплатных страниц для генерации динамически меняется с учетом реальной нагрузки на сервер. Имеет валидатор и сообщает о битых ссылках.
- Gensitemap: бесплатно можно просканировать до 1000 страниц.
Большой недостаток онлайн-генераторов — они создают файл sitemap.xml раз и навсегда. Если на сайт постоянно добавляются новые страницы, такой способ не подходит.
Как создать sitemap.xml в разных CMS
Во всех популярных системах управления сайтом (CMS) есть возможность создать XML-карту. Файлы sitemap в этом случае обновляются автоматически, вам не придется генерировать карту сайта заново после каждой добавленной страницы.
1C-Битрикс: встроенная функция
Настройка sitemap.xml доступна в разделе «Маркетинг» административной панели сайта:
Добавьте файл, назовите его и активируйте чекбокс о добавлении ссылки в robots.txt:
Во вкладке «Файлы» выберите разделы, которые вы хотите предоставить для индексации поисковым роботам:
То же самое проделайте во вкладке «Инфоблоки».
Сохраните все изменения и нажмите кнопку «Запустить»:
После создания карты сайта вы увидите сообщение, что генерация закончена:
WordPress: используйте плагины
Покажем настройку на примере первого.
Сначала нужно установить плагин. Это делается в разделе «Плагины» консоли сайта. После установки он будет доступен для настройки. Нам нужен раздел «Управление модулями»:
В нем активируем модуль, который отвечает за XML-карту:
После активации модуль становится доступным для редактирования:
Далее вы можете оставить настройки по умолчанию или задать свои. Полная документация по модулю — здесь. Она на английском языке, но даже встроенный переводчик в Chrome поможет вам разобраться.
В Yoast SEO карта сайта создается автоматически по адресу site.com/sitemap_index.xml. Модуль также доступен для редактирования или можно оставить настройки по умолчанию.
Модули для других популярных CMS
- Joomla: используйте плагины OSMap (бесплатная версия Free и платная Pro), jSitemap (платное расширение, фактически целый набор SEO-инструментов).
- Drupal: модуль XML Sitemap.
- Magento: настройте Site Map Configuration.
Выбирайте подходящий способ создания XML-карты сайта и сообщайте поисковым роботам, какие страницы им стоит посетить — это даст вам уверенность в том, что поисковый робот проиндексирует все нужные страницы вовремя.
Что такое карта сайта
Карта сайта – это список страниц сайта, который создается для пользователя или для поисковой системы. Его можно сравнить с содержанием книги, которое быстро помогает найти нужную часть или страницу.
Отличие XML от HTML карты сайта
Есть два основных формата для карт сайта. Каждый предназначен для разных целей, поэтому на сайте могут присутствовать оба одновременно.
Первый формат – HTML карта – нужен для пользователей и практически не играет роли для поисковых систем. Такая карта размещается на отдельной странице сайта и включает ссылки на самые важные разделы. Особенно актуально для больших сайтов, где невозможно уместить все в меню.
При работе над HTML картой сайта необходимо учитывать следующие принципы:
- Размещать не более 100 ссылок. Создавать многостраничную карту, если большой сайт.
- Отражать структуру сайта в оформлении, это не должно быть простое перечисление URL. Ссылки на страницы должны по возможности показывать визуальный уровень вложенности.
- Ссылки на все страницы должны быть рабочими.
Пример HTML карты сайта показан ниже:
Второй формат – XML карта сайта – наоборот, создается исключительно для поисковых систем. Ее рекомендуется формировать в формате .xml и размещать в корне сайта. Путь к ней обычно выглядит так: https://site.ru/sitemap.xml.
Чаще всего адрес карты сайта указывается в файле robots.txt, чтобы роботы поисковых систем могли легко его найти. В таком документе можно не только перечислить ссылки на страницы сайта, но и указать их особенности. Например, какие страницы приоритетнее, с какой частотой обновляется контент на них.
XML карта сайта – это рекомендация для поисковых систем какие страницы нужно индексировать. С их помощью мы говорим: «Обратите внимание на эти страницы. Эта страница важнее, а другая чуть менее значима. Эта страница обновляется еженедельно, а вот та раз в месяц».
Пример XML карты сайта:
XML карты вызывают больше вопросов, поэтому дальше мы расскажем, как правильно составить sitemap.xml.
В карте сайта используется кодировка UTF-8. Указывается это следующей строкой:
<?xml version=»1.0″ encoding=»UTF-8″?>
Обязательные теги для карты сайта xml:
- <urlset> – родительский тег, открывается после указания кодировки и закрывается в самом конце
- <url> – тег с параметрами конкретного url
- <loc> – тег с самим url
В родительском теге необходимо указывать пространство имен языка XML: xmlns=http://www.sitemaps.org/schemas/sitemap/0.9
Необязательные теги для карты сайта формата xml:
- <lastmod> — тег, который показывает дату последнего обновления страницы
- <changefreq> — тег, который показывает, как часто обновляется страница (может иметь значения: always, hourly, daily, weekly, monthly, yearly, never)
- <priority> — тег, который показывает приоритет одной страницы перед другими (может иметь значения от 0,1 до 1)
Рекомендации к файлу sitemap.xml от поисковых систем
При составлении XML карты сайта необходимо учитывать следующие принципы:
- В карте сайта указывать не более 50 000 ссылок на страницы. Если количество страниц большое, то лучше разделять Sitemap на несколько файлов (далее расскажем, как именно).
- Страницы должны возвращать код ответа сервера 200. В sitemap.xml не нужно включать страницы с кодом ответа 3xx, 4xx, 5xx.
- Размер XML карты не должен превышать 10 Мб.
- В XML карту необходимо добавлять исключительно ссылки того же домена, где расположен файл.
- Карта сайта должна находиться на том же домене, для которого ее составили.
Что такое сводный sitemap.xml
Если в карту сайта необходимо включить более 50 000 ссылок, рекомендуется разбить ее на несколько файлов. Например, это стоит делать при работе с большим интернет-магазином. Для этого нужно:
- создать отдельные карты для разводящих страниц, карточек товара и служебных страниц
- объединить полученные файлы в сводную карту сайта
Сводный, он же индексный, sitemap.xml – это файл, который объединяет ссылки на другие карты сайта.
Обязательные теги для него:
- <sitemapindex> – родительский тег
- <sitemap> – тег с параметрами каждой sitemap
- <loc> – тег со ссылкой на sitemap
Необязательный тег <lastmod> доступен для индексного файла.
Как составить карту сайта XML
Мы рассказали, из чего состоит карта сайта, теперь опишем, с помощью каких инструментов ее сформировать.
Текстовый редактор Notepad++
С его помощью вручную можно сделать небольшую карту сайта, иначе придется потратить много времени.
Существует большое количество платных и бесплатных инструментов для автоматического, полуавтоматического формирования xml карты сайта, рассмотрим некоторые из них.
Программа Screaming Frog SEO Spider
Для того, чтобы создать карту сайта в формате XML необходимо:
- провести парсинг сайта
- зайти в Sitemaps – XML Sitemap
- настроить параметры
- можно выбрать, какие страницы взять в карту сайта и задать теги
- нажать Ок
Предварительно нужно проверить настройки robots.txt, перейдя в Configuration – robots.txt – Settings.
Можно также загрузить уже готовый список страниц для карты сайта.
Необходимо:
- переключить Mode в режим List
- выбрать Upload – Enter Manually
- обойти загруженные страницы
- использовать те же шаги, что описаны выше
Плагины для Content Management System (CMS)
Для всех популярных CMS разработаны плагины, которые создадут карту сайта за вас. Например, Yoast SEO для WordPress, модуль Sitemap.xml для Bitrix, JL Sitemap для Joomla и другие.
Онлайн-генераторы
Сайты, генерирующие sitemap.xml, имеют ограничения по настройкам, либо по количеству индексируемых URL в бесплатной версии. Такие варианты подойдут только для небольших ресурсов. Примеры генераторов: https://www.mysitemapgenerator.com/ru/, https://www.xml-sitemaps.com/
Где указать путь на файл sitemap.xml
Чтобы оповестить поисковых роботов, о том, что была создана карта сайта, необходимо:
- Добавить ссылку на нее в файле robots.txt с помощью директивы sitemap: https://site.ru/sitemap.xml Директива Sitemap – межсекционная. Неважно, в каком месте она будет указана в файле robots.txt, поисковые роботы ее найдут и проиндексируют.
- Добавить ссылку на XML карту сайта в вебмастера Яндекс и Google.
Яндекс.Вебмастер:
Google Search Console:
Что такое карта изображений
Этот вид sitemap.xml используется для заполнения атрибутов Alt и Title изображений.
Он является инструментом SEO-оптимизации в поиске по картинкам, который приводит дополнительный трафик на сайт. Особенно актуально, если изображения на сайте подгружаются через Javascript. В этом случае поисковые системы не проиндексируют изображения без вашей помощи.
Карту картинок можно делать в отдельном файле, а можно добавить информацию об изображениях в основной sitemap.xml. Если используется отдельный файл, то ссылку следует разместить в robots.txt и в кабинетах: Яндекс Вебмастер и Google Search Console. Можно указывать не более 1 000 изображений для каждой страницы.
Обязательные теги:
- <image:image> – тег с параметрами изображений
- <image:loc> – тег со ссылкой на картинку
Необязательные теги:
- <image:caption> – тег, передающий подпись к изображению
- <image:geo_location> – тег, передающий место съемки
- <image:title> – тег, передающий название изображения
- <image:license> – тег со ссылкой на лицензию изображения
Ниже показан пример sitemap.xml с записью об изображениях, который приводит в своих рекомендациях Яндекс:
Создать карту изображений можно вручную, с помощью плагинов для CMS, и, например, Screaming Frog (стоит выбирать Images Sitemap вместо XML Sitemap).
Как проверить карту сайта на ошибки
Перед выгрузкой sitemap.xml на сайт необходимо проверить ошибки. Для этого нужно:
- Загрузить текст карты сайта, ссылку на нее или файл в «Анализ файлов Sitemap» в Яндекс.Вебмастер. Сервис покажет наличие или отсутствие ошибок, вес файла и количество ссылок.
- Использовать программу Screaming Frog, чтобы проверить открыты ли страницы для индексации и какой код ответа они отдают. Он должен быть 200 OK.
В инструменте можно загрузить список URL через режим List, Upload Manually. А можно выгрузить карту, уже размещенную на сайте. Для этого в режиме List нужно выбрать Upload – Download XML Sitemap.
Зайти на вкладку URL, отфильтровать по Parameters, чтобы проверить, не попали ли в карту сайта URL с GET-параметрами.
Заключение
Карта сайта в формате XML – это способ передать поисковым системам информацию о страницах сайта. Не игнорируйте этот инструмент. Он будет полезен как для крупных, так и для небольших проектов.
Если у вас остались вопросы, обращайтесь к специалистам TRINET. Мы с удовольствием поделимся опытом и поможем в решении ваших задач.
Для качественного продвижения сайта необходимо, чтобы поисковые системы вовремя узнавали об изменениях в контенте и появлении новых страниц. Если ресурс небольшой (10–20 страниц), можно сообщать об новшествах вручную через консоли поисковых систем. Если чуть больше, это уже сложнее, но реализуемо — с помощью перелинковки и html-карты. А если страниц несколько сотен или тысяч? Тут придёт на помощь файл sitemap.xml.
Зачем нужен sitemap.xml
Файл sitemap в формате xml содержит ссылки на страницы сайта, а также дополнительную информацию для поискового робота.
Не стоит путать карту сайта в формате HTML и sitemap.xml. Первая создаётся в большинстве случаев для людей, вторая — для роботов.
В структуре файла применяется формат разметки XML, который, как и HTML, использует теги. Тег <url> является контейнером, в него помещена вся информация, касающаяся конкретной страницы. Обязателен и тег <loc>, содержащий адрес страницы.
В качестве дополнительной информации могут выступать:
тег <lastmod> — дата последнего изменения страницы;
тег <changefreq> — частота обновления страницы (периодичность изменений содержимого);
тег <priority> — приоритет страницы (насколько она важнее остальных).
Посредством sitemap.xml можно сообщить роботу ПС об изображениях и видеофайлах, расположенных на ресурсе, что улучшит ранжирование в поиске картинок и видео.
Чем подробнее составлен файл, тем больше информации получит из него робот-краулер, быстрее проиндексирует элементы и добавит в поиск. А значит, потенциальные клиенты увидят самые актуальные сведения.
Как найти sitemap.xml
Как правило, файл располагают в корне сайта, поэтому самый первый и простой способ проверить, есть ли он вообще — набрать в адресной строке:
https://site.ru/sitemap.xmlВ этой фразе site.ru нужно заменить вашим доменом.
Если по набранному адресу открылся файл в формате xml или список таких файлов, значит, вы на верном пути!
Но не всегда файл называется именно sitemap.xml, в принципе, он может носить любое название, главное, чтобы он был верно размечен. Но тогда поиск его затрудняется.
Чтобы найти сайтмап, можно заглянуть в файл Robots.txt, там адрес карты может быть уже прописан.
Также, если у вас установлена CMS для сайта и используется инструмент генерации карты, можно посмотреть в его настройках — как правило, там указывается путь или имя сгенерированного файла.
Если вы уже успели подключить консоли поисковых систем (как минимум несколько дней должно пройти с момента подтверждения прав, чтобы информация обновилась), то можно посмотреть адрес карты сайта там, если, конечно, она есть на ресурсе и краулер её нашёл.
И ещё вариант — поискать в файлах сайта. Для этого понадобится зайти в файловый менеджер вашего хостинга и перейти в папку нужного ресурса, посмотреть, есть ли там документы, напоминающие искомый. Не забывайте, что конфигурация сайта может быть довольно сложной, поэтому там могут быть файлы формата xml, не являющиеся картой.
Примеры файла sitemap.xml
Пример правильного файла sitemap.xml для трёх страниц:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://site.ru/</loc>
<lastmod>2023-02-22T10:14:13+04:00</lastmod>
<changefreq>always</changefreq>
<priority>1.0</priority>
</url>
<url>
<loc>https://site.ru/category/</loc>
<lastmod>2023-02-22T10:17:09+04:00</lastmod>
<changefreq>hourly</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>https://site.ru/page/</loc>
<lastmod>2023-02-22T10:19:37+04:00</lastmod>
<changefreq>daily</changefreq>
<priority>0.6</priority>
</url>
</urlset>
Пример файла sitemap.xml для трёх изображений, размещённых на двух страницах:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">
<url>
<loc>https://site.ru/page/</loc>
<image:image>
<image:loc>https://site.ru/image1.jpg</image:loc>
</image:image>
<image:image>
<image:loc>https://site.ru/image2.png</image:loc>
</image:image>
</url>
<url>
<loc>https://site.ru/page2/</loc>
<image:image>
<image:loc>https://site.ru/image3.jpg</image:loc>
</image:image>
</url>
</urlset>
Здесь не только указана страница, на которой расположено изображение, но и его прямой адрес с помощью тега <image:loc> в контейнере <image:image>.
Пример файла sitemap.xml для одной страницы с видео:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:video="http://www.google.com/schemas/sitemap-video/1.1">
<url>
<loc>https://site.ru/page/</loc>
<video:video> <video:thumbnail_loc>https://site.ru/thumbs/123.jpg</video:thumbnail_loc>
<video:title>How much is the fish?</video:title>
<video:description>Music video for the song by German group Scooter</video:description>
<video:content_loc>
http://site.ru/video123.mp4</video:content_loc>
<video:player_loc>https://site.ru/videoplayer.php?video=123</video:player_loc>
</video:video>
</url>
</urlset>
Здесь в контейнере <video:video> размещены обязательные теги:
video:thumbnail_loc — адрес файла-обложки для видео;
video:title — название видео;
video:description — описание видео;
video:content_loc — адрес расположения видеофайла;
video:player_loc — адрес проигрывателя для этого видео;
Google рекомендует указывать один из тегов: либо video:content_loc, либо video:player_loc. Причём первый наиболее желателен.
Кроме вышеперечисленных тегов есть ещё несколько необязательных, с которыми можно ознакомиться в Справке Google.
Не спешите пугаться нагромождения тегов! Файл типа sitemap в формате xml не придётся составлять вручную — есть сервисы и плагины. Рассмотрим их ниже.
Как сделать Sitemap.xml
Файл можно создать тремя способами — при помощи:
программы для ПК;
онлайн-сервиса;
плагина для CMS сайта.
Создание Sitemap.xml с помощью программ
Файл sitemap.xml можно сделать посредством специальных программ, установленных на ПК, например:
Рассмотрим пример использования Sitemap Generator. Это одна из старейших программ такого рода, однако до сих пор популярная, потому что бесплатна и не ограничена по количеству ссылок на сайте.
После установки программы нужно создать новый проект, добавив доменное имя.
В настройках проекта (Project Option) указываем количество потоков сканирования и паузу между обращениями к сайту, исключения и обязательные к добавлению страницы, а также место, с которого следует начинать сканирование (по умолчанию — с главной страницы).
Когда настройка выполнена, нажимаем Run и ожидаем результата. Это займёт продолжительное время, если на ресурсе много страниц.
По окончании сканирования на вкладках отразятся отчёты:
Total page found — сколько найдено страниц.
Excludes URLs — исключённые страницы и по каким причинам.
Issues & Notes — проблемы и примечания, которые возникли в ходе сканирования (отсутствие или дубль канонического URL, например).
Final Sitemap — список страниц, который содержит карта сайта.
Тут же, на вкладке Final Sitemap, можно скачать карту сайта в формате XML, HTML или TXT. Форматы XML и TXT нужны для роботов, а при HTML карту можно использовать для посетителей сайта (если в ней не очень много страниц — вряд ли человек захочет искать нужную позицию в списке из 1000 пунктов).
При всей простоте у программы есть недостаток — она создаёт только карту сайта, не используя дополнительные свойства, которые крайне желательны для поисковиков.
И второй минус, но уже всех программ-генераторов, — это ручное добавление готового файла на сайт, а также последующая его перегенерация и замена.
Создание Sitemap.xml с помощью онлайн-сервисов
Есть масса онлайн-сервисов, предлагающих создать sitemap.xml для сайта. Они различаются набором функций и стоимостью (на некоторых бесплатно можно создавать сайтмапы с ограниченным количеством ссылок). Примеры онлайн-генераторов:
Два первых — это генераторы, способные самостоятельно просканировать сайт и добавить найденные страницы в sitemap.xml. Последний инструмент генерирует карту сайта только из готового списка ссылок.
Рассмотрим правила и порядок действий на примере генератора Mysitemapgenerator.com.
На главной странице сразу предлагается ввести URL сайта и начать генерацию.
После ввода адреса переходим на страницу, где можем более точно настроить будущий файл:
выбрать источник данных (можно не сканировать ресурс, а загрузить список страниц из файла);
параметры сканирования (чтобы не создавать чрезмерную нагрузку на сервер);
параметры обработки ссылок (какие страницы включать в файл);
параметры генерации (какие дополнительные свойства страниц добавлять);
дополнительные файлы (выгрузка списка страниц, модификация robots.txt);
исключения (документы или папки, которые не нужно добавлять, — ручная настройка), а также тонкая настройка конкретных страниц.
Когда настройки сделаны, нажимаем кнопку «Старт», ждём и получаем ссылку на скачивание sitemap.xml.
Важно! Имя файла может отличаться от “sitemap”, в таком случае требуется или переименовать, или добавлять в консоли и robots.txt именно это название.
После оформления файла остаётся добавить его на сайт и сообщить поисковым системам о его наличии.
Онлайн-генераторы полезны, если нужно сгенерировать карту, не прибегая к помощи программ или плагинов, они сами просканируют ресурс и выдадут результат.
Как и у программ-генераторов, у онлайн-сервисов есть существенный недостаток — они подключаются к сайту извне, видят только страницы, на которые есть ссылки на самом ресурсе. Как правило, им недоступна служебная дополнительная информация о страницах (дата последнего изменения, приоритет). Следовательно, какие-то страницы могут быть недоступны для добавления, а дополнительные свойства не всегда будут отражать верную информацию. Или придётся для каждой страницы (группы страниц) прописывать свойства вручную, что может занять много времени.
К тому же готовый документ всё равно придётся заливать на сайт через файловый менеджер или FTP-клиент и обновлять вручную, если количество страниц изменится.
Поэтому желательно взять в работу плагины (модули) для системы администрирования сайта, чтобы создавать актуальную и автообновляемую карту XML.
Создание Sitemap.xml с помощью плагина для CMS
Для популярных систем администрирования сайта (CMS) разработаны модули автоматической генерации sitemap.xml. Они либо уже встроены в систему (как в Битрикс: управление сайтом), либо требуют несложной установки (как в Wordpress или Joomla).
В чем плюсы модуля для CMS?
Модуль работает «изнутри», поэтому найдёт даже те страницы, ссылок на которые нет на ресурсе.
Дополнительные свойства страниц и объектов можно настраивать тут же при их редактировании, а модуль сам соберёт их и правильно сформирует файл.
Файл сразу помещается на сайт, вам остаётся лишь сообщить о нём поисковым системам.
Большинство модулей имеют функционал автообновления — изменения информации в карте сайта при изменениях на самом ресурсе.
Конечно, есть и минусы:
некоторые модули способны добавлять «мусорные» или ненужные страницы;
также и со свойствами — плагины иногда добавляют то, что не требуется.
Поэтому перед генерацией следует хорошо проверить, правильны ли настройки.
Плагины для Bitrix для генерации sitemap.xml:
встроенный «Поисковая оптимизация»;
как часть бизнес-решения от компании «Аспро»;
Smart SEO Sitemap.
Плагины для WordPress:
комплексный Yoast SEO;
комплексный All in One SEO;
XML Sitemap & Google News.
Модули для OpenCart:
встроенный Google Sitemap;
#FX Sitemap;
Sitemap для изображений.
Компоненты для Joomla:
Плагины и компоненты сделаны и настроены по-разному, но выполняют одну функцию — создание файла sitemap.xml.
Рассмотрим функционал на примере встроенного плагина для CMS Bitrix. Ищите его в разделе «Маркетинг» — «Поисковая оптимизация» — «Настройка sitemap.xml». Здесь можно добавить несколько вариантов XML-карты на различные случаи.
Настройки:
Вкладка «Настройки», где можно указать название настроек, файла XML, а также есть возможность добавления директивы в robots.txt.
Вкладка «Файлы» — более детальный выбор из логической или файловой структуры, какие файлы можно добавить в sitemap,
Вкладка «Инфоблоки», где можно выбрать определённые информационные блоки для добавления, а также указать возможность автогенерации.
После выбора нужных настроек следует их сохранить или сохранить и сразу запустить генерацию с помощью кнопки «Сохранить и запустить».
Как проверить Sitemap.xml
Проверить готовый файл sitemap.xml можно с помощью сервиса от Яндекс.Вебмастера. Инструмент предоставляет три варианта проверки — путём:
добавления готового кода в текстовую область;
загрузки файла с определённого адреса (если документ уже залит на сайт);
загрузки готового файла с ПК.
Когда выбран удобный способ проверки и она запущена, валидатор выдаст результат с перечнем ошибок или уведомление об их отсутствии.
Как добавить Sitemap.xml в консоли поисковых систем
Когда правильный sitemap.xml добавлен на сайт, нужно сообщить поисковым системам.
Первое, что следует сделать, — добавить директиву в robots.txt. Её можно поместить в любой участок файла, т. к. она не привязана к секциям.
Пример robots.txt с директивой Sitemap:
User-agent: *
Allow: /
Sitemap: https://site.ru/sitemap.xml
Важно! Необходимо указывать полный путь к файлу.
Теперь краулеры найдут карту и страницы, указанные в ней. Но чтобы это произошло быстрее, разумно добавить файлы в консоли поисковых систем.
Яндекс.Вебмастер
Чтобы добавить ресурс в консоль Яндекс.Вебмастер, нужно:
добавить сайт и подтвердить на него права;
перейти в раздел «Индексирование» — «Файлы Sitemap»;
если робот уже нашёл ссылку на карту в robots.txt, информация об этом отобразится;
ввести полный путь к sitemap.xml на сайте и нажать «Добавить».
Таким образом, краулер Яндекса быстрее узнает о карте сайта. В этом же разделе в будущем можно отправлять на переобход существующие, но обновлённые карты сайта.
Google Search Console
Чтобы сообщить роботу Google о файле sitemap.xml, нужно:
добавить сайт и подтвердить на него права;
перейти в раздел «Файлы Sitemap»;
если краулеру уже известны какие-либо версии файла, информация о них будет выведена;
ввести путь (без доменного имени, оно уже будет указано) и нажать «Отправить».
После этого файл добавится в базу, и вы сможете отслеживать его статус и количество выявленных страниц и видео.
Вся соль
Файл sitemap.xml важен для индексирования сайта, поскольку содержит всю необходимую информацию для роботов-краулеров: количество страниц, частота обновления, приоритет и дата последнего изменения. Также можно создать карты сайта для изображений и видео, чтобы улучшить ранжирование.
Сформировать файл помогают специальные программы, онлайн-генераторы и плагины для систем управления сайтом. После этого потребуется добавить документ на ресурс и сообщить об этом поисковым системам посредством robots.txt и консолей.
Если возникают сомнения в корректности настроек индексирования, вы всегда можете обратиться за консультацией к специалистам.