Как найти url файла sitemap

Из этой статьи вы узнаете, как создать файл Sitemap и предоставить доступ к нему роботам Google. Если вы только начинаете работать с файлами Sitemap, ознакомьтесь с общей информацией.

В Google поддерживаются форматы Sitemap, определенные протоколом Sitemap.
Каждый формат Sitemap имеет свои преимущества и недостатки. Выберите тот из них, который лучше всего подходит для вашего сайта и его настроек (для Google нет никакой разницы). Различные форматы Sitemap сравниваются в следующей таблице.

Рекомендации в отношении файлов Sitemap

Рекомендации в отношении файлов Sitemap определяются протоколом Sitemap.
Рекомендации, которые чаще всего упускают из виду, связаны с ограничениями по размеру файлов Sitemap, их расположением и URL, которые в них входят.

Ограничения по размеру файлов Sitemap.
Для всех форматов действуют следующие ограничения: файл Sitemap может содержать не более 50 000 URL, а его размер в несжатом виде не должен превышать 50 МБ. Если объем файла или количество URL превышают эти лимиты, разбейте его на несколько частей. Вы можете по желанию создать и отправить в Google файл индекса Sitemap. При необходимости можно отправить несколько файлов и индексов Sitemap. Они могут понадобиться, если вам нужно отследить поисковую эффективность каждого файла Sitemap в Search Console.

Расположение и кодировка файлов Sitemap.
Файлы Sitemap должны быть в кодировке UTF-8. Файл Sitemap можно разместить в любой части сайта, но если сделать это не через Search Console, то он влияет только на каталоги уровнем ниже родительского. Поэтому, чтобы файл Sitemap действовал на весь сайт, мы рекомендуем располагать его на корневом уровне.

Свойства указываемых URL.
В файлах Sitemap следует использовать полные абсолютные URL. Google будет сканировать в точности те URL, которые вы перечислите. Например, если адрес сайта – https://www.example.com/, вместо URL вида /mypage.html (относительный URL) следует указывать полный абсолютный URL: https://www.example.com/mypage.html.

Добавляйте в Sitemap те URL, которые хотите видеть в результатах поиска Google. В общем случае Google показывает в результатах поиска канонические URL, на которые можно влиять с помощью файлов Sitemap. Если у мобильной и обычной версии страницы разные URL, советуем указывать только одну из них.
Если все же требуется включить в файл оба URL, добавьте для них аннотации, чтобы обозначить эти версии.

Полный список рекомендаций можно найти на странице протокола Sitemap.

Файл Sitemap в формате XML

XML-файл Sitemap – самый универсальный. Используя поддерживаемые Google расширения файлов Sitemap, вы можете указать дополнительные сведения об изображениях, видео и новостном контенте, а также о локализованных версиях страниц.

Вот пример простого XML-файла Sitemap с одним URL:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://www.example.com/foo.html</loc>
    <lastmod>2022-06-04</lastmod>
  </url>
</urlset>

Подробную документацию и более сложные примеры вы можете найти на сайте sitemaps.org.

Примечания об XML-файлах Sitemap

• Как и в любых других XML-файлах, все значения тегов необходимо экранировать.
• Значения в тегах <priority> и <changefreq> игнорируются.
• В Google используется значение в теге <lastmod>, если оно всегда является гарантированно точным (например, если его точность проверяется путем сравнения с последней измененной версией страницы).

Если у вас есть блог с фидом RSS или Atom, можно отправить URL этого фида в качестве источника файла Sitemap.
Большинство сервисов для ведения блогов позволяют создать фид, но нужно учитывать, что такие фиды предоставляют информацию только о последних URL.

Примечания о файлах RSS, mRSS и Atom 1.0

• Google поддерживает фиды RSS 2.0 и Atom 1.0.
• Отправить в Google сведения о видеоконтенте можно также с помощью фида mRSS (media RSS).
• Как и в любых других XML-файлах, все значения тегов необходимо экранировать.

Текстовый формат Sitemap

Если в файле Sitemap есть только адреса страниц, вы можете отправить Google обычный текстовый файл с этими URL (по одному в каждой строке). Пример:

https://www.example.com/file1.html
https://www.example.com/file2.html

Примечания о текстовых файлах Sitemap

• В файл Sitemap можно добавлять только URL.
• Этому текстовому файлу можно дать любое имя, но необходимо использовать расширение .txt (например, sitemap.txt).

Как создать файл Sitemap

Создавая файл Sitemap, вы сообщаете поисковым системам, какие из ваших URL следует выбирать для показа в результатах поиска. Такие URL называются каноническими. Если вы разместили одинаковый контент по нескольким URL, выберите основной вариант страницы и включите в файл Sitemap только его.

Выбрав URL, которые следует добавить в файл Sitemap, создайте его одним из перечисленных ниже способов. Оптимальный вариант будет зависеть от архитектуры и размеров сайта.

• Файл Sitemap можно сгенерировать с помощью системы управления контентом.
• Если в файле несколько десятков URL или меньше, попробуйте создать его вручную.
• Если ожидается, что файл Sitemap будет очень велик, создавайте его автоматически.

Как создать файл Sitemap с помощью системы управления контентом

Если вы работаете с системой управления контентом, такой как WordPress, Wix или Blogger, то возможно, что она уже сгенерировала файл Sitemap, доступный поисковым системам. Попробуйте найти сведения о том, как ваша система управления контентом создает файлы Sitemap, или о том, как подготовить такой файл, если она не сделала этого автоматически. Например, если вы работаете с Wix, введите в поисковой системе запрос «wix sitemap», а в случае с Blogger – «Blogger RSS».

Как создать файл Sitemap вручную

Если вы планируете добавить в файл Sitemap несколько десятков URL или меньше, его можно создать вручную.
Для этого откройте текстовый редактор, такой как Блокнот (Windows) или nano (Linux, macOS), и начните вносить данные в новый файл. При этом нужно использовать синтаксис, который описан в разделе Форматы файлов Sitemap выше. Название файла может быть любым, но оно должно состоять только из символов, которые разрешены в URL.

Вручную можно создавать и крупные файлы Sitemap, но это очень трудоемкий процесс, который сложно поддерживать на протяжении долгого времени.

Как создать файл Sitemap автоматически с помощью инструментов

Если вам нужно включить в файл Sitemap множество URL, то удобнее будет создавать его автоматически. Сгенерировать файл Sitemap можно с помощью различных инструментов,
но лучше всего воспользоваться для этого средствами вашего сайта. Например, вы можете извлечь URL, относящиеся к сайту, из его базы данных и экспортировать эти адреса на экран или в файл на вашем веб-сервере. При необходимости обратитесь к разработчикам или менеджеру сервера. Ознакомьтесь с нашей типовой подборкой сторонних генераторов файлов Sitemap: вы можете создать на их основе аналогичный инструмент.

Порядок следования URL в файле Sitemap не имеет значения для Google. Не забывайте про требования к размерам файлов Sitemap. Если файл становится слишком большим, его необходимо разбить на более мелкие. Подробнее об управлении крупными файлами Sitemap…

Как сделать файл Sitemap доступным для Google

Помните о том, что файл Sitemap служит лишь подсказкой для поисковых систем. Его наличие не гарантирует, что система Google скачает этот файл или использует его для сканирования страниц на сайте. Предоставить Google доступ к файлу Sitemap можно несколькими способами.

• Отправьте файл Sitemap в Search Console с помощью отчета о файлах Sitemap.
  Благодаря этому вы увидите, когда робот Googlebot получит доступ к файлу Sitemap, а также узнаете о возможных ошибках обработки.
• Используйте Search Console API, чтобы отправить файл Sitemap алгоритмическим методом.
• Выполните запрос ping. В браузере или командной строке отправьте запрос GET на приведенный ниже адрес, указав полный URL файла Sitemap и убедившись, что этот файл доступен роботу Googlebot:

  https://www.google.com/ping?sitemap=FULL_URL_OF_SITEMAP

  Пример:

  https://www.google.com/ping?sitemap=https://example.com/sitemap.xml

• Вставьте в любом месте файла robots.txt строку с путем к файлу Sitemap (она будет обнаружена при следующем сканировании файла robots.txt). Пример:

  Sitemap: https://example.com/my_sitemap.xml

• Если вы используете Atom или RSS и хотите уведомить о внесенных вами изменениях не только Google, но и другие поисковые системы, сделайте это с помощью протокола WebSub.

Как передавать файлы Sitemap на несколько сайтов

Если у вас несколько сайтов, вы можете упростить процедуру создания и отправки файлов Sitemap. Для этого создайте один или несколько файлов со всеми URL и сохраните их в одной папке. Можно выбрать один из перечисленных ниже вариантов:

• Один файл Sitemap, содержащий URL нескольких сайтов (даже из разных доменов). Например, файл Sitemap, размещенный по адресу https://host1.example.com/sitemap.xml, может содержать следующие URL:
  • https://host1.example.com
  • https://host2.example.com
  • https://host3.example.com
  • https://host1.example1.com
  • https://host1.example.ch
• Отдельные файлы Sitemap (по одному для каждого сайта) в одном каталоге:
  • https://host1.example.com/host1-example-sitemap.xml
  • https://host1.example.com/host2-example-sitemap.xml
  • https://host1.example.com/host3-example-sitemap.xml
  • https://host1.example.com/host1-example1-sitemap.xml
  • https://host1.example.com/host1-example-ch-sitemap.xml

Чтобы передать файлы Sitemap, расположенные в одном каталоге, используйте Search Console или файл robots.txt.

Как отправить файл Sitemap на другой сайт с помощью Search Console

1. Убедитесь в том, что вы подтвердили права собственности на все выбранные сайты, которые вы добавили в файл Sitemap.
2. Создайте один или несколько файлов Sitemap и включите URL всех сайтов, которые вы хотите охватить. Вы можете добавить файлы Sitemap в файл индекса Sitemap и продолжить работу с этим файлом.
3. Отправьте файлы Sitemap или файлы индекса Sitemap с помощью Google Search Console.

Как отправить файл Sitemap на другой сайт с помощью файла robots.txt

1. Создайте один или несколько файлов Sitemap для каждого сайта. Убедитесь, что в каждом отдельном файле Sitemap содержатся URL конкретного сайта.
2. Загрузите все файлы Sitemap на один сайт, который вам принадлежит, например https://sitemaps.example.com.
3. Убедитесь, что каждому файлу Sitemap для отдельного сайта соответствует файл robots.txt. Предположим, вы создали файл Sitemap для сайта https://example.com/ и разместили его по адресу https://sitemaps.example.com/sitemap-example-com.xml. Тогда в файле robots.txt, размещенном по адресу https://example.com/robots.txt, вы должны сделать запись .

   # robots.txt file of https://example.com/
   sitemap: https://sitemaps.example.com/sitemap-example-com.xml

Устранение неполадок, возникающих при обработке файлов Sitemap

Вы можете устранить неполадки при обработке файлов Sitemap с помощью Google Search Console. Рекомендуем ознакомиться с руководством по устранению неполадок при обработке файлов Sitemap.

Sitemap или Карта сайта – специально созданный файл с перечнем страниц ресурса, которые необходимо проиндексировать.

Зачем нужен файл Sitemap

Существует два вида Карты сайта, которые различаются форматами и назначением:

HTML-карта

Её составляют для пользователей, чтобы упростить им навигацию по страницам сайта. Это необязательный элемент, такую карту можно составить на большом сайте со сложной иерархией для удобства пользователей.

XML-карта

Нужна для поисковых ботов, она важна для SEO, так как помогает ботам индексировать страницы ресурса. Наличие этого файла подсказывает поисковым роботам, как именно организована структура сайта. Соответственно, Яндекс, Google, Bing и другие поисковики получают возможность более качественно индексировать проект.

В этом материале разберем создание XML-карты.

Для чего нужна Карта сайта:

1. Ускорить процесс полной индексации.
   Поисковые роботы Google могут пропустить недавно созданные или измененные страницы, а Карта поможет в них ориентироваться.
2. Ускорить переклейку.
   Сам Google при редиректе страниц советует сгенерировать XML-карту сайта со старыми URL и отправить ее в консоль Google. Например, так стоит сделать при переезде на https. Это поможет быстро переклеить URL на новые.
3. Повысить вероятность признания страницы канонической.
   Наличие адреса страницы в XML-карте увеличивает шанс, что среди дублей бот признает именно эту страницу каноничной, то есть первоисточником.
4. Дать дополнительную информацию.
   В Карте указывают дополнительные рекомендации для робота: делают пометки о важности страницы, частоте и дате обновления.
5. Отобразить количество проиндексированных URL
   Сигналы из Sitemap нужны в том числе для отображения проиндексированных ссылок в Search Console.
6. Ускорить процесс пакетной деиндексации.
   Для этого создают временный файл Sitemap, в который включают страницы для удаления. Об этом рассказал Джон Мюллер, он рекомендует обязательно указать дату последнего изменения страниц, когда им был присвоен код ошибки 404 или атрибут noindex. Так Google будет знать, что необходимо заново просканировать содержимое сайта. Через несколько месяцев эту временную карту сайта можно будет убрать.

При этом даже если Google найдет ссылку в Sitemap, но ее не будет в навигации, он не придаст ей веса и не проиндексирует. Ссылки в Карте сайта — это рекомендации, важнее всего составить грамотную структуру сайта, в которой поисковый робот найдет все нужные страницы.

В большинстве случаев грамотной внешней и внутренней перелинковки страниц достаточно, чтобы поисковые роботы узнали о всем содержимом сайта. Лендингам, небольшим корпоративным сайтам из пары страниц, одностраничным визиткам Карта сайта и не нужна — бот разберется в страницах без труда. Карты нужны для сайтов, которые сложно краулить, поэтому для остальных проектов ее рекомендуют создать.

Как проверить, в индексе ли страница сайта

Карта обязательно нужна сайтам с такими признаками:

• Проект создан недавно, у него мало внешних ссылок. В этом случае поисковому боту сложнее найти сайт.
• В структуре сайта много архивов веб-документов, не связанных между собой.
• У проекта большое количество страниц, разделов и подразделов;
• В структуре преобладают динамические страницы.
• На сайте есть мультимедийный контент. Бот сможет получить дополнительную информацию из Sitemap для показа в результатах поиска.

Поисковые системы могут не проиндексировать все нужные страницы таких сайтов, если не предложить краулерам файл Sitemap. Разберем, как его создать.

Базовые критерии создания файла Sitemap

У поисковиков есть свои требования к составлению Карты сайта, о которых нужно помнить веб-мастеру.

Общие требования к Sitemap:

1. Количество URL-адресов в файле Sitemap не должно превышать 50 тысяч. Если их больше, необходимо создать несколько отдельных Карт сайта, которые прописывают в файле индекса Sitemap. По словам официального представителя Google, для этого достаточно создать несколько отдельных файлов Sitemap, не больше 50 тысяч ссылок каждая, а в сумме ссылок может быть больше лимита. После этого для нескольких Карт создают общий материнский файл Sitemap.
2. Максимальный размер файла – 50 Мб. Файл можно уменьшить при помощи сжатия gzip, но в несжатом виде он все равно должен быть меньше 50 Мб.
3. Файл Sitemap должен находиться на том же домене, что и веб-сайт, для которого он создан.
4. Можно использовать кодировку UTF-8, а также латинские буквы и цифры.
5. Ответом сервера на обращение к файлу Sitemap должен быть HTTP-статус с кодом 200 OK.
6. URL идентификаторы сессий не должны быть в Карте сайта.
7. Ссылки должны иметь одинаковый синтаксис.
8. В Карте указаны только канонические URL.
9. Карта не конфликтует с информацией в robots.txt — если в robots.txt какие-то страницы закрыты от индексации, то их не должно быть в Карте.

Подробнее о требованиях есть в Справке Google и на странице Помощи Яндекса.

Некоторые веб-мастеры беспокоятся о порядке ссылок в файле, но представитель Google Джон Мюллер сказал, что очередность не имеет значения вообще, главное — поместить в Sitemap самые важные канонические ссылки.

Допустимые форматы Карты сайта

Особое требование предъявляется к формату файла Sitemap. Карту сайта можно создать в виде XML-файла, текстового файла или посредством RSS, mRSS и Atom 1.0. Яндекс указывает, что поиск не поддерживает передачу RSS и Atom-фидов с помощью Sitemap. Если ориентируетесь на разные поисковые системы, используйте формат XML. Правила создания файла описаны в стандарте.

Служебные теги Sitemap

Обязательные теги Карты сайта:

• — контейнер с указанием стандарта протокола;
• — родительский тег для каждой записи URL-адреса;
• — указание URL, начинается с префикса, к примеру, http или https.

Дополнительные теги:

• — частота обновления веб-документа с атрибутами never, always, yearly, monthly и так далее;
• — дата последнего обновления на странице;
• — указание разной важности страниц ресурса от 0,1 до 1, определяет очередность обработки URL на этом сайте. Google его не поддерживает. Приоритет можно дать самым важным страницам и нет смысла указывать высокий приоритет всем ссылкам, тогда тег вообще ни на что не повлияет.

Другие языковые версии сайта указывают с помощью атрибута hreflang.

Пример Карты сайта в формате XML

Sitemap для PR-CY.ru, если бы он состоял из одной страницы и содержал упомянутые теги, мог бы выглядеть так:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.pr-cy.ru/</loc>
<lastmod>2016-03-21</lastmod>
<changefreq>daily</changefreq>
<priority>0.8</priority>
</url>
</urlset>

Как создать и где разместить файл Sitemap?

При желании составить Карту сайта можно вручную, но это слишком трудозатратно и бессмысленно — Карта сайта должна быть динамической, если вы регулярно обновляете сайт — публикуете новые записи в блоге, развиваете интернет-магазин. Лучше создавать файл Sitemap автоматически, обратившись к услугам бесплатных онлайн-сервисов и плагинов для CMS.

Сервисы для создания Sitemap

• XML-Sitemaps
  Сделает Карту для небольших сайтов до 500 страниц бесплатно и без регистрации, для обновляемого файла с большим количеством страниц нужно подключить PRO-аккаунт, которые дает много дополнительных преимуществ с анализом ссылок. Есть PHP-скрипт для установки на своем сервере.
• Генератор СайтРепорт
  Бесплатное онлайн-создание файла карты до 5000 страниц.



• MySitemapGenerator
  Бесплатно составит карту до 500 страниц, 2,5 доллара стоит генерация файла до миллиона страниц и создание карты с неограниченным количеством ссылок и автоматическим обновлением по расписанию стоит 4 доллара в месяц.
• Xml Sitemap Generator
  Бесплатно генерирует HTML, RSS и Google XML-карты сайта. Есть онлайн-режим, плагин для WordPress и возможность скачать программу для Windows.

CMS-плагины для создания Sitemap

WordPress: Xml Sitemap Generator, SEO Plugin Rank Math, YOAST SEO, All in One SEO Pack.

Joomla: демо и платная версия OSMap, демо и платная jSitemap, бесплатная JL Sitemap.

1С-Битрикс: в админпанели в разделе «Маркетинг» есть «Настройка sitemap.xml».

После того, как Карта сайта готова, файл необходимо определить в корневую директорию. В этом случае ссылка, указывающая поисковым системам путь к файлу Sitemap, может выглядеть так: http://www.pr-cy.ru/sitemap.xml

Добавление Карты сайта в поисковые системы

Чтобы о новом файле Sitemap быстрее узнали поисковые роботы, веб-мастеру необходимо внести изменения в файл robots.txt, прописав в нем особую директиву, указывающую точный маршрут к Карте сайта:

 Sitemap: http://www.pr-cy.ru/sitemap.xml

Готовый файл Sitemap нужно проверить на ошибки и добавить в Яндекс или Google при помощи Яндекс.Вебмастера или Google Search Console.

Как удалить старую Карту сайта

При реорганизации контента и создании новых Sitemap нужно удалить старую Карту сайта. ​В панели Вебмастера Google нет такой функции, но сотрудник Google Джон Мюллер советует присвоить ссылке на файл ошибку 404. Если ссылка на Sitemap XML отдает код ошибки 404, то со временем поисковик автоматически перестанет учитывать этот файл.

Наличие у сайта правильно составленной Карты — не гарантия того, что поисковик проиндексирует все страницы. Sitemap — подсказка для поисковых ботов о том, как лучше сканировать ресурс. Тем не менее, если вы управляете не лендингом и не сайтом из нескольких страниц, составьте файл для своего проекта.