Как найти файл sitemap xml

There is no standard, so there is no guarantee. With that said, its common for the sitemap to be self labeled and on the root, like this:

example.com/sitemap.xml

Case is sensitive on some servers, so keep that in mind. If its not there, look in the robots file on the root:

example.com/robots.txt

If you don’t see it listed in the robots file head to Google and search this:

site:example.com filetype:xml

This will limit the results to XML files on your target domain. At this point its trial-and-error and based on the specifics of the website you are working with. If you get several pages of results from the Google search phrase above then try to limit the results further:

filetype:xml site:example.com inurl:sitemap

or

filetype:xml site:example.com inurl:products

If you still can’t find it you can right-click > "View Source" and do a search (aka: «control find» or Ctrl + F) for .xml to see if there is a reference to it in the code.

В прошлый раз я рассказывал про файл robots.txt, а в этой статье я поведаю о его хорошем друге, файле sitemap.xml. Файл sitemap называют картой сайта – она помогает ориентироваться поисковым роботам среди папок и документов вашего ресурса.

А как выглядит sitemap.xml, мы сейчас подробно разберем.

Предназначение sitemap.xml

Файл Sitemap расположен в корне сайта и содержит данные о его страницах. В карте сайта должны быть ссылки на все страницы сайта. Поисковые роботы Яндекса и Гугла заходят на ваш сайт и гуляют по нему до тех пор, пока не кончится рабочий день. Рабочий день у робота — это краулинговый бюджет. То есть объем страниц и файлов, которые робот может изучить за определенный период времени. Чтобы не задерживать робота и в то же время улучшить индексацию, помогает карта сайта.

Существует еще и HTML-карта сайта, но она нужна пользователям ресурса, а не роботам. Поскольку данный формат устарел, говорить о нем мы не будем. Просто знайте, что есть еще и HTML-карта, но ее путайте ее с файлом sitemap.xml.

В каких случаях нужна карта сайта

Несложно догадаться, что одностраничным сайтам sitemap.xml не нужен. А вот кому он точно пригодится, так это:

• сайтам без хлебных крошек (навигационных цепочек),
• сайтам с большим количеством страниц,
• сайтам, на которых есть страницы с глубокой вложенностью, например, «Главная/Каталог/Видео» или «Фото/Видеокамеры/Экшн-камеры/GoPro/GoPro 7».

Если у робота перед глазами будет карта, он без проблем доберется до GoPro 7, а также до других мелких аксессуаров. 

Требования к файлу

Яндекс рекомендует создавать карту сайта в XML-формате. Также поддерживается и формат TXT. В txt-формате карта сайта сообщает только адреса. Она выглядит следующим образом:

https://www.example.com/page1.html

https://www.example.com/page2.html

Но я прислушаюсь к рекомендациям Яндекса и создам файл в формате XML.

В формате XML вы можете указать роботу:

• адрес страницы,
• дату последнего обновления,
• частоту изменения страницы,
• приоритет страницы.

Пример файла в формате XML:

<?xml version="1.0" encoding="UTF-8"?>

    <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> 

        <url>

            <loc>http://www.example.com/page1.html</loc>

            <lastmod>2005-01-01</lastmod>

            <changefreq>monthly</changefreq>

            <priority>0.8</priority>

        </url>

        ...

    </urlset>

Кодировка файла должна быть UTF-8. Файл не должен превышать 50 мегабайт и содержать более 50000 страниц. Файлов может быть несколько.

Как sitemap.xml влияет на SEO

Я уже говорил, в каких случаях необходима карта сайта. Но что если у вас небольшой сайт, страниц на 20, с хлебными крошками и неглубокой вложенностью? Если вы не создадите файл, то после добавления сайта в Google Search Console и Яндекс.Вебмастер вы увидите ошибку, что данного файла не хватает. Из-за этой ошибки поисковики могут пессимизировать ваш сайт. Как мы знаем, чем меньше ошибок на сайте, тем он успешнее в продвижении. Не стоит дразнить поисковики.

Создаем карту сайта быстро и бесплатно

В создании карты сайта нет никаких сложностей. Вбиваем в поисковой строке «сгенерировать сайтмап» и переходим в любой онлайн-генератор. Например, MySiteMapGenerator.

Вбиваем адрес сайта и переходим к созданию файла. Вводим капчу и ожидаем. До 500 страниц – создание бесплатно.

Затем скачиваем файл, переименовываем его в sitemap.xml и закидываем в корень сайта. Осталось только сообщить поисковикам, что на вашем сайте появилась карта.

Сообщаем поисковикам, что на сайте есть sitemap.xml

В Яндекс.Вебмастере переходим в «Индексирование – Файлы Sitemap» и добавляем ссылку. Если вы добавили сайтмап в корень сайта, то ваша ссылка будет похожа на мою:

То же самое делаем в Google Search Console.

Хочу добавить, что существуют плагины для CMS, которые позволяют один раз создать данный файл и навсегда о нем забыть. Установив такие плагины, вам не придется время от времени обновлять карту сайта, потому что это будет происходить автоматически. 

Файл sitemap.xml – важная часть оптимизации сайта. Главное, не путать поисковых роботов, закрывая страницу в robots.txt и в то же время прося ее проиндексировать в sitemap.xml. Следите за актуальностью своей карты, и тогда ваш сайт будет ждать успех в продвижении.

Для качественного продвижения сайта необходимо, чтобы поисковые системы вовремя узнавали об изменениях в контенте и появлении новых страниц. Если ресурс небольшой (10–20 страниц), можно сообщать об новшествах вручную через консоли поисковых систем. Если чуть больше, это уже сложнее, но реализуемо — с помощью перелинковки и html-карты. А если страниц несколько сотен или тысяч? Тут придёт на помощь файл sitemap.xml.

Зачем нужен sitemap.xml

Файл sitemap в формате xml содержит ссылки на страницы сайта, а также дополнительную информацию для поискового робота.

Не стоит путать карту сайта в формате HTML и sitemap.xml. Первая создаётся в большинстве случаев для людей, вторая — для роботов.

В структуре файла применяется формат разметки XML, который, как и HTML, использует теги. Тег <url> является контейнером, в него помещена вся информация, касающаяся конкретной страницы. Обязателен и тег <loc>, содержащий адрес страницы.

В качестве дополнительной информации могут выступать:

тег <lastmod> — дата последнего изменения страницы;

---

тег <changefreq> — частота обновления страницы (периодичность изменений содержимого);

---

тег <priority> — приоритет страницы (насколько она важнее остальных).

Посредством sitemap.xml можно сообщить роботу ПС об изображениях и видеофайлах, расположенных на ресурсе, что улучшит ранжирование в поиске картинок и видео.

Чем подробнее составлен файл, тем больше информации получит из него робот-краулер, быстрее проиндексирует элементы и добавит в поиск. А значит, потенциальные клиенты увидят самые актуальные сведения.

Как найти sitemap.xml

Как правило, файл располагают в корне сайта, поэтому самый первый и простой способ проверить, есть ли он вообще — набрать в адресной строке:

https://site.ru/sitemap.xml

В этой фразе site.ru нужно заменить вашим доменом.

Если по набранному адресу открылся файл в формате xml или список таких файлов, значит, вы на верном пути!

Но не всегда файл называется именно sitemap.xml, в принципе, он может носить любое название, главное, чтобы он был верно размечен. Но тогда поиск его затрудняется.

Чтобы найти сайтмап, можно заглянуть в файл Robots.txt, там адрес карты может быть уже прописан.

Также, если у вас установлена CMS для сайта и используется инструмент генерации карты, можно посмотреть в его настройках — как правило, там указывается путь или имя сгенерированного файла.

Если вы уже успели подключить консоли поисковых систем (как минимум несколько дней должно пройти с момента подтверждения прав, чтобы информация обновилась), то можно посмотреть адрес карты сайта там, если, конечно, она есть на ресурсе и краулер её нашёл.

И ещё вариант — поискать в файлах сайта. Для этого понадобится зайти в файловый менеджер вашего хостинга и перейти в папку нужного ресурса, посмотреть, есть ли там документы, напоминающие искомый. Не забывайте, что конфигурация сайта может быть довольно сложной, поэтому там могут быть файлы формата xml, не являющиеся картой.

Примеры файла sitemap.xml

Пример правильного файла sitemap.xml для трёх страниц:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://site.ru/</loc>
<lastmod>2023-02-22T10:14:13+04:00</lastmod>
<changefreq>always</changefreq>
<priority>1.0</priority>
</url>
<url>
<loc>https://site.ru/category/</loc>
<lastmod>2023-02-22T10:17:09+04:00</lastmod>
<changefreq>hourly</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>https://site.ru/page/</loc>
<lastmod>2023-02-22T10:19:37+04:00</lastmod>
<changefreq>daily</changefreq>
<priority>0.6</priority>
</url>
</urlset>

Пример файла sitemap.xml для трёх изображений, размещённых на двух страницах:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"      xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">
<url>
<loc>https://site.ru/page/</loc>
<image:image>
<image:loc>https://site.ru/image1.jpg</image:loc>
</image:image>
<image:image>
<image:loc>https://site.ru/image2.png</image:loc>
</image:image>
</url>
<url>
<loc>https://site.ru/page2/</loc>
<image:image>
<image:loc>https://site.ru/image3.jpg</image:loc>
</image:image>
</url>
</urlset>

Здесь не только указана страница, на которой расположено изображение, но и его прямой адрес с помощью тега <image:loc> в контейнере <image:image>.

Пример файла sitemap.xml для одной страницы с видео:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"   xmlns:video="http://www.google.com/schemas/sitemap-video/1.1">
<url>
<loc>https://site.ru/page/</loc>
<video:video>       <video:thumbnail_loc>https://site.ru/thumbs/123.jpg</video:thumbnail_loc>
<video:title>How much is the fish?</video:title>
<video:description>Music video for the song by German group Scooter</video:description>
<video:content_loc>
http://site.ru/video123.mp4</video:content_loc>
<video:player_loc>https://site.ru/videoplayer.php?video=123</video:player_loc>
</video:video>
</url>
</urlset>

Здесь в контейнере <video:video> размещены обязательные теги:

video:thumbnail_loc — адрес файла-обложки для видео;

---

video:title — название видео;

---

video:description — описание видео;

---

video:content_loc — адрес расположения видеофайла;

---

video:player_loc — адрес проигрывателя для этого видео;

Google рекомендует указывать один из тегов: либо video:content_loc, либо video:player_loc. Причём первый наиболее желателен.

Кроме вышеперечисленных тегов есть ещё несколько необязательных, с которыми можно ознакомиться в Справке Google.

Не спешите пугаться нагромождения тегов! Файл типа sitemap в формате xml не придётся составлять вручную — есть сервисы и плагины. Рассмотрим их ниже.

Как сделать Sitemap.xml

Файл можно создать тремя способами — при помощи:

программы для ПК;

---

онлайн-сервиса;

---

плагина для CMS сайта.

Создание Sitemap.xml с помощью программ

Файл sitemap.xml можно сделать посредством специальных программ, установленных на ПК, например:

Рассмотрим пример использования Sitemap Generator. Это одна из старейших программ такого рода, однако до сих пор популярная, потому что бесплатна и не ограничена по количеству ссылок на сайте.

После установки программы нужно создать новый проект, добавив доменное имя.

В настройках проекта (Project Option) указываем количество потоков сканирования и паузу между обращениями к сайту, исключения и обязательные к добавлению страницы, а также место, с которого следует начинать сканирование (по умолчанию — с главной страницы).

Когда настройка выполнена, нажимаем Run и ожидаем результата. Это займёт продолжительное время, если на ресурсе много страниц.

По окончании сканирования на вкладках отразятся отчёты:

Total page found — сколько найдено страниц.

---

Excludes URLs — исключённые страницы и по каким причинам.

---

Issues & Notes — проблемы и примечания, которые возникли в ходе сканирования (отсутствие или дубль канонического URL, например).

---

Final Sitemap — список страниц, который содержит карта сайта.

Тут же, на вкладке Final Sitemap, можно скачать карту сайта в формате XML, HTML или TXT. Форматы XML и TXT нужны для роботов, а при HTML карту можно использовать для посетителей сайта (если в ней не очень много страниц — вряд ли человек захочет искать нужную позицию в списке из 1000 пунктов).

При всей простоте у программы есть недостаток — она создаёт только карту сайта, не используя дополнительные свойства, которые крайне желательны для поисковиков.

И второй минус, но уже всех программ-генераторов, — это ручное добавление готового файла на сайт, а также последующая его перегенерация и замена.

Создание Sitemap.xml с помощью онлайн-сервисов

Есть масса онлайн-сервисов, предлагающих создать sitemap.xml для сайта. Они различаются набором функций и стоимостью (на некоторых бесплатно можно создавать сайтмапы с ограниченным количеством ссылок). Примеры онлайн-генераторов:

Два первых — это генераторы, способные самостоятельно просканировать сайт и добавить найденные страницы в sitemap.xml. Последний инструмент генерирует карту сайта только из готового списка ссылок.

Рассмотрим правила и порядок действий на примере генератора Mysitemapgenerator.com.

На главной странице сразу предлагается ввести URL сайта и начать генерацию.

После ввода адреса переходим на страницу, где можем более точно настроить будущий файл:

выбрать источник данных (можно не сканировать ресурс, а загрузить список страниц из файла);

параметры сканирования (чтобы не создавать чрезмерную нагрузку на сервер);

параметры обработки ссылок (какие страницы включать в файл);

параметры генерации (какие дополнительные свойства страниц добавлять);

дополнительные файлы (выгрузка списка страниц, модификация robots.txt);

исключения (документы или папки, которые не нужно добавлять, — ручная настройка), а также тонкая настройка конкретных страниц.

Когда настройки сделаны, нажимаем кнопку «Старт», ждём и получаем ссылку на скачивание sitemap.xml.

Важно! Имя файла может отличаться от “sitemap”, в таком случае требуется или переименовать, или добавлять в консоли и robots.txt именно это название.

После оформления файла остаётся добавить его на сайт и сообщить поисковым системам о его наличии.

Онлайн-генераторы полезны, если нужно сгенерировать карту, не прибегая к помощи программ или плагинов, они сами просканируют ресурс и выдадут результат.

Как и у программ-генераторов, у онлайн-сервисов есть существенный недостаток — они подключаются к сайту извне, видят только страницы, на которые есть ссылки на самом ресурсе. Как правило, им недоступна служебная дополнительная информация о страницах (дата последнего изменения, приоритет). Следовательно, какие-то страницы могут быть недоступны для добавления, а дополнительные свойства не всегда будут отражать верную информацию. Или придётся для каждой страницы (группы страниц) прописывать свойства вручную, что может занять много времени.

К тому же готовый документ всё равно придётся заливать на сайт через файловый менеджер или FTP-клиент и обновлять вручную, если количество страниц изменится.

Поэтому желательно взять в работу плагины (модули) для системы администрирования сайта, чтобы создавать актуальную и автообновляемую карту XML.

Создание Sitemap.xml с помощью плагина для CMS

Для популярных систем администрирования сайта (CMS) разработаны модули автоматической генерации sitemap.xml. Они либо уже встроены в систему (как в Битрикс: управление сайтом), либо требуют несложной установки (как в Wordpress или Joomla).

В чем плюсы модуля для CMS?

Модуль работает «изнутри», поэтому найдёт даже те страницы, ссылок на которые нет на ресурсе.

---

Дополнительные свойства страниц и объектов можно настраивать тут же при их редактировании, а модуль сам соберёт их и правильно сформирует файл.

---

Файл сразу помещается на сайт, вам остаётся лишь сообщить о нём поисковым системам.

---

Большинство модулей имеют функционал автообновления — изменения информации в карте сайта при изменениях на самом ресурсе.

Конечно, есть и минусы:

некоторые модули способны добавлять «мусорные» или ненужные страницы;

---

также и со свойствами — плагины иногда добавляют то, что не требуется.

Поэтому перед генерацией следует хорошо проверить, правильны ли настройки.

Плагины для Bitrix для генерации sitemap.xml:

встроенный «Поисковая оптимизация»;

---

как часть бизнес-решения от компании «Аспро»;

---

Smart SEO Sitemap.

Плагины для WordPress:

комплексный Yoast SEO;

---

комплексный All in One SEO;

---

XML Sitemap & Google News.

Модули для OpenCart:

встроенный Google Sitemap;

---

#FX Sitemap;

---

Sitemap для изображений.

Компоненты для Joomla:

Плагины и компоненты сделаны и настроены по-разному, но выполняют одну функцию — создание файла sitemap.xml.

Рассмотрим функционал на примере встроенного плагина для CMS Bitrix. Ищите его в разделе «Маркетинг» — «Поисковая оптимизация» — «Настройка sitemap.xml». Здесь можно добавить несколько вариантов XML-карты на различные случаи.

Настройки:

Вкладка «Настройки», где можно указать название настроек, файла XML, а также есть возможность добавления директивы в robots.txt.

Вкладка «Файлы» — более детальный выбор из логической или файловой структуры, какие файлы можно добавить в sitemap,

Вкладка «Инфоблоки», где можно выбрать определённые информационные блоки для добавления, а также указать возможность автогенерации.

После выбора нужных настроек следует их сохранить или сохранить и сразу запустить генерацию с помощью кнопки «Сохранить и запустить».

Как проверить Sitemap.xml

Проверить готовый файл sitemap.xml можно с помощью сервиса от Яндекс.Вебмастера. Инструмент предоставляет три варианта проверки — путём:

добавления готового кода в текстовую область;

---

загрузки файла с определённого адреса (если документ уже залит на сайт);

---

загрузки готового файла с ПК.

Когда выбран удобный способ проверки и она запущена, валидатор выдаст результат с перечнем ошибок или уведомление об их отсутствии.

Как добавить Sitemap.xml в консоли поисковых систем

Когда правильный sitemap.xml добавлен на сайт, нужно сообщить поисковым системам.

Первое, что следует сделать, — добавить директиву в robots.txt. Её можно поместить в любой участок файла, т. к. она не привязана к секциям.

Пример robots.txt с директивой Sitemap:

User-agent: *
Allow: /
Sitemap: https://site.ru/sitemap.xml

Важно! Необходимо указывать полный путь к файлу.

Теперь краулеры найдут карту и страницы, указанные в ней. Но чтобы это произошло быстрее, разумно добавить файлы в консоли поисковых систем.

Яндекс.Вебмастер

Чтобы добавить ресурс в консоль Яндекс.Вебмастер, нужно:

---

добавить сайт и подтвердить на него права;

---

перейти в раздел «Индексирование» — «Файлы Sitemap»;

---

если робот уже нашёл ссылку на карту в robots.txt, информация об этом отобразится;

ввести полный путь к sitemap.xml на сайте и нажать «Добавить».

Таким образом, краулер Яндекса быстрее узнает о карте сайта. В этом же разделе в будущем можно отправлять на переобход существующие, но обновлённые карты сайта.

Google Search Console

Чтобы сообщить роботу Google о файле sitemap.xml, нужно:

---

добавить сайт и подтвердить на него права;

---

перейти в раздел «Файлы Sitemap»;

---

если краулеру уже известны какие-либо версии файла, информация о них будет выведена;

ввести путь (без доменного имени, оно уже будет указано) и нажать «Отправить».

После этого файл добавится в базу, и вы сможете отслеживать его статус и количество выявленных страниц и видео.

Вся соль

Файл sitemap.xml важен для индексирования сайта, поскольку содержит всю необходимую информацию для роботов-краулеров: количество страниц, частота обновления, приоритет и дата последнего изменения. Также можно создать карты сайта для изображений и видео, чтобы улучшить ранжирование.

Сформировать файл помогают специальные программы, онлайн-генераторы и плагины для систем управления сайтом. После этого потребуется добавить документ на ресурс и сообщить об этом поисковым системам посредством robots.txt и консолей.

Если возникают сомнения в корректности настроек индексирования, вы всегда можете обратиться за консультацией к специалистам.