Как найти все title на сайте

02.07.2014.

Тег title и мета-теги description, keywords должны содержать информацию, описывающую страницу, на которой находятся эти теги. Так как на сайте не должно быть двух одинаковых страниц, мета-теги так же должны быть уникальными на каждой странице сайта, не должны дублироваться на разных страницах. Если есть дубли этих тегов (особенно — title и description), то сайт может хуже ранжироваться в поисковых системах. А это значит, что при подготовке к продвижению сайта нужно проверить, нет ли дублей мета-тегов и удалить их, если найдутся.
Найти дубли тега title и мета-тега description можно несколькими способами.

Способ 1 — GWT

Самый простой — использовать информацию поискового гиганта Google. Думаю, если вы читаете этот пост, то ваш сайт уже добавлен в Инструменты для веб-мастеров Google (Google webmaster tools). Переходим в GWT, нажимаем на нужный сайт — Вид в поиске — Оптимизация HTML:

Как и написано на этой странице, лучше устранить все найденные проблемы. В рамках же данного поста, нас интересуют пункты Повторяющееся метаописание и Повторяющиеся заголовки (теги title).

Способ 2 — Netpeak Spider

Второй способ подразумевает использование сторонней программы. Есть довольно много программ, позволяющих сканировать сайт и искать дубли тегов, я рекомендую использовать бесплатную программу Netpeak Spider.

Алгоритм работы: скачиваем, устанавливаем, вводим адрес сайта, нажимаем кнопку «Плэй», ждем окончания сканирования:

Есть и другие способы найти дублирующиеся мета-теги на сайте, но приведенных выше должно хватить. Теперь, когда у нас есть список страниц с одинаковыми мета-тегами, пора приступить к их устранению. Часто, для этого достаточно более-менее простой правки движка сайта (CMS) — нужно просто изменить алгоритм генерации мета-тегов по-умолчанию. Так же, скорее всего, потребуется ручное редактирование мета-тегов на некоторых страницах. Здесь всё индивидуально, зависит от структуры сайта и используемого движка.

Удалив дубли мета-тегов, вы принесете большую пользу вашему сайту и вскоре почувствуете прирост поискового трафика.

Понравилась статься? Подпишитесь на обновления:

Оптимизация метатегов и заголовков важна для улучшения позиций страниц в результатах поисковой выдачи и повышения кликабельности сниппетов. Но часто на одних страницах метатеги и заголовки не заполнены, на других — слишком короткие, на третьих — недостаточно точно характеризуют содержание, на четвертых — дублируют друг друга. Также из-за недоработки вебмастера или специфики CMS возникают проблемы с заголовками h1-h6: непоследовательная структура, отсутствие подзаголовков, нерелевантные заголовки.

Выявить проблемы можно вручную путем анализа исходного кода. Но такой подход оправдан, если перед вами 10-20 страниц. В противном случае необходимо автоматизировать сбор данных.

Инструмент парсинга метатегов и заголовков от PromoPult

В PromoPult есть собственный инструмент сбора данных из метатегов и заголовков h1-h6.

Возможности парсера:

• сбор заголовков title, мета description, keywords и заголовков h1-h6 (вместе или по отдельности) с любого сайта;
• загрузка URL из XLSX-файла, текстового файла или списком;
• выгрузка отчетов в формате HTML или XLSX.

Особенности работы:

• нет ограничений по количеству URL и количеству проверок в сутки;
• сервис работает в облаке, не нужно устанавливать софт;
• парсинг в фоне — можно запустить задачу и закрыть браузер;
• после завершения парсинга приходит уведомление на электронную почту;
• сохранение отчетов на сервере PromoPult неограниченное время.

Как работает парсер метатегов

Шаг 1. Регистрация в PromoPult

Регистрация необходима, чтобы получить доступ к отчетам в личном кабинете. Если у вас еще нет аккаунта в PromoPult, создайте его. Это займет не более минуты.

Шаг 2. Добавление URL

Перейдите на страницу инструмента и добавьте URL страниц, информацию с которых необходимо спарсить. Сделать это можно тремя способами:

1. С помощью указания ссылки на XML-карту сайта. Система спарсит все URL, указанные в карте. Поэтому если вам нужны только отдельные URL, этот способ не подходит. Ссылка должна быть в формате https://site.ru/sitemap.xml.
2. С помощью XLSX-файла. Система соберет все URL из первого листа файла по принципу «одна ячейка – один URL».
3. С помощью списка: добавьте URL списком, каждый адрес — с новой строки.

Шаг 3. Настройка парсинга

Укажите, какие данные необходимо собрать. Советуем собирать сразу все — стоимость парсинга изменяться не будет. Единственное, если вы парсите сайт с тысячами URL, то для ускорения получения отчета рекомендуем отметить только те данные, которые вы будете реально использовать. Если же время терпит, смело отмечайте все пункты.

Шаг 4. Получение результата

После завершения парсинга вы получите уведомление на e-mail.

Отчет доступен в блоке «Список задач» в формате XLSX. Нажав на соответствующие иконки в колонке «Действия», можно обновить данные в отчете, удалить его или скачать XLSX-файл на свой компьютер:

Файл состоит из двух листов:

• Результаты — столбцы URL, Title, Description, Keywords, h1, h2, h3, h4, h5, h6. Если на странице несколько заголовков h1-h6, они прописываются в ячейке через знак &.

• Исходные настройки — указано, какие данные и для каких URL собирались.

Отчеты хранятся в системе неограниченное время.

Нет времени заниматься оптимизацией метатегов вручную? Запустите продвижение в SEO-модуле PromoPult. Специалисты не только проанализируют и улучшат метатеги на вашем сайте, но и проведут полный комплекс работ — от технической оптимизации до улучшения юзабилити, коммерческих и внешних факторов. Вам же останется наблюдать за ростом позиций.

Анализ результатов парсинга метатегов и заголовков

Итак, у вас на руках готовый отчет. Что делать дальше? Все зависит от того, какой сайт вы хотите анализировать — свой или конкурента.

Парсинг собственного сайта

Проверка заголовков и метатегов на своем сайте необходима, чтобы выявить существенный недостатки внутренней оптимизации, о которых расскажем ниже.

Незаполненные теги и метатеги

Это серьезная ошибка в оптимизации сайта. Яндекс.Вебмастер проверяет наличие информации в метатегах, и если существенная часть не заполнена, отправляет уведомление в раздел «Диагностика»:

Информация в Title и Description позволяет поисковикам точнее определить релевантность страниц поисковому запросу, а пользователям понять, подходит ли контент, опираясь на описание страницы (сниппет) в результатах поиска. Если Title и Description будут пустыми, поисковик сформирует сниппет на свое усмотрение, и текст может быть далек от идеала.

С помощью парсинга вы быстро определите, каких данных не хватает:

Дублирование метатегов

Заголовки и метатеги (вследствие ошибок вебмастеров или неправильных настроек CMS) на разных страницах могут повторяться. Такого также быть не должно. С помощью функции Excel «Условное форматирование…» / «Правила выделения ячеек» / «Повторяющиеся ячейки» вы без проблем найдете дубли в итоговом отчете.

Дублироваться могут не только метатеги, но и содержимое страниц. Подробно о том, какими бывают дубли на сайте, как их выявлять и устранять, описано в этой статье.

Недостаточная или избыточная длина текста

Для получения оптимального заголовка сниппета требуется около 50-60 знаков с пробелами в Title. Более длинные заголовки будут обрезаться. Короткие — передавать минимум информации. Аналогично проанализируйте длину текста в Description (Яндекс отражает в сниппете порядка 140-150 знаков, а Google — 150-160 с учетом типографики).

Неинформативные метатеги

Заголовки и мета-описания — не только для роботов. Они должны быть понятны и полезны для посетителей, информировать о содержании страницы еще до перехода на нее. Вручную пройдитесь по текстам и при необходимости перепишите их.

Нарушение структуры и логики заголовков

В идеале на одной странице должен быть один заголовок h1. Далее по иерархии: h2-h6. Причем h2 — это подзаголовки верхнего уровня. На каждом уровне h2 могут быть подзаголовки h3, на уровне h3 — h4 и т. д. Соответственно, должна соблюдаться логика подзаголовков.

В приведенном ниже примере с заголовками h1 в общей массе все в порядке — здесь отражены названия статей блога. А вот с подзаголовками полная путаница.

Например, у статьи «Полный обзор японских подгузников Merries» некоторые подзаголовки h2 не относятся к основному контенту (вроде «Вы сейчас здесь» и «Также читайте»). Подзаголовки h3 и h4 вообще не относятся к статье, а содержат названия тегов, рубрик и т. п. Подобная ситуация может возникнуть из-за «кривизны» CMS — разработчики не думали о правилах SEO, а просто делали движок. Поэтому необходимо внести правки в шаблон сайта и исправить ситуацию с подзаголовками.

Как избежать проблем с метатегами? Очень просто: заказывайте текстовый контент в системе PromoPult. Вы получите не только оптимизированные для поиска тексты, но и правильно составленные метатеги Title и Description.

Парсинг сайтов конкурентов

Сбор данных с сайтов-лидеров вашей тематики открывает доступ к следующим данным.

Ключевые запросы, по которым продвигаются конкуренты

Если у конкурентов заполнены теги Keywords, вы фактически получите доступ к их семантическому ядру. В противном случае ключевые фразы можно «вытащить» из Title и Description. Как это сделать:

• соберите метатеги и заголовки со страниц сайта-конкурента (со всех или интересующей категории);
• скопируйте все Title и Description из отчета (при необходимости можно добавить информацию из h1-h6, но нужно смотреть на их релевантность);
• «забросьте» метатеги и заголовки в SEO-анализатор (advego.com/text/seo или text.ru/seo), и вы получите список ключевых фраз с частотностями.

Пример «разложения» Title и Description на ключевые фразы в text.ru

Используйте эти фразы для составления или дополнения собственного семантического ядра.

После сбора семантики нужна кластеризация. О том, что это такое и как ее провести, мы подробно рассказывали здесь.

Логика формирования метатегов

Проанализируйте конкурентов из топ-10 по основным запросам и выявите, каким образом они формируют заголовки и метатеги: есть ли какой-то шаблон, зависимости, в какой части идет основной ключ и т. п.

Как это сделать:

1. Введите в поиске интересующий запрос.
2. Скопируйте 10 первых URL и спарсите по ним данные.
3. Проанализируйте отчет и найдите закономерности.

Пример. Введем в Google фразу «купить золотое кольцо Москва». Отчет по первым 10 URL выглядит так:

Результаты анализа:

• средняя длина Title — 101 символ с пробелами (в топ-5 — 115);
• средняя длина Description — 204 символа с пробелами (в топ-5 — 222);
• 50 % Title и 30 % Description содержат все слова из поискового запроса (в топ-5 — 75 % и 20 % соответственно);
• 80 % Title (и только 10 % Description) содержат дополнительное слово «интернет-магазин»;
• в 100 % Title среди первых трех слов присутствует слово «кольцо», в 90 % — слово «золотое»;
• плюс-слова, которые употребляются в 50 % и более тегов Title: «каталог», «цены», «фото», «золото»;
• плюс-слова, которые употребляются в 50 % и более тегов Description: «каталог», «цены», «фото», «доставка», «женские», «Россия», «гарантия», «скидка», «золото».

Исходя из такого анализа можно выявить закономерности:

• добавление в Title всех слов из запроса повышает шансы занять более высокую позицию;
• в начале Title должно быть словосочетание «золотое кольцо»;
• длина Title должна быть порядка 100 символов;
• Title логично дополнить словом «интернет-магазин»;
• в Description не стоит дублировать все слова из поискового запроса;
• приветствуется разбавление текстов плюс-словами.

Остается написать такие тексты в заголовках и мета-описании, которые будут максимально отражать пользовательский интент, не дублировать конкурентов и выгодно выделяться на их фоне. Например, ни в одном Title нет информации о цене. Если в видимой части заголовка указать «цены от 2000 рублей», возможно, это повысит кликабельность.

Структура и характер заголовков

Похожий анализ можно провести и по заголовкам h1-h6.

Результаты анализа:

• самый важный вывод — в заголовках h1 нет точного вхождения поисковой фразы (используется преимущественно название категории в качестве h1);
• подзаголовки заполнены бессистемно — только в одном случае в качестве подзаголовков h2 использованы названия брендов.

Таким образом, если выстроить на своем сайте логичную структуру заголовков h1-h6, то можно получить небольшое преимущество перед конкурентами.

Сколько стоит использование парсера метатегов

Стоимость парсинга зависит от количества запросов к странице сайта:

Вот примеры бюджета парсинга в различных ситуациях:

Как видите, даже при огромных объемах парсинга бюджет можно считать условным.

Заключение

Анализ метатегов и заголовков на собственном сайте позволяет быстро выявить проблемы и исправить их. С другой стороны, анализ информации со страниц других сайтов открывает дорогу к пониманию стратегии конкурентов. Автоматизация этого процесса значительно ускоряет работу и позволяет сосредоточиться на важных задачах.

Попробуйте инструмент парсинга мета-данных в действии — предлагаем бесплатно проверить 500 URL!

Парсинг — это автоматизированный сбор информации из открытых источников в интернете по заданным условиям. Он экономит время при работе с большим объемом данных и приводит их в структурированный вид для дальнейшего использования.

SEO-специалисты используют парсинг для сбора метатегов и заголовков с сайтов, описаний товаров и цен в интернет-магазинах, мониторинга ошибок оптимизации и других задач. В этой статье расскажем о разных способах сбора метаданных с сайтов.

Зачем собирать и анализировать метатеги и заголовки

Работа над содержимым тегов title и description, заголовков h1 — важнейшая часть внутренней поисковой оптимизации сайта. Вхождение ключевых слов в тег title и заголовок первого уровня — одни из важных факторов ранжирования как в Яндексе, так и в Google.

Содержимое title и description формирует сниппет, кликабельность которого (CTR) тоже влияет на рейтинг документа в выдаче. Для привлекательного сниппета важно также не выходить за рамки рекомендуемого поисковиками количества символов в title и description. В противном случае они отобразятся на странице результатов в урезанном виде:

Чтобы проанализировать метаданные на своем или клиентском проекте, сайтах конкурентов, SEO-специалисту нужно получить их в удобном для работы виде.

Как собрать метатеги вручную

Собрать метатеги и заголовки с сайта можно вручную при помощи копирования и вставки в Excel или Google Таблицу. Для этого в режиме просмотра кода находим теги Title и Description и копируем их содержимое:

Title и description находятся в начале кода страницы после тега .
Найти заголовок H1 можно при помощи поиска в режиме просмотра кода:

Чаще всего заголовок первого уровня — это название раздела, товара, услуги. Чтобы проверить это, выделите заголовок на странице и правой кнопкой выберите функцию «просмотреть код»:

Справа или внизу (в зависимости от настроек браузера) откроется консоль, где будет показан код выделенного фрагмента:

На примере наша гипотеза подтвердилась — название категории является заголовком H1.

Копировать теги и заголовки вручную очень трудозатратно. Посмотрим, как можно автоматизировать процесс.

Парсинг метатегов при помощи Google Таблиц

Парсить метатеги и заголовки сайта можно при помощи функции IMPORTXML Google Таблиц. Она импортирует данные из источников формата XML, HTML, CSV, TSV, RSS, ATOM XML в ячейки таблицы при помощи запросов Xpath.

Синтаксис функции выглядит так:
IMPORTXML(«https://site.com/»; «Xpath-запрос»)

В первой части формулы содержится заключенный в кавычки url (обязательно с указанием протокола), во второй — запрос Xpath.

Сложно? Совсем нет. Знать язык запросов Xpath для использования этой функции не обязательно. Просто воспользуйтесь опцией браузера «копировать Xpath». Как это сделать:

• выделяете нужный элемент на странице, кликаете правой кнопкой и выбираете «просмотреть код»;
• в выделенном фрагменте кода при помощи правой кнопки выбираете опцию «Copy Xpath»:

Xpath-запрос скопирован, теперь остается вставить его в функцию IMPORTXML на нужном листе Google Таблицы.

Для title функция будет выглядеть так: =IMPORTXML(«https://site.com/»;»//title»)

Аналогично для h1:
=IMPORTXML(«https://site.com/»;»//h1″)

А вот в случае description синтаксис посложнее. Дело в том, что нам нужно не содержимое тега, а содержимое атрибута content. То есть сначала нужно найти тег meta, затем атрибут name=’description’ и наконец второй атрибут content. Xpath-запрос будет выглядеть так:
//meta[@name=’description’]/@content

Соответственно полный вид функции IMPORTXML для парсинга description такой:
=IMPORTXML(«https://site.com/»;»//meta[@name=’description’]/@content»)

Но каждый раз копировать нужную ссылку долго. Проще поступить так. Выгрузите в Google Таблицу список нужных url и на место ссылки в функции подставьте номер ячейки, например:
=IMPORTXML(A2;»//title»)

На выходе получим такой результат:

Формулу можно протянуть на все адреса и быстро получить нужные данные.

Парсинг при помощи расширений для браузера

Парсить данные сайтов можно при помощи бесплатных браузерных расширений. Примеры расширений для Chrome: Parsers, Scraper, Data Scraper, kimono.

Покажем, как работает расширение Scraper. После установки значок расширения появится на панели браузера:

Откройте страницу, с которой вы хотите собрать данные, нажмите на значок и выберите опцию «Scrape similar…»:

В выпадающем окне в блоке Selector выберите XPath, введите нужный запрос – //title, //h1 или //meta[@name=’description’]/@content и нажмите на кнопку «Scrape»:

Обратите внимание, что значения в блоке Columns во всех случаях должны быть такими же, как в нашем примере. Результат парсинга можно экспортировать в Google Docs. Минус работы с расширением — трудоемкость процесса. Потребуется открывать все нужные страницы для сбора данных.

Программы для парсинга сайтов

Упростить задачу парсинга метаданных могут специальные программы – SEO-парсеры. Они показывают наличие, длину и содержимое метатегов и заголовков на всех страницах сайта.
Примеры таких парсеров: Screaming Frog SEO Spider, Netpeak Spider, ComparseR.

Это платные программы с большим функционалом. Он требуется SEO-специалисту для комплексного анализа сайта: внутренней, внешней, технической оптимизации. Покупать такие инструменты для узкой задачи парсинга метатегов и заголовков нецелесообразно.

Парсинг метатегов онлайн инструментом PromoPult

Собрать метаданные и заголовки с любого сайта онлайн можно при помощи Парсера метатегов и заголовков PromoPult. Это профессиональный инструмент, который в несколько кликов соберет с любого сайта следующие данные:

• содержимое метатегов title, description, keywords;
• заголовки h1-h6.

Результаты можно хранить в облаке или выгружать в формате XLSX. Ограничений на количество анализируемых url в сутки нет.

Для каких задач подходит парсер

• Анализ внутренней оптимизации своего проекта: инструмент покажет страницы с отсутствующими метаданными и заголовками, укажет на дубли и нерелевантные данные.
• Сбор метатегов и заголовков клиентских сайтов: парсер выполнит перечисленные выше задачи по всем проектам и сэкономит время SEO-специалиста.
• Парсинг данных сайтов конкурентов. Сравнение с другими проектами в нише станет источником идей для оптимизации своих или клиентских сайтов.
• Как составная часть SEO-аудита. На этапе приемки проекта в работу или формирования коммерческого предложения требуется быстро оценить качество оптимизации сайта и объем работ. Инструмент поможет быстро выявить проблемы оптимизации тегов и заголовков.

Как работать с парсером метатегов и заголовков PromoPult

1. Загрузите список страниц (url), с которых необходимо собрать данные, одним из трех способов — ссылкой на xml-карту сайта, XLSX-файлом или списком url:

1. Выберите данные, которые нужно собрать, и запустите парсинг:

На стоимость парсинга не повлияет, все чекбоксы вы отметите или только некоторые. Исключать что-то из задачи имеет смысл, только чтобы сэкономить время при обработке данных с большого ресурса (более 1000 url).

2. Готовый отчет появится в списке задач, его можно просмотреть прямо на странице инструмента по клику на название или скачать в формате XLSX:

Парсинг происходит в фоновом режиме, можно закрыть вкладку или браузер, а уведомление о завершении придет на почту. Все отчеты хранятся на сервере PromoPult неограниченное время.

Для того чтобы оценить инструмент, доступен бесплатный парсинг 500 запросов. Нужно только зарегистрироваться в системе и добавить задачу.