Как найти все 404 страницы на сайте

Разбираемся, как на сайте найти страницы с ошибкой 404: расширения, плагины, приложения и программы

Один из главнейших факторов, который отталкивает пользователя от сайта ,— это появление страниц с ошибкой 404 Not Found. Появление таких ошибок негативно сказывается на отношении к сайту с точки зрения поисковых систем Яндекса и Google.

Во-первых, из-за этого внешние ссылки теряют свой вес, что ухудшает ранжированность и всего сайта.

Во-вторых, теряется вес внутренней перелинковки — особенно при круговой перелинковке — что также снижает трастовый вес других, действующих страниц.

Почему появляется ошибка 404

Наиболее частотный случай появления такой ошибки вызван неправильным вводом адреса страницы со стороны пользователя. Однако здесь ничего нельзя поделать — повлиять на них и научить вводить правильные адреса проблематично. Поэтому, очевидно, стоит сосредоточиться на других вариантах — когда появление 404 ошибки вызвано проблемами на стороне сайта.

Таких проблем может быть две:

1. Страница по каким-либо причинам была удалена;
2. У страницы был изменен URL без настройки редиректа на новый — поэтому абсолютно все внешние ссылки на такую страницу перестали быть рабочими.

Как уже было сказано выше, такие страницы нужно находить и ошибки исправлять. Сделать это можно несколькими способами.

Поиск ошибки 404 через Яндекс Вебмастер

У Вебмастера есть специальный инструмент для поиска ошибок 404. Для этого вам будет достаточно перейти в раздел «Индексирование» → «Статистика обхода»

Поиск ошибки 404 в панели вебмастеров Google

Аналогичная возможность поиска 404 ошибки представлена и у Google. Для этого нужно открыть раздел «Обзор» и перейти там во вкладку «Покрытие». Здесь будут сразу представлены все страницы с ошибкой, которые были найдены поисковой системой.

Необходимо отметить, что это достаточно быстрый и удобный способ поиска страниц с ошибкой 404. Однако ни Яндекс, ни Google не находят их все. Поэтому есть смысл попробовать воспользоваться другими способами.

Поиск ошибки 404 с помощью программы Netpeak Spider

Если у вас уже установлен этот сервис, то вы сможете легко найти все ошибки 404 на вашем сайте. 

Последовательность действий такая:

1. Откройте программу;
2. Во вкладке «Параметры» выберите «Минимум», чтобы искать только 404 ошибку;
3. Нажмите старт.

В полученном отчете будут указаны два параметра:

Это непосредственно сами страницы с ошибкой 404 и, что очень важно, ссылки, которые ведут на такие страницы.    

Поиск ошибки 404 с помощью сервиса Serpstat

1. Пройдите процесс регистрации и добавьте свой сайт в проект;
2. В колонке «Аудит сайта» нажмите «Запустить аудит»;
3. Нажмите «Начать анализ».

После завершения обработки откройте отчет «Код ответа: 4xx». Там вы найдете все страницы с ошибкой 404.

Что делать с ошибкой 404

Порядок действий достаточно прост:

• Все ссылки на страницы с 404 ошибкой нужно заменить на рабочие;
• Если ссылку заменить не получится (например, потому что страница была удалена), то и ссылку нужно просто удалить.

Проверьте, не нужно ли удалить страницу с такой битой ссылкой из индекса поисковых систем, чтобы Яндекс и Google перестали приводить к вам пользователей на несуществующую страницу.

Однако полностью избавиться от появления 404 ошибки у вас не получится — ведь довольно часто ошибка появляется по причине того, что сами пользователи неверно вводят URL.

Однако и здесь вы сможете максимально улучшить опыт использования вашего сайта. Для этого достаточно наполнить страницу с 404 ошибкой полезной информацией:

• Дайте ссылку на главную страницу;
• Выложите другую полезную информацию;
• Дайте доступ к возможности поиска по сайту;
• Если это необходимо, оставьте свои контакты для связи.

Благодаря этому пользователю не захочется убежать сразу же с вашего сайта и начать искать информацию где-нибудь ещё.

Заключение

Ошибка 404 может серьезно повлиять на трафик вашего сайта, поэтому так важно вовремя ее «найти и обезвредить». Посему мы советуем вам регулярно проводить подобные «облавы» — то есть проверки на наличие ошибок. Тем самым вы позитивно повлияете на отношение к вашему сайту как с точки зрения поисковиков, так и пользователей.

Довольно широко распространена ситуация, когда мы, пользователи, натыкаемся на несуществующие страницы с кодом ответа 404 Not Found. Такие страницы есть на любом сайте, достаточно лишь вбить в адресную строку URL с ошибкой. Но вот проблема — наличие внутренних ссылок на них обязательно к исправлению, и вот почему.

Какие причины приводят к 404

Вызывать эту ошибку могут следующие причины:

Помочь найти страницы с 404 ошибкой помогут панели для вебмастеров.

Что делать

Сами по себе 404 ошибки являются нормальной практикой, но те ссылки, которые на них ведут — довольно неприятное явление. Постарайтесь как можно быстрее от них избавиться, изменив на корректные либо вовсе удалив. Так вы значительно меньше будете растрачивать краулинговый бюджет поисковых роботов, а чтобы сократить вероятность ухода с сайта живых людей, при попадании на такую страницу, правильно оформляйте страницу 404. Это тема нашей следующей статьи.

Как узнать сколько пользователей зашли на 404 страницу

Наиболее эффективный способ — создать цель в Яндекс.Метрике и отслеживать её.

После создания цели в Метрике установите на 404 страницу следующий код:

XXXXXXX — номер вашего счетчика.

После этого вы сможете отслеживать трафик на 404 странице. Подобным образом можно сделать и в Google Analytics.

Появление страницы 404 означает, что сайт не смог найти запрошенную страницу, поскольку она не существует. Эта ошибка создает много проблем при оптимизации сайта. В этой статье мы хотим рассказать какими способами можно их находить и устранять.

Чем вредны страницы 404 для сайта?

Страницы с кодом ответа сервера 404 есть на любом сайте, чтобы на них попасть нужно ввести в адресную строку браузера несуществующий адрес страницы.

Если ошибка 404 возникает из-за удаления страницы или «битой» ссылке на сайте, это плохо сказывается на продвижении.

А все потому, что:

1. Потерпают поведенческие факторы
   Пользователям не нравятся сайты с неработающими страницами. Они быстро покидают такие сайты и редко возвращаются.
2. «Сливается» впустую краулинговый бюджет
   Любой сайт имеет ограниченный краулинговый бюджет и поисковые роботы не могут проиндексировать много страниц сразу.  И если при сканировании сайта возникает много 404 страниц – низкая вероятность того, что роботы доберутся до новых или обновленных страниц.
3. Утрачивается ссылочный вес
   При удалении страницы все ссылки, которые ведут на нее или с нее уходят в никуда.

Ссылки ведущие на страницы 404 носят название «битые» и плохо влияют на раскрутку сайта. Таким образом, при удалении страниц, удаляйте или заменяйте ссылки ведущие на них.

Как появляются страницы 404?

Причин возникновения 404 ошибок несколько:

1. Неправильное написание УРЛа.
2. Удаление страницы.
3. Страница переведена на новый адрес, а редирект не настроен.

В независимости от причины возникновения страниц 404 их обязательно нужно исправлять.

Как обнаружить страницы 404?

Существует много способов проверить сайт на наличие страниц 404, но мы рекомендуем использовать сразу все описанные ниже.

Поиск ошибок в Google Search Console

1. Зайдите в панель для вебмастеров Google и перейдите на вкладку «Покрытие».
2. Если кликните по вкладке «Ошибка» – Вам откроется список страниц с ошибкой 404.
   

Поиск ошибок в Google Analytics

Узнать сколько пользователей столкнулось с ошибкой на сайте можно в сводке по страницам.

1. Нажмите на пункт меню Поведение/Контент сайта/Все страницы.
   
2. Отсортируйте страницы по названию «Страница не найдена» или «404» в зависимости от того, как она называется на Вашем сайте.
   
3. Нажмите «Название страницы» и с помощью кнопки «Еще» воспользуйтесь поиском по запросу «404» (или «Страница не найдена»):
   
4. GA отфильтрует все страницы по заданному заголовку и покажет отчет по количеству сеансов, получивших код ответа 404:
   
5. Нажмите по названию страницы и получите список УРЛов с ошибкой 404, который нужно будет проработать:
   

Анализ сайта программой ScreamingFrog

1. Пропишите адрес сайта и нажмите кнопку «Start».
   
2. После завершения процесса сканирования перейдите во вкладку «Response Codes» — там Вы увидите список всех страниц с кодом 404.
   

Поиск ошибок с помощью расширения Check My Links

1. Установите в Google Chrome специальное расширение Check My Links. 
2. Введите в поисковую строку Google адрес сайта с оператором «site:»
   и увидите все проиндексированные страницы Вашего сайта и коды их ответа:
   

Что делать со страницами 404?

Если Вы обнаружили страницы 404 – нужно немедленно от них избавляться.
Способы устранения ошибок 404:

1. Замена неработающих ссылок на работающие.
2. Удаление всех ссылок ведущих на страницы 404.
3. Удаление страниц 404 из индекса поисковых систем.
   О том, как удалить страницы из индекса Google узнаете в справке. 

Примеры оригинального оформления страницы с 404 ошибкой:

Заключение

От страниц 404 полностью избавится невозможно, ведь их могут допускать и сами посетители сайта. Но нужно сделать все, чтобы уменьшить их негативное влияние. Также важно правильно оформить неработающую страницу:

1. Написать почему посетитель здесь очутился и что ему дальше делать.
2. Предложить посетить главную страницу сайта или самые популярные разделы.
3. Добавить форму поиска по сайту.
4. Дизайн страницы 404 должен соответствовать оформлению сайта.
5. Можно оставить контактную информацию.

Проводите регулярный аудит сайта для быстрого обнаружения и устранения 404 страниц! Если нужна помощь – обращайтесь!

Обновлено 19.01.2017

Всем привет сегодня расскажу, что такое error 404 pages на сайте и как нам сделать, чтобы их было меньше. Рассмотрим, хорошо это или плохо. Как найти у вас на сайте все не существующие страницы error 404 pages. Поверьте моему опыту, если вы за этим не следите, то вы сами, своими руками топите ваш проект, так как интернет и поисковые роботы постоянно изменяются, вводя новые алгоритмы и никогда не знаешь, где и когда может появится в индексе куча мусора, ведущего на ваш сайт.

Что такое error 404 not found

И так сообщение error 404 pages, означает, что при попадании на нужный вам ресурс, страница которую вы искали уже не существует или ее не было. 404 код сообщает браузеру, что не то ты ищешь, нет меня уже. Сделана специально, для донесения браузерам и поисковым ботам, что страницы не существует.

Хорошо или плохо когда выскакивает ошибка 404

Как я и писал выше сама директива в себе ничего плохого не несет, а вот большое их количество в поисковой выдаче очень плохо, так как отсылает пользователя на не существующие ресурсы, тем самым понижая доверие к ресурсу. Еще представим у вас была страница, но вы ее в последствии удалили, а ссылка на нее есть в поисковой выдаче, у этой страницы раньше был некий статический вес, некая такая пискомерка, по которой поисковики смотрят крутость страницы, и если ее нет то и этот вес утекает в никуда и его хорошо бы пока страница полностью не вылетела из индекса, перевести в нужное вам место, для этого придуманы перенаправления или redirect.

Как найти страницы с error 404

Вариантов, на самом деле очень много, приведу самые полезные и бесплатные с моей точки зрения.

Google.com/webmasters

Гугл webmasters, это личный кабинет куда вы добавляете свой сайт. В данном кабинете можно мониторить сайт по различным параметрам, таким как

• Сколько страниц проиндексировалось
• Какие проблемы есть с HTML
• Количество поисковых запросов в месяц
• Ошибок сканирования

Нам как раз и нужен пункт ошибки сканирования, они нам и покажут все страницы найденные ботами гугла, которые отдают код 404.

Можно посмотреть более детально, что именно не найдено, сверху вы увидите ссылку, если вы ее поправили можно нажать кнопку Отметить как исправленный.

Webmaster.yandex.ru

У Яндекса так же можно найти не существующие страницы (error 404 pages), так же переходим по адресу указанному в заголовке. Тут нас будет интересовать пункт Исключенные страницы, со статусом Ресурс не найден (404)

Посмотрите их более детально, удобно сделан график показывающий, какая тенденция у вас не существующих страниц, она должна стремиться к нулю.

Утилита XENU

Есть бесплатная утилитка XENU. Скачать XENU можно тут. Смысл ее во в чем, вы указываете какой сайт нужно сканировать

Начнется, довольно продолжительное сканирование, все зависит от размера сайта. В итоге вы получите список ссылок. Где вы увидите зеленые и красные, как понятно, все в идеале должно быть зеленым, кроме того, что вы сами заблокировали.

Для фильтрации, только красных ссылок, откройте View > Show broken links only

В итоге вы уже получаете список с краснотой, который следует изучить и фиксить, тем самым вы будите делать ваш сайт лучше в глазах поисковых систем.

Как победить error 404 pages

И так напомню у меня сайт на движке wordpress, а это значит, что эту задачу уже давно решили. Самый правильный вариант это использование файла htaccess, в котором нужно сделать 301 редирект (при 301 редиректе произойдет склейка старого и нового адресов: параметры вроде PageRank и тИЦ), но для новичков это бывает сложновато, это требует знать синтаксис и лезть на ftp сервер хостинга. Нас же спасет простой плагин, не нагружающий сервер, который в два клика победит данную проблему. Плагин Redirection нам поможет. Как устанавливать плагины WordPress я рассказывал вот тут, советую ознакомиться. После установки вы идете в Инструменты > Перенаправления

Предположим у меня есть вот такая страница выдающая 404 ошибку, копирую ее адрес.

Создаю новое правило, в котором в источнике пишу страницу, которой уже не существует, а в адресе назначения главную страницу сайта, на нее я и буду перенаправлять.

Новое перенаправление добавлено.

Проверяем его, должно все работать. Если все ок не забудьте в гугле пометить, что вы это исправили.

Выводы

Материал сайта pyatilistnik.org