Как найти удаленную ссылку в интернете

Сервисы и трюки, с которыми найдётся ВСЁ.

Зачем это нужно: с утра мельком прочитали статью, решили вечером ознакомиться внимательнее, а ее на сайте нет? Несколько лет назад ходили на полезный сайт, сегодня вспомнили, а на этом же домене ничего не осталось? Это бывало с каждым из нас. Но есть выход.

Всё, что попадает в интернет, сохраняется там навсегда. Если какая-то информация размещена в интернете хотя бы пару дней, велика вероятность, что она перешла в собственность коллективного разума. И вы сможете до неё достучаться.

Поговорим о простых и общедоступных способах найти сайты и страницы, которые по каким-то причинам были удалены.

1. Кэш Google, который всё помнит

Google специально сохраняет тексты всех веб-страниц, чтобы люди могли их просмотреть в случае недоступности сайта. Для просмотра версии страницы из кэша Google надо в адресной строке набрать:

http://webcache.googleusercontent.com/search?q=cache:https://www.iphones.ru/

Где https://www.iphones.ru/ надо заменить на адрес искомого сайта.

2. Web-archive, в котором вся история интернета

Во Всемирном архиве интернета хранятся старые версии очень многих сайтов за разные даты (с начала 90-ых по настоящее время). На данный момент в России этот сайт заблокирован.

3. Кэш Яндекса, почему бы и нет

К сожалению, нет способа добрать до кэша Яндекса по прямой ссылке. Поэтому приходиться набирать адрес страницы в поисковой строке и из контекстного меню ссылки на результат выбирать пункт Сохраненная копия. Если результат поиска в кэше Google вас не устроил, то этот вариант обязательно стоит попробовать, так как версии страниц в кэше Яндекса могут отличаться.

4. Кэш Baidu, пробуем азиатское

Когда ищешь в кэше Google статьи удаленные с habrahabr.ru, то часто бывает, что в сохраненную копию попадает версия с надписью «Доступ к публикации закрыт». Ведь Google ходит на этот сайт очень часто! А китайский поисковик Baidu значительно реже (раз в несколько дней), и в его кэше может быть сохранена другая версия.

Иногда срабатывает, иногда нет. P.S.: ссылка на кэш находится сразу справа от основной ссылки.

5. CachedView.com, специализированный поисковик

На этом сервисе можно сразу искать страницы в кэше Google, Coral Cache и Всемирном архиве интернета. У него также еcть аналог cachedpages.com.

6. Archive.is, для собственного кэша

Если вам нужно сохранить какую-то веб-страницу, то это можно сделать на archive.is без регистрации и смс. Еще там есть глобальный поиск по всем версиям страниц, когда-либо сохраненных пользователями сервиса. Там есть даже несколько сохраненных копий iPhones.ru.

7. Кэши других поисковиков, мало ли

Если Google, Baidu и Yandeх не успели сохранить ничего толкового, но копия страницы очень нужна, то идем на seacrhenginelist.com, перебираем поисковики и надеемся на лучшее (чтобы какой-нибудь бот посетил сайт в нужное время).

8. Кэш браузера, когда ничего не помогает

Страницу целиком таким образом не посмотришь, но картинки и скрипты с некоторых сайтов определенное время хранятся на вашем компьютере. Их можно использовать для поиска информации. К примеру, по картинке из инструкции можно найти аналогичную на другом сайте. Кратко о подходе к просмотру файлов кэша в разных браузерах:

Safari

Ищем файлы в папке ~/Library/Caches/Safari.

Google Chrome

В адресной строке набираем chrome://cache

Opera

В адресной строке набираем opera://cache

Mozilla Firefox

Набираем в адресной строке about:cache и находим на ней путь к каталогу с файлами кеша.

9. Пробуем скачать файл страницы напрямую с сервера

Идем на whoishostingthis.com и узнаем адрес сервера, на котором располагается или располагался сайт:

После этого открываем терминал и с помощью команды curl пытаемся скачать нужную страницу:

Что делать, если вообще ничего не помогло

Если ни один из способов не дал результатов, а найти удаленную страницу вам позарез как надо, то остается только выйти на владельца сайта и вытрясти из него заветную инфу. Для начала можно пробить контакты, связанные с сайтом на emailhunter.com:

О других методах поиска читайте в статье 12 способов найти владельца сайта и узнать про него все.

А о сборе информации про людей читайте в статьях 9 сервисов для поиска информации в соцсетях и 15 фишек для сбора информации о человеке в интернете.

(30 голосов, общий рейтинг: 4.80 из 5)

Иногда, зайдя на одну из ранее посещаемых страниц в сети Интернет, мы получаем 404 ошибку – страница не найдена. Возможно, что эта страница была удалена, возможно, что сайт на данный момент не доступен и т.д., но нам от этого не тепло и не холодно. Возникает закономерный вопрос: как просмотреть удалённую страницу? В данной статье я попробую дать ответ на этот вопрос и предложить Вам четыре готовых варианта решения данной задачи. Приступим?

Вариант 1: автономный режим браузера

Для экономии трафика и увеличения скорости загрузки страниц, многие современные браузеры используют, так называемый, кэш. Что это такое? Кэш (от англ. cache) – это дисковое пространство на Вашем компьютере, выделенное специально под временные файлы, к которым относятся и веб-страницы.

Так что если страница удалена или Интернет Вам не доступен, Вы можете воспользоваться данными из кэша браузера. Для этого Вам нужно перейти в, так называемый, автономный режим работы браузера. Как это сделать?

Примечание: для просмотра удалённой страницы в автономном режиме, она должна присутствовать в кэше браузера. Это происходит только в том случае, если Вы ранее уже посещали эту страницу. Но нужно помнить, что кэш периодически подчищается самим браузером. Многое здесь зависит от выделенного под кэш дискового пространства в настройках браузера.

Как включить автономный режим работы браузера?

Для браузером на движке Chromium, а это Google Chrome, Яндекс.Браузер, браузерИнтернет от Mail.ru, Рамблер Браузер и др., автономного режима не существует. Точнее он есть, но только в качестве эксперимента. Для его активизации перейдите на системную страницу: chrome://flags/ — и найдите там «Автономный режим кеша», а потом кликните в нём ссылку «Включить».

Включение и выключение автономного режима в браузере Google Chrome

В браузере Firefox (версия 29 и старше) нужно открыть меню (кликнув по кнопке с тремя полосками, она обычно находится в верхнем правом углу окна браузера) и кликнуть в нём пункт «Разработка» (в виде гаечного ключа), а потом пункт «Работать автономно».

Включение и выключение автономного режима в браузере Firefox

В браузере Opera кликните кнопку «Opera», найдите в меню пункт «Настройки», а потом кликните пункт «Работать автономно».

Как включить или отключить автономный режим в Opera?

В Internet Explorer нужно нажать кнопку Alt, выбрать пункт «Файл» (в появившемся меню) и кликнуть пункт меню «Автономный режим».

Как выключить или выключить автономный режим в Internet Explorer?

Как отключить автономный режим в Internet Explorer 11?

Стоит уточнить, что в IE 11 разработчики удалили возможность включения и отключения автономного режима. Здесь возникает другая проблема: как отключить автономный режим в Internet Explorer 11? Тут проделать обратные действия не получится, нужно сбрасывать настройки браузера.

Для этого закройте все приложения, в том числе и браузер. Дальше нажмите комбинацию клавиш Win+R и введите: inetcpl.cpl – в открывшемся окне «Выполнить», нажмите кнопку Enter. В открывшемся окне «Свойства: Интернет» перейдите на вкладку «Дополнительно». На открывшейся вкладке найдите и кликните кнопку «Восстановить дополнительные параметры», а потом и появившуюся кнопку «Сброс…». В окне подтверждения установите галочку «Удалить личные настройки» и нажмите кнопку «Сброс».

Вариант 2: копии страниц в поисковых системах

Я уже как-то отмечал, что пользователям поисковых систем нет смысла заходить на сайты, ведь можно просматривать копии их страниц в самой поисковой системе. Так или иначе, но это хороший способ просмотреть удалённую страницу.

В случае с поисковой системой Google, Вы можете использовать оператор поискового запроса info:, с указанием нужного URL-адреса, например:

Просмотр копии страницы в кэше поисковой системы Google

Здесь нам нужно кликнуть ссылку «сохраненную в Google версию» и мы получим последнюю сохранённую в Google версию удалённой страницы.

В случае с поисковой системой Яндекс, Вы можете использовать оператор поискового запроса url:, с указанием нужного URL-адреса, например:

Просмотр копии удаленной веб-страницы в индексе поисковой системы Яндекс

Здесь нам нужно навести курсор мыши на (зелёный) URL-адресс в сниппете, а потом кликнуть появившуюся ссылку «копия» и мы получим последнюю сохранённую в Яндекс версию удалённой страницы.

Проблема в том, что поисковые системы хранят только последние проиндексированные копии страниц. В том случае если страница была удалена, со временем она может стать недоступной и в кэше поисковых систем.

Вариант 3: WayBack Machine

Есть в сети Интернет и такой замечательный сервис, как WayBack Machine, рекомендую взять его на заметку. Фактически, это целый Интернет архив, который содержит историю существования многих сайтов.

Просмотр истории сайта на WayBack Machine

Суть его проста. Вы вводите нужный вам URL-адрес, а сервис пытается найти его копии в своей базе с привязкой к дате. К сожалению, сервис индексирует далеко не все сайты и тем более их страницы, но тем не менее. Это реальный способ восстановить ранее удалённую страницу.

Вариант 4: Archive.today

Достаточно простым и (к сожалению) пассивным сервис для создания копий веб-страниц сайтов является сервис Archive.today. Другими словами, для того, чтобы получить доступ к удалённой странице, нужно чтобы ранее она была кем-то скопирована в сервис. Для этого нужно ввести URL-адрес в первую (красную) форму и нажать кнопку «submit url».

Добавление и поиск копий веб-страниц на сайте Archive.today

После этого вы можете попробовать найти нужную страницу, используя вторую (синюю) форму. В результате Вы увидите имеющиеся в архиве копии страниц.

Просмотр копий страни на сайте Archive.today

Возможно, что существуют и другие варианты решения поставленной задачи с просмотром удаленных страниц, но думаю и того, что было сказано будет вполне достаточно. На этом у меня всё. Спасибо за внимание. Удачи!

Короткая ссылка: http://goo.gl/M0atyn

Всем привет! Недавно на почту прислали один достаточно нетривиальный вопрос — «Как найти удаленные страницы сайта, на которые ссылаются другие ресурсы?». То есть когда-то был документ, на который сослался другой проект. Потом страницу удалили (случайно или специально) либо изменили URL, и ссылка стала вести на документ с 404-ошибкой. Что делать в такой ситуации?

Прежде чем продолжить пост, хочу выразить всем огромное спасибо за поздравления с днем рождения и комментарии к этому посту! Приятные и жизненные пожелания — очень приятно ! Результаты мини-конкурса будут подведены в конце статьи.

Молодые сайты, как правило, не страдают проблемой пропавших страниц. Это больше относится к уже старым проектам, на которых спустя долгий период что-то было удалено.

Итак, найти удаленные страницы с обратными ссылками будет полезно по нескольким причинам (тем более это бесплатно, либо с небольшими затратами). Во-первых, вы узнаете, какие документы были удалены. Впредь подобные страницы лучше не удалять (ведь они собирают линки). Во-вторых, скорее всего, на эти документы были поставлены естественные ссылки (раз вы о них не знали; если бы знали — ничего не удаляли ). В-третьих, вы найдете некорректные линки, которые были поставлены на ваш ресурс (сможете исправить ситуацию). В-четвертых, можно будет узнать, не ставит ли никто специально обратки на разные несуществующие страницы проекта.

Поиск страниц с обратной ссылочной массой

Сначала я задался вопрос — «Как это все сделать?». Очевидно, что нужно анализировать ссылочную массу, а точнее страницы, на которые ведет хотя бы 1 линк. Для этого есть несколько инструментов. Не в ручную же все делать!? 

1. Яндекс.Вебмастер. Заходим в «Индексирование» -> «Входящие ссылки» и скачиваем архив с данными по входящей ссылочной массе.

Там будут как документы доноров, так и ваши. Единственное, файл в формате txt, поэтому для удобства работы необходимо все из него скопировать и вставить в таблицу, например, excel.

2. Google Webmaster. Практически все тоже самое проделываем и с инструментарием, который предоставляет Гугл. Заходим в «Поисковый трафик» -> «Ссылки на ваш сайт». Далее жмем «Дополнительно» в блоке «Ваши страницы, на которые чаще всего ссылаются».

Выводим показ по 500 штук. Выделяем все строки, копируем и вставляем в тот же excel, после, удалив все ненужное. Тут будет неудобный момент с подстановкой имени домена к кускам страниц (в Google Webmaster показываются только уникальные части линков). Вероятно, как-то можно удобно сделать подстановку основного домена через макрос в том же excel. Если кто-то знает расскажите, пожалуйста, в комментариях . Спасибо Profitcore за простое решение!

В итоге получаем excel-файл с 2-мя базами. Большинство вебмастеров может остановиться на этом моменте. Перфекционисты могут пойти дальше, немного заплатив за дополнительную информацию.

3. Ahrefs.com. Я думаю, что с этим сервисом многие знакомы. В отличие от первых 2-х он платный. Ahrefs также может предоставить подобную информацию. Вероятно, база ахрефс будет содержать страницы, которые не показал ни Яндекс, ни Google.

4. Backlink от Page Weight. Это ссылка на пост в блоге, который описывает работу сервиса. В 2-х словах — бюджетный аналог ahrefs для тех, у кого нет там платного аккаунта. База используется одна и та же, но стандартная подписка стоит 500 рублей.

В итоге получаем базу со страницами, на которые ведут ссылки с разных источников. Скорее всего, она будет содержать дубли. Чтобы не нагружать себя, свой и чужие компьютеры лишними данными, нужно их удалить. В excel 2007 года это делается очень легко. Сначала выделяем все строки (можно Ctrl+A). Затем идем в раздел «Данные» и нажимаем на «Удалить дубликаты».

В появившемся окне кликаем «Ок». Все — дубли удалены. Очень полезная функция .

Массовая проверка ответа сервера

Теперь необходимо узнать, все ли страницы нашего сайта, имеющие обратную ссылочную массу, работают как надо, либо есть те, которые отдают 404-ошибку (документ не найден). Для этого добавим наш список в один из следующих сервисов (спасибо создателям за их разработку):

1. http://4seo.biz/tools/31/ — бесплатно, быстро и понятно.
2. http://coolakov.ru/tools/ping/ — подольше.
3. http://www.seolium.com/seo/tools/http-status-checker/ — также не особо быстро.

С помощью первого сервиса я получил 1 страницу со статусом 404.

Перехожу на нее. Действительно — «Ничего не найдено». По URL понимаю, что это относится к данному посту. Вот только ссылка неправильная. Не 10.000, а 1.000. По файлу из Яндекс.Вебмастера смотрю, откуда ведет этот линк.

Получаю 4 обратки с grabr.ru. Вероятно, когда-то я неправильно указал URL, когда давал анонс в этой социальной сети для вебмастеров .

Дальнейшие действия

Существует несколько сценариев действий, которые зависят от разных ситуаций:

1. В моем случае будет уместен 301-редирект (ссылаться на уже существующий документ по другому URL). Так и сделал.
2. Если ошибку совершил владелец площадки, то можно написать ему и попросить сменить адрес на корректный.
3. Восстановить (если это уместно) или создать (если, например, линк с качественной площадки, а владелец не отвечает на письма) страницу по URL, который отдает 404-ошибку.

Вот таким нехитрым образом можно восстановить некоторые ссылки, которые могут быть полезны при продвижении сайта. Отличный пункт для todo-листа проекта с возрастом более 2-х лет. Не правда ли ? Это мероприятие можно проводить раз в 1-2 года, как для своих ресурсов, так и для клиентских сайтов.

Если вы знаете вариант, как проще найти подобные страницы, то напишите, пожалуйста, в комментариях. Буду рад ознакомиться. А то, может быть, изобрел велосипед .

Итоги деньрожденского мини-конкурса

Еще раз большое спасибо за ваши комментарии и поздравления! Подвожу итоги мини-конкурса. Как многие знают, в блоге стоит премодерация на комментаторов, у которых нет хотя бы одного одобренного комментария (защита от спамеров). В связи с этим та картина, которая была вчера, отличается от той, которая показывается сейчас: сегодня доодобрил все отзывы к посту.

Во-первых, это держало некоторую интригу. Во-вторых, не показывало пример очень настойчивых комментаторов . Итак, вот победители конкурса (номер комментария и имя):

13 — Бульбаш
26 — Сергей
39 — Александр
52 — Алексей
65 — fktrc
78 — albedo

Жду ваши R-кошельки, направленные с той же почты, с которой оставлялся отзыв . На сегодня все — до новых встреч!