Доброго времени суток, Друзья. Сегодня, я решил поднять тему, которая должна быть интересной практически всем, кто, так или иначе, связан с созданием сайтов.
Ни для кого, ни секрет, что скачав бесплатно шаблон, для своего сайта, независимо от движка, который используется, для управления контентом. Мы можем столкнуться с проблемой исходящих ссылок, которые ставятся различными вебмастерами, необязательно авторами. Парочку ссылок может оставить автор шаблона, затем еще парочку могут оставить те кто, например, перевел шаблон, те, кто выложил… И в общем итоге, исходящих ссылок может быть довольно солидное количество.
Я не буду поднимать тему, стоит ли оставлять ссылки автора шаблона или нет. Принимать решение только Вам. Порой шаблоны настолько заспамлены ссылками, что довольно остро встает вопрос, как удалить исходящие ссылки с сайта. Но прежде, чем удалять ссылки, их необходимо найти.
Как найти внешние ссылки в исходном коде?
Способов поиска, я думаю не мало. Можно искать исходящие ссылки, с помощью различных сервисов, плагинов или модулей для движков. Например, как написано в этой статье. Но самый простой и точный способ — это поиск исходящих ссылок вручную. Возможно, у Вас появилось чувство, что руками искать придется довольно долго. Или что данный процесс довольно трудоемкий, нежели воспользоваться каким-либо сервисом или утилитой. Но на самом деле, все очень просто, а надежность данного метода ни сравнима, ни с чем.
И, кроме того, у нас есть ни один вариант поиска. Сначала рассмотрим вариант поиска, с помощью исходного кода. В данном случае, необходимо хотя бы образно понимать структуру используемого шаблона. То есть, из каких основных файлов состоит шаблон. К примеру, wordpress, состоит из главной страницы index.php или home.php, файла полной новости single.php, файла страниц page.php футера, хэдера и сайдбара. Зачем это нужно?
Это нужно для того, чтобы понять, где проверить сайт на исходящие ссылки. Например, если мы проверим главную страницу сайта — это не даст нам гарантии, что ссылок на сайте нет, так как, проверив главную страницу, мы проверим только файлы: index.php, header.php, footer.php и sidebar.php. Однако ссылки могут быть спрятаны в записи или на страницах, то есть в файлах single.php и page.php.
Отсюда можно сделать вывод, что стоит проверить как минимум три страницы: главную, страницу с записью и обычную страницу с какой-либо информацией, например, «О сайте».
Теперь, разберем, как найти внешние ссылки? Заходим на страницу сайта и нажимаем сочетание клавиш Ctrl+U. Откроется новая вкладка с исходным кодом сайта. Вот в нем-то мы наверняка сможем найти исходящую ссылку, даже если в файле, она зашифрована. Для того, чтобы найти, достаточно нажать сочетание клавиш Ctrl+F, после чего появится форма поиска. И в поле формы написать начало любого адреса в сети интернет, это протокол. То есть, пишем http и жмем «Enter». После этого, абсолютно все ссылки на сайте будут подсвечены в коде.
А дальше дело за малым — вычислить ссылки, которые не были установлены нами. И удалить их в файлах. Чтобы найти, в каком файле они запрятаны, достаточно воспользоваться следующим вариантом поиска внешних ссылок.
Как найти ссылку на сайте?
Следующий вариант — это поиск ссылок в самих файлах сайта. Допустим, мы скачали шаблон для сайта, и сразу его можно проверить на наличие исходящих ссылок. Для этого, можно воспользоваться текстовым редактором NotePad++.
Чтобы найти ссылку на сайте, открываем редактор. В верхнем меню нажимаем на кнопку поиск, и из выпавшего списка выбираем «Найти в файлах». Дальше уже дело техники. Вводим в поле «Найти» протокол, используемый гиперссылками — http. И в поле «Папка» выбираем местонахождение шаблона на компьютере. После чего, нажимаем на кнопку «Найти все». Затем, программа выведет результаты поиска в нижней части окна. Где просмотрев ссылки, мы можем вычислить те, которые явно не относятся к шаблону.
Но у данного варианта, в отличие от первого, есть один большой недостаток, если ссылка зашифрована, то найти по протоколу ее не удастся. Хотя можно поменять цель поиска. И вместо http попробовать найти нечто подобное: base64. Довольно часто закодированные ссылки содержат такой кусок кода. Но все же данный вариант менее надежный, в отличии от первого.
Также, стоит отметить, что закодированные ссылки могут повлиять на работу шаблона, после удаления кода. Поэтому, перед удалением, следует cделать резервную копию сайта или файлов.
Оба способа могут показаться не такими уж понятными для начинающих, так как найдя ссылку, мы не всегда можем сразу определить ее точное местонахождение в файлах шаблона, модуля или плагина. Однако, при хорошем понимании структуры шаблона и методов подключения дополнительных файлов, довольно просто найти исходящие ссылки с сайта.
А как ищите Вы исходящие ссылки на сайте? Хотелось бы узнать методы, которыми пользуетесь Вы.
А у меня на этом все. Удачи!
Здравствуйте, уважаемые коллеги!
В этой статье мы с вами поговорим о скрытых исходящих ссылках на сайте (никто не застрахован от этой напасти), научимся их находить и безболезненно для себя удалять.
Не очень давно, я уже писал о проблематике исходящих ссылок в этой статье. Там же рассмотрены способы их закрытия метатегами и java скриптом.
Но как быть с паразитами, которые пробрались на сайт обманом, скрыты от глаз человека, откуда они вообще берутся, как их найти и ликвидировать.
Чаще всего, эта беда внедряется в бесплатные темы, плагины и модули своими шибко хитрыми разработчиками. Кроме высасывания жизненной силы, такие ссылки почти наверняка не совпадают с тематикой донора — будут иметь коммерческий характер или даже adult направленность. Согласитесь, за такое безобразие поисковики сайт не похвалят.
У вас наверное уже чешутся руки побыстрее приступить к поиску скрытой напасти (или убедиться в ее отсутствии) на сайте и, ликуя, уничтожить пакость. Весь вопрос в том, как это сделать. Для начала узнаем врага поближе.
Какие бывают скрытые ссылки
Рассмотрим и разберем самые распространенные способы сокрытия кровососов, их всего два.
1 С применением стиля «display:none»
Стиль display:none делает ссылку на странице невидимой для посетителей, но не для поисковых роботов в исходном коде — <a style=»display: none;» href=»https://wordpress-book.ru»>Учебник WordPress</a>
2 С дополнительным кодированием в «base64»
В этом случае ссылку, кроме того что она уже невидима, еще и кодируют.
В браузере ее не видно, но только не в исходном коде как и в первом случае. А в одном из сотен файлов, куда ссылка установлена, она будет состоять из такой пугающей конструкции:
<!--?php $str='PGEgc3R5bGU9ImRpc3BsYXk6IG5vbmU7IiBocmVmPSJodHRwczovL3dvcmRwcmVzcy1ib29rLnJ1Ij7Qo9GH0LXQsdC90LjQuiBXb3JkUHJlc3M8L2E+'; echo base64_decode($str); ?-->
Я вставил вышеуказанный код в footer.php этого блога и вот что получилось:
Делается это для того, чтобы максимально затруднить администратору ресурса обнаружение и поиск гидры.
Чтобы узнать, во что трансформируется такая абракадабра в браузере, можно воспользоваться любым, специальным для этого сервисом по кодировке, например этим — https://www.base64encode.org/.
Просто скопируйте код, заключенный в одинарные кавычки, вставьте его в верхнее окошко формы и нажмите на зеленую кнопку <DECODE>.
Сервис умеет не только раскодировать, но и кодировать ссылки (вкладка Encode).
Черному оптимизатору останется только такую конструкцию вставить в любой элемент распространяемого шаблона, плагина, модуля и т.д.
Между прочим, тем кто защищает контент от копирования посредством скрипта, встраивающего в конец скопированного текста ссылку на источник (в комментариях к статье «Как защитить контент от воровства» я приводил этот скрипт), есть пища для размышлений. Теперь вы знаете как защитить свою ссылку от удаления в скопированном контенте кем-то или чем-то. Не на 100% защита конечно, но лучше чем ничего.
Как найти скрытые исходящие ссылки
Начнем с небольшого предисловия. Когда-то на wordpress-book.ru стоял плагин, выводящий красивое облако меток в сайдбаре. Давным-давно это было очень модно.
Плагин был переведен на русский язык одним деятелем и им же была вставлена ссылка на свой АГС в файл расширения. Пиявка в блоке облака терялась среди множества меток и ее с удовольствием индексировали поисковые машины. Я же обнаружил вампира тогда случайно с помощью одного сервиса (ссылку не привожу, сдал сервис в последнее время). Вот старый скриншот:
А вот повествование давно минувших дней, как я эту ссылку удалял.
Как видим, на блог без приглашения пробрались 3 ссылки, одна из них полностью открыта для индексации.
И следующей задачей будет найти и удалить паразитов. Для этого в вашем файл менеджере (рекомендую Total Commander) нужно перейти в корень сайта (более подробно я писал об этом в статье- Доступ к сайту через ftp.
- Вызвать окно поиска файлов нажатием кнопки «Поиск файлов» на панели инструментов.
- В поле «Искать файлы» наберите *.*.
- Место поиска пропишется автоматически, это будет корень сайта.
- В поле «С текстом» вставьте текст ссылки, которую нужно найти.
- Нажмите на кнопку «Начать поиск«.
- В поле «Результаты поиска» появится список файлов с адресом их расположения, где была найдена искомая ссылка.
- Нажмите на кнопку «Перейти к файлу«.
В открывшемся файле зловредную ссылку с радостью удаляем.
Невидимые или закодированные ссылки вы найдете точно также, как в примере выше. Только в строку для поиска (пункт 4) вставьте другой искомый текст, в нашем случае display:none или base64.
Следует заметить, что не все найденные конструкции кода, включающие в себя display:none или base64 следует вносить в черный список.
Технологии кодировки в base64 и невидимость при помощи стиля display:none вполне легальны. Их используют разработчики расширений для всех СМС. К примеру, популярный в России плагин «Социальный замок» скрывает контент от посетителя при помощи base64. Будьте внимательны и не нарубите дров в азарте.
С помощью бесплатной программы «Xenu Link Sleuth», вы найдете вообще все ссылки, присутствующие на сайте. Полезно для решения широкого спектра задач по внутренней оптимизации. Ссылка для скачивания и основной функционал программы изложен в статье «Xenu Link Sleuth — Программа для поиска ссылок на сайте«.
Делитесь своими успехами или неудачами в комментариях, буду рад помочь. Желаю удачи!
#Оптимизация сайта
#Внутренняя перелинковка
#93
Поиск исходящих ссылок
Ноябрь’18
9
Ноябрь’18
9
О том, вредны ли исходящие ссылки для продвижения, написано много статей и мнения по этому поводу разнятся. Одни говорят, что по внешним ссылкам уходит ′вес′ с сайта, другие, что тематичные ссылки на полезный контент наоборот повышают ценность страницы. Мы больше склонны ко второму варианту. Но в любом случае нужно следить за исходящей ссылочной массой.
Найти исходящие ссылки с сайта можно несколькими способами:
- Поиск ссылок в коде страницы.
Подходит в том случае, если необходимо проверить исходящие ссылки на одной странице. Для этого необходимо перейти в режим просмотра исходного кода через контекстное меню браузера или сочетанием клавиш Ctrl+U. И далее в ручном режиме искать ссылки на сторонние домены.
Данный способ не очень удобен, т.к. не всегда код страницы визуально красиво оформлен и поиск внешних ссылок может быть затруднен. - Использование расширений для браузера.
Упростить поиск исходящих ссылок помогут специальные расширения. В качестве примера возьмем RDS bar для Mozilla Firefox. В нем можно добавить подсветку внешних ссылок или определить их количество при помощи сервисов.
- Сервисы по поиску внешних ссылок.
Данный способ был частично затронут в предыдущем пункте. RDS bar показывает внешние ссылки страницы по данным сервиса linkpad. Узнать общее количество исходящих ссылок с домена можно используя сервис Megaindex.com (Необходима регистрация).
- Букмарклеты.
Представляют собой небольшой скрипт, который покажет список исходящих ссылок со страницы. Достаточно сохранить его как закладку в браузере, и при нажатии будет отображаться список исходящих ссылок.
Букмарклеты можно найти здесь.
- Screaming Frog SEO Spider — многофункциональная программа для сканирования сайта, предназначена для оценки технического состояния ресурса.
Чтобы найти исходящие ссылки сначала необходимо добавить адрес сайта, нажать start и просканировать сайт. После завершения сканирования список исходящих ссылок будет во вкладке External.
О том, как закрыть исходящие ссылки от поисковых систем, читайте в другом нашем материале.
Похожее
Оптимизация сайта
Внутренняя перелинковка
Поиск 404 ошибок на сайте
Оптимизация сайта
Внутренняя перелинковка
Циклические ссылки на сайте
Оптимизация сайта
Внутренняя перелинковка
#136
Поиск 404 ошибок на сайте
Август’19
2024
2
Оптимизация сайта
Внутренняя перелинковка
#134
Циклические ссылки на сайте
Июль’19
9944
Оптимизация сайта
Внутренняя перелинковка
#89
Что такое анкор ссылки
Ноябрь’18
30425
9
Оптимизация сайта
Внутренняя перелинковка
#61
Правильная перелинковка сайта
Февраль’18
4674
8
Оптимизация сайта
Внутренняя перелинковка
#23
Как найти битые ссылки на сайте
Ноябрь’17
8476
8
Наличие ссылок на внешние ресурсы негативно влияет на вес сайта.
Это значит, что присутствие так называемых линков необходимо контролировать и удалять все ненужные, дабы не оказаться под фильтром могущественных поисковиков.
Проблема в том, что не все ссылки могут быть видны посетителю или владельцу сайта.
Специалисты студии «Медиакод» выработали определенный алгоритм действий по поиску и удалению несанкционированных ссылок на внешние ресурсы. Об этом расскажем в данной статье.
Поиск и анализ ссылок
1. Первым делом открываем сайт с помощью браузера Firefox на котором установлено расширение RDS bar
Даже если такое расширение не установлено, то рекомендуем его установить, в будущем оно еще не раз пригодится.
2. Далее смотрим показатель Links (ссылки, выделены красным)
Например, вот какой результат выдал сайт одного из наших клиентов.
3. Третий этап. Находим заботливо подсвеченные расширением RDS bar ссылки.
Из восьми обнаруженных ранее ссылок четыре ведут к разработчикам установленных на сайте модулей. Они подсвечены красным пунктиром и удаляются в случае необходимости без особого труда. Это делается либо путем настройки соответствующих расширений, либо удалением кода в файлах шаблона. Об этом в глобальной сети написано много.
4. На следующем этапе разбираемся со ссылками, которые оказались невидимыми на экране монитора.
Основная проблема состоит в том, чтобы найти зафиксированные браузером ссылки, которые мы не видим на сайте визуально. Это так называемые ссылки для роботов. Они невидимы для посетителей ресурса, но зашиты в коде страницы, а значит, будут учтены роботами поисковых систем и с большой вероятностью передадут вес с ресурса клиента обладателю ресурса, на который ведет скрытый линк.
Итак, с помощью комбинации клавиш «Ctrl+U» открываем исходный код страницы. Перед нами то, что видят роботы. На странице с кодом набираем комбинацию клавиш «Ctrl+F» и в появившемся окошке вбиваем слово «http:». Далее перебираем все элементы кода, которые содержат внешние ссылки. Вот, что у нас получилось:
Анализируя код делаем вывод, что ссылки зашиты в контейнер «rt-sp».
Данный контейнер находится после контейнера с названием статьи на сайте. Для интереса инспектируем код с помощью расширения Firebug и видим, что для контейнера прописан следующий стиль:
#rt-sp {
left: -5000px;
position: absolute;
top: 0;
}
Вот и раскрыта загадка, почему ссылки не были видны нам на экране монитора.
Они смещены на 5000 пикселей — это примерно пять небольших мониторов, а значит находятся за пределами видимости.
Удаление кода
5. А теперь, на пятом этапе начинается самое интересное.
Дело в том, что для удаления указанных ссылок обычный метод поиска искомого кода не дает результатов. А почему так происходит, расскажем далее.
Итак, мы выяснили, что ссылки зашиты в код статьи сайта. Поэтому ищем среди файлов шаблона файл, который отвечает за вывод статьи: default.php. Открываем его с помощью визуального редактора и видим следующий набор символов:
Этот набор символов и будет тем самым кодом скрытой ссылки.
Теперь просто удаляем этот кусок кода, обновляем файл default.php на сервере и проверяем наличие нелегальных ссылок.
Они исчезли, а значит ликвидирована утечка веса с сайта клиента, задача выполнена.
Читайте еще:
- Муки копирайтера — как написать качественную интересную статью для сайта?
- Модель современного сайта, каким он должен быть?
- Интернет бизнес с нуля – морковка для новичка или реальность?
- Что такое индексация сайта простыми словами?
- О регистрации на сайтах, для чего она нужна?
На заре интернета, если бы вы захотели создать свой сайт, скорее всего, заниматься версткой вам бы пришлось самостоятельно. В этом есть свой плюс, а именно четкое понимание работы своего сайта и полный контроль над кодом. Сегодня, когда сайты стали намного сложнее, для их создания вебмастера чаще всего используют готовые решения — CMS-системы и шаблоны, среди которых наибольшее распространение получили темы для Joomla и WordPress.
Такой подход к сайтостроению экономит массу времени и сил, но он может таить в себе скрытую опасность.
Учитывая количество доступных для скачивания бесплатных шаблонов, плагинов и модулей для популярных CMS, должно показаться странным, что их разработчики и распространители делятся ими исключительно по доброте душевной. Или всё же здесь есть нечто такое, о чём мы не знаем? Всё верно, ибо видимая бесплатность может оказаться лишь прикрытием, и заплатить вам таки придется, хоть и по-иному — в лучшем случае генерированием вашим сайтом рекламного трафика, а в худшем — подпадением его под фильтры поисковых систем.
Чем опасны скрытые ссылки
В чём же подвох? В том, что очень часто в код бесплатных шаблонов и компонентов их авторы вставляют ведущие на «левые» ресурсы скрытые ссылки, среди которых могут быть и явно фишинговые или содержащие вирусы, а это прямая дорога к бану от Google или Яндекс. Однако не нужно считать, что подобными грязными манипуляциями грешат поголовно все разработчики тем и ПО для CMS. Предлагая вебмастерам бесплатные решения, уважающие себя разработчики вполне открыто декларируют свои намерения, указывая на наличие копирайта или ограничений функциональности продукта.
Одна внешняя ссылка на тот же сайт разработчика вряд ли нанесет вред вашему ресурсу, иное дело если таких ссылок окажется много и проставлены они будут на многих страницах. А это уже ссылочный спам, за который полагаются санкции — фильтры Панда или Пингвин от того же Google. Поэтому, если вы всё же решите использовать бесплатные шаблоны, модули или компоненты, обязательно проверяйте свой сайт на предмет внешних ссылок. Увы, такая проверка может оказаться нетривиальной задачей, поскольку ссылки нередко кодируются или подгружаются скриптами с внешних источников.
Как узнать, есть ли на сайте внешние ссылки
Установить наличие внешних ссылок можно как вручную, найдя в коде загруженной в браузере веб-страницы теги с HTTP, так и с помощью специальных приложений и скриптов — онлайновых и десктопных. Одним из них является PR-CY.ru — сервис для анализа и оптимизации сайтов.
Вбив на странице pr-cy.ru/link_extractor URL проверяемой страницы, можно вывести все внутренние и внешние ссылки, в том числе неиндексируемые.
Для анализа всего сайта лучше использовать программу Xenu Link Sleuth, предназначенную для аудита внутренних и внешних ссылок веб-ресурсов.
Запустив приложение, выберите в меню «File» опцию «Check URL», введите в поле адрес вашего сайта, отметьте, если не отмечен, чекбокс «Check external links» и нажмите «OK».
Готово, останется только внимательно изучить список найденных ссылок, отсортировав их по доступным параметрам.
Другой способ проверить сайт на предмет «левых» ссылок — воспользоваться скриптом Find-Link, ссылку на который вы найдете в конце статьи.
Положите скрипт в корень вашего сайта и обратитесь к нему напрямую, вот так: вашсайт.com/find-link.php. Скрипт выведет все внешние ссылки, включая те, которые доступны из панели управления CMS. Также будут выведены пути и имена файлов, в которых прописана ссылка, благодаря чему вы тут же можете их открыть и отредактировать.
Скрипт Find-Link не работает на локальном сервере, использовать его есть смысл после того как сайт будет залит на сервер.
Как удалить внешние ссылки сайта
В наиболее очевидных случаях ссылки на внешние ресурсы вставляются прямо в код главной страницы шаблона index.php. Избавиться от них проще всего, вы просто открываете шаблон Notepad++ и удаляете тег «a href» или содержащий его блок, после чего сохраняете страницу.
Если ссылка прячется где-то в дополнительных файлах, придется немного повозиться. Искать ссылки удобнее всего в Total Commander. Открываем файловый менеджер, переходим в каталог, в котором предположительно находится содержащий ссылку файл и жмем Alt + F7.
В открывшемся окошке поиска файлов отмечаем галкой пункт «С текстом», вводим в поле поиска искомую ссылку и жмем «Начать поиск». Менеджер прочтет файлы кода и выведет их имена и пути, если ссылка будет найдена. В нашем примере Total Commander нашел ссылку в конфигурационных INI-файлах.
Далее всё просто, открываем найденные файлы Notepad++ и удаляем ссылки.
Естественно, работу с файлами выполняем на локальном компьютере во избежание случайных ошибок.
Увы, не все ссылки можно обнаружить таким способом.
Если ссылка закодирована md5 или base64 либо она подгружается с внешнего ресурса, поиск по URL не принесет результатов. В этом случае лучше всего искать по ID или CSS-классу HTML-элемента, в котором выводится ссылка. Способ тем хорош, что избавляет от необходимости расшифровывать ссылку, вы находите и удаляете содержимое блока HTML. В приведенном ниже примере поиск выполнен по классу блока DIV — class=»message».
В результате чего был обнаружен вывод содержащей ссылку переменной методом JText в PHP-файле.
Меры предосторожности
В действительности, всё может быть сложнее. Особо хитрые авторы шаблонов или компонентов прописывают условия проверки наличия ссылки, при несоблюдении которых функционал или вывод последних нарушается. К сожалению, без знаний языков программирования наладить правильную работу скрипта не получится, ищите шаблон или компонент, чистка которого от ссылок не нарушает его работу или обращайтесь за помощью к специалистам.
Как вариант, скрытые ссылки можно закрыть от индексации, добавив в исходный код значение атрибута rel nofollow, но не факт, что после такой модификации всё будет работать. А вообще, чтобы было меньше хлопот и головной боли, скачивайте шаблоны, компоненты и плагины с официальных сайтов разработчиков, по крайней мере, так вы убережете свой сайт от совершенно левых добавок, которые столь часто встречаются в ПО, выложенном на варезных ресурсах.
Find-Link: yadi.sk/d/1yc087GHoR0u7Q
Xenu Link Sleuth: home.snafu.de/tilman/xenulink.html#Download
Загрузка…