Как найти все поддомены домена

Как найти поддомены за считанные минуты?

Поиск поддоменов — неотъемлемая часть подготовки ко взлому, а благодаря некоторым инструментам противостояние этим действиям стало намного проще.

Незащищенные поддомены подвергают вашу деятельность серьезной опасности, а в последнее время произошел целый ряд инцидентов, при которых взломщики воспользовались поддоменами для обхода защиты.

В случае последнего из череды инцидентов весь код сайта Vine можно было загрузить с незащищенного поддомена.

Если вы владелец сайта или изучаете вопросы информационной безопасности, вы можете воспользоваться следующими инструментами чтобы найти поддомены любого домена.

От переводчика:
Надеюсь, что данные инструменты помогут Вам сохранить информацию на ваших виртуальных и выделенных серверах.

Список инструментов:

1. Censys
2. Pentest-Tools
3. DNS Dumpster
4. Sublist3r
5. Netcraft
6. CloudPiercer
7. Detectify
8. SubBrute
9. Knock
10. DNSRecon on Kali Linux

1. Censys
В первую очередь для поиска поддоменов, как правило, прибегают к Censys. Помимо поддомена вы можете найти еще много интересного, а именно:

• данные об IP (может быть полезно для поиска реального IP-адреса);
• данные о сертификате;
• открытые порты;
• SSL/TLS протокол рукопожатия и алгоритмы шифрования (полезно при поиске слабых шифров/протоколов).

Вы получите неплохой обзор сведений о домене.

2. Pentest-Tools
С помощью Pentest-Tools при поиске поддомена можно воспользоваться несколькими методами, например: передача зоны DNS, перебор DNS на основе списка слов или использование поисковой системы.

Результаты поиска можно сохранить в формате PDF.

3. DNS Dumpster
DNS Dumpster — это инструмент для поиска информации о домене и хосте. Авторы проекта — HackerTarget.com.

Вы сможете найти сведения не только о поддомене, но и о DNS сервере, MX и TXT записях, а также получить графическое представление информации о вашем домене.

4. Sublist3r
Sublist3r — это инструмент на языке Python для обнаружения поддоменов с помощью поисковых систем. На сегодняшний день Sublist3r поддерживает Google, Yahoo, Bing, Baidu, Ask, Netcraft, Virustotal, ThreatCrowd, DNSdumpster and PassiveDNS.

Sublist3r поддерживает только Python версии 2.7 и зависит от нескольких библиотек.

Вы можете использовать этот инструмент в Windows, CentOS, RedHat, Ubuntu, Debian и любой другой ОС на базе UNIX. Ниже приводится пример для CentOS.

• Зайдите на ваш Linux-сервер;
• Скачайте последнюю версию Sublist3r

wget https://github.com/aboul3la/Sublist3r/archive/master.zip

Распакуйте скачанный файл:

unzip master.zip

• Будет создана новая папка “Sublist3r-master”

Как я ранее упоминал, существуют следующие зависимости, для установки которых можно воспользоваться командой yum:

yum install python-requests python-argparse

Теперь все готово для обнаружения поддоменов с помощью следующей команды:

./sublist3r.py -d yourdomain.com

Как видите, инструмент обнаружил мои поддомены.

5. Netcraft
Netcraft располагает обширной базой данных о доменах и ее не стоит обходить стороной при поиске открытой информации о поддоменах.

Результат поиска будет содержать всю информацию о домене и поддоменах, в том числе дату первого просмотра, диапазоне адресов и информацию об операционной системе. Если вам необходимо получить больше информации о сайте, просто откройте отчет о сайте и вам будет предоставлена уйма информации о технологиях, рейтинге и т.д.

6. CloudPiercer
CloudPiercer может иногда оказаться полезным при поиске информации о том, существует ли поддомен вашего домена. Кстати, CloudPiercer — это потрясающий и простой способ узнать защищен ли фактический IP-адрес вашего сайта.Открытая информация об IP-адресе делает ваш сайт уязвимым для DDoS-атак.

7. Detectify
Detectify осуществляет поиск поддоменов по предопределенному списку из нескольких сотен слов, но только в случае, если вы являетесь собственником домена. Тем не менее, если вы являетесь зарегистрированным пользователем Detectify, вы сможете включить функцию обнаружения поддоменов в разделе overview в настройках.

8. SubBrute
SubBrute — это один из самых популярных и точных инструментов перечисления поддоменов. Проект разработан сообществом и использует открытый определитель имен в качестве прокси, так что SubBrute не отправляет трафик на целевой DNS-сервер.

Это не онлайн-инструмент, так что вам придется установить его на компьютер. SubBrute можно использовать на Windows или UNIX системах. Программу установить очень легко. Ниже пример для CentOS/Linux.

• Зайдите на ваш Linux-сервер
• Скачайте последнюю версию SubBrute

wget https://github.com/TheRook/subbrute/archive/master.zip

• Распакуйте скачанный zip-файл

unzip master.zip

Будет создана новая папка “subbrute-master”. Зайдите в папку и выполните subbrute.py с необходимым доменом.

./subbrute.py yourdomain.com

Операция займет несколько секунд и отобразятся найденные поддомены.

9. Knock
Knock — еще один инструмент на языке Python для обнаружения поддоменов. Он протестирован для Python 2.7.6. Knock находит поддомены целевого домена по списку слов.

• Knock можно установить на ОС на базе Linux.

wget https://github.com/guelfoweb/knock/archive/knock3.zip

• Распакуйте скачанный zip-файл командой unzip

unzip knock3.zip

• В результате будет создана новая папка “knock-knock3”
• Зайдите в папку и установите с помощью следующей команды

python setup.py install

После установки вы можете производить поиск поддоменов следующим образом:

./knockpy.py yourdomain.com

10. DNSRecon для Kali Linux
Kali Linux — это отличная платформа для оценки информационной безопасности и на ней можно использовать DNSRecon без дополнительной установки каких-либо инструментов.

DNSRecon проверяет все NS-записи на предмет смены зон, общие записи DNS, обработку шаблонов, PTR-записи и т.д.

Чтобы воспользоваться DNSRecon, просто выполните следующую команду

dnsrecon –d yourdomain.com

Надеюсь, что с помощью приведенных выше инструментов вы сможете обнаружить поддомены целевого домена в рамках вашей работы по оценке информационной безопасности. Сообщите мне, какой вам понравился больше всего.

Хочу напомнить, что недавно заработал проект на который мы собрали более 8.5 тысяч отзывов с различных форумов о 344 хостерах — Poisk.Hosting. На сайте VDS.menu все еще можно найти виртуальные серверы, а на SHARED.menu — виртуальный хостинг.

Инструмент поможет быстро найти все проиндексированные поисковыми системами поддомены сайта и составить список, который пригодится для дальнейшего его анализа с целью обнаружения и недопущения дублирования контента. Для того, чтобы найти все поддомены, инструмент собирает данные сразу из трех источников: при помощи запросов к Яндекс, Google, а также с API MegaIndex.

Что такое поддомены сайта?

Поддомен — это домен, который принадлежит основному домену более высокого уровня. Применяется в основном для отдельных больших самостоятельных разделов, категорий и сервисов, которые принадлежат одной и той же организации. Также поддомены имеют преимущества перед основным сайтом при региональном продвижении в виду своей узконаправленности. Подробнее о поддоменах в Википедии.

Зачем искать поддомены сайта?

Иногда, причиной низких позиций сайта, может стать его поддомен. Связано это в основном с дублированием контента, а также пересечением видимости в выдаче, по сути, двух сайтов одной организации. При обнаружении поддоменов рекомендуем сравнить их с основным адресом сайта при помощи нашего инструмента для проверки на аффилированность.
 

Найти поддомены сайта будет полезно при:

• общем техническом анализе сайта;
• анализе структуры конкурентной организации;
• региональном представительстве;
• тестировании и редизайне основного зеркала сайта.

Предугадать отношение поисковых систем к поддоменам очень сложно, поэтому Be1.ru не рекомендует их создавать без крайней на то необходимости.

При продвижении проекта в поисковых системах важно узнать поддомены сайта. Иногда они создают сложности и негативно влияют на SEO.

Зачем искать поддомены сайта?

Поддомен (субдомен) — это сайт, который является частью домена более высокого уровня. Например, tools.pixelplus.ru относительно pixelplus.ru. Поисковые системы индексируют не все существующие субдомены.

Сервис «Поиск всех проиндексированных Яндексом поддоменов» полезен в нескольких случаях:

Субдомены могут негативно сказываться на SEO-продвижении. Иногда сайт плохо ранжируется в поиске из-за дублирования контента, сходства тематик, индексации версии с префиксом www как отдельного ресурса. Чтобы выявить и решить эти проблемы, нужно узнать, какие субдомены проиндексировал Яндекс.

Важно проверить поддомены сайта перед началом оптимизации, при формировании SEO-стратегии.

При анализе конкурентов — их структуры и особенностей продвижения. Например, список поддоменов поможет понять, в каких регионах представлен конкурент. Эта информация полезна для формирования собственной стратегии.

Как пользоваться инструментом

Введите домен или основное зеркало сайта в строку и запустите проверку — кликните на кнопку «Найти».

Программа находит все проиндексированные субдомены. Адреса активны — на них можно перейти в один клик.

Если у проекта больше 80-100 субдоменов, могут быть найдены не все.

Поиск всех субдоменов занимает несколько секунд. Инструмент за проверку списывает 10 лимитов.

Дополнительные инструменты

Другие сервисы Пиксель Тулс, которые могут быть вам полезны:

Проверка позиций в Яндексе и Google. Сервис снимает позиции с глубиной до 250, с учетом поддоменов, по выбранным поисковым системам и регионам. Находит конкурентов, выстраивает рейтинг доменов в ТОП-10.

Сервис для проверки ответа сервера. Инструмент для мониторинга работоспособности и веса документов, которые продвигаются через SEO и контекстную рекламу.

В этот раз поговорим, как найти, проиндексированные в Google, все поддомены сайта с помощью простого и бесплатного плагина для Chrome

Для кого:  SEO-специалистам

Предлагаем нашим читателям ознакомиться с советом SEO-специалиста Макса Прина, который упростит работу при поиске всех поддоменов сайта. 

Макс Прин  — технический SEO-менеджер в маркетинговом агентстве Merkle. Со своей командой специалистов он занимается поиском лучших решений по оптимизации путем проведения исследований и тестов.  

Проводите SЕО-аудит? Специалист Макс Прин расскажет, как найти проиндексированные поддомены сайта, используя простой (и бесплатный) плагин для Chrome.

SEO-аудит редко ограничен www (или не-www) версией сайта. В поисках потенциального дублирования контента важно знать о количестве поддоменов и, что более важно, о том, какое их количество проиндексировал Google.

Старые добрые поисковые операторы

Использование поисковых операторов — лёгкий способ найти проиндексированные домены. Как это сделать:

1. Начните с «site:» и корневого домена

2. Один за другим убирайте поддомены (включающие «www») из результатов поиска, используйте при этом оператор «-inurl:».

3. Когда страница выдачи Google опустеет, ваш запрос с поисковыми операторами будет включать в себя все проиндексированные поддомены.

Как бы там ни было, у этой техники есть свои ограничения. Маловероятно, что сайт, по которому вы проводите аудит, имеет такое же количество поддоменов, как wordpress.com. Впрочем, вы можете столкнуться с сайтом, у которого будут несколько десятков поддоменов. Могут возникнуть такие неудобства:

• процесс может занять много времени, особенно если вам нужно проверить несколько доменов;
• вам придётся многократно вводить капчу;
• размер запроса ограничен (около 30 ключевых слов). То есть, если ваш запрос слишком длинный (слишком много операторов –inurl), вы получите 400 ошибку;
• затем вам понадобится время на составление удобного списка поддоменов.

Решение: простое расширение от Google для браузера Chrome

Это расширение, Personal Blocklist, сделает вашу жизнь легче. Оно позволяет «заблокировать» домены от появления в выдаче.

Вся соль  в том, что расширение работает на уровне поддоменов и сохраняет адреса в виде списка.

1. После установки расширения начните работу, используя ту же команду —  «site:domain.com».

2. Под каждым результатом появится ссылка на блокировку «Block subdomain.domain.com».

3. Нажимайте на каждую ссылку, пока страница выдачи не опустеет.

4. Вы почти закончили! Просто нажмите на иконку плагина, потом на «export»,
а потом — на «Копировать/вставить» в Excel.

Как видите, всё просто!

Первоисточник:
How to quickly find and export all subdomains indexed by Google by Max Prin

Еще по теме:

• Как провести аудит ссылочной массы сайта с помощью Ahrefs

Преимущества и недостатки Ahrefs, доступные инструменты, детальный разбор возможностей и советы по анализу ссылочной массы вашего сайта и сайтов конкурентов. Читайте в статье, как проанализировать…

• Группировка запросов по методу подобия ТОПов: описание, кластеризаторы

Преимущества кластеризации по методу ТОПов Недостатки кластеризации по методу ТОПов Почему нужно использовать автоматическую кластеризацию? Какие есть виды кластеризации? Какие есть сервисы для автоматической кластеризации?…

• 9 бесплатных SEO-инструментов при работе с сайтом

Бесплатные инструменты для технического анализа Парсинг Website auditor от SEO Powersuite Перелинковка PageWeight Lite Free Version Скорость gtmetrix.com batchspeed.com Бесплатные инструменты для анализа структуры сайта…

• Парсим сайт при помощи XPath

Что такое XPath Терминология XPath и отношение узлов Синтаксис Предикаты Как парсить данные с помощью Google Spreadsheets Синтаксис XPath-запроса для Google Spreadsheets Распространённые выражения Разметка…

• Операторы поиска Google для SEO: лайфхаки, которые 100% работают

Символы для фильтрации запросов Команды поиска по сайту Поиск на сайте site: Кэш сайта cache: Точный поиск по вхождениям ключевых слов Вхождения в заголовок intitle:…