Как найти какой либо сайт

Прежде чем запускать свой проект, неплохо бы сделать глубинный анализ конкурентов. Мы анализируем, что у них сделано хорошо, и пытаемся внедрить это на своем сайте. Обращаем внимание на то, что у конкурентов сделано плохо, и стараемся это улучшить.

Давайте разберемся, как этих конкурентов найти и за какими конкурентами нет смысла гнаться.

Ручной поиск конкурентов

Для ручного поиска конкурентов вашего сайта необходимо открыть в браузере режим инкогнито и ввести в поисковой строке запрос, по которому вы хотите быть в топе. Допустим, у вас студия звукозаписи в Сочи. Вводим соответствующий запрос в поисковой строке и анализируем выдачу. Минуем рекламные объявления и группу в ВК. Судя по всему, вот наш главный конкурент:

Чтобы сделать адекватный анализ, нам нужно найти 5 и более конкурентов. Пробуйте искать по разным запросам, например «запись голоса в Сочи» или «цена на звукозапись». Ручной поиск конкурентов довольно прост, но не стоит им ограничиваться. Вы также можете использовать различные сервисы для поиска конкурентов.

Поиск конкурентов сайта с помощью онлайн-сервисов

Существуют различные сервисы, которые помогают найти конкурентов. Мне нравится, когда все просто и эффективно, поэтому для своих целей я обычно использую Мегаиндекс. Просто ввожу в строке свой сайт и получаю список конкурентов:

После этого я захожу на сайты и проверяю, действительно ли они похожи на мой. К примеру, первый сайт о йоге и медитации, а мой сайт именно про Индию. Поэтому таких конкурентов я отбрасываю. 

В Мегаиндексе можно посмотреть трафик конкурентов. Для этого вбиваем адрес сайта во вкладке «Общая информация» и видим трафик из поиска и контекстной рекламы:

Если хотите посмотреть запросы ваших конкурентов, рекомендую воспользоваться Буквариксом (в бесплатной версии можно скачать до 1000 ключевых фраз).

Можно найти конкурентов и с помощью Топвизора. Это платно, но довольно бюджетно. 

Нажимаем «Купить отчет» и выбираем вкладку с конкурентами.

Результат получился довольно странным и не устроил меня.

Онлайн-сервисы – это простой способ получить список конкурентов, но есть и более эффективный метод.

Поиск конкурентов сайта с помощью программ

Поиск конкурентов с помощью программ — это эффективный способ, но для этого вам необходимо уже собранное семантическое ядро. 

Key Collector

Грузим семантическое ядро в программу и собираем данные:

После этого выполняем поиск конкурентов и экспортируем результат. 

А вот с помощью KeyAssort можно найти конкурентов даже в бесплатной версии.

KeyAssort 

Мой любимый способ поиска конкурентов – это просмотр топа тематики в KeyAssort. Чтобы сделать это, заходим в KeyAssort, создаем проект, добавляем ключевые слова и нажимаем на кнопку «Собрать данные». Когда данные будут собраны, нажимаем на кнопку «Топ тематики».

Мы получаем список наших конкурентов в Яндексе:

За какими конкурентами бесполезно гнаться?

Рассчитываете свои силы: если у вашего сайта скудный ассортимент, а в топе поисковиков по вашим целевым запросам крупные региональные гипермаркеты, вы вряд ли сможете их обойти. В отдельную категорию попадают агрегаторы. Это сайты, которые сравнивают товары в разных интернет-магазинах и предлагают покупателю выбор.

Для оценки параметров сайта существует инструмент, который позволяет в автоматическом режиме определить количество агрегаторов в топе по вашим запросам.

Воспользоваться им несложно:

1. Загружаем запросы.
2. Выбираем глубину проверки (топ 10-30).
3. Выбираем поисковую систему.
4. Выбираем регион.
5. Нажимаем начать проверку.

Понадобится некоторое время, чтобы рассчитать результат. После получения результата мы можем увидеть по каждому запросу процент агрегаторов и других видов сайтов в топе. Мы также можем наблюдать, какие сайты встречаются чаще всего по нашим поисковым запросам. 

Конкурент должен быть в одной весовой категории с вами. В противном случае вы либо расширяете ассортимент, либо ищете другие пути продвижения. Например, продаете товар с помощью контекстной рекламы.

Кради как художник

Мы нашли конкурентов не для того, чтобы их полностью скопировать, а чтобы подсмотреть сильные стороны и постараться сделать сайт лучше. Когда будете выполнять анализ конкурентов, поставьте себя на место покупателя. Подумайте, что бы вы улучшили и как облегчили жизнь посетителям сайта. И тогда конкуренты будут равняться уже на ваш сайт.

Сервисы и трюки, с которыми найдётся ВСЁ.

Зачем это нужно: с утра мельком прочитали статью, решили вечером ознакомиться внимательнее, а ее на сайте нет? Несколько лет назад ходили на полезный сайт, сегодня вспомнили, а на этом же домене ничего не осталось? Это бывало с каждым из нас. Но есть выход.

Всё, что попадает в интернет, сохраняется там навсегда. Если какая-то информация размещена в интернете хотя бы пару дней, велика вероятность, что она перешла в собственность коллективного разума. И вы сможете до неё достучаться.

Поговорим о простых и общедоступных способах найти сайты и страницы, которые по каким-то причинам были удалены.

1. Кэш Google, который всё помнит

Google специально сохраняет тексты всех веб-страниц, чтобы люди могли их просмотреть в случае недоступности сайта. Для просмотра версии страницы из кэша Google надо в адресной строке набрать:

http://webcache.googleusercontent.com/search?q=cache:https://www.iphones.ru/

Где https://www.iphones.ru/ надо заменить на адрес искомого сайта.

2. Web-archive, в котором вся история интернета

Во Всемирном архиве интернета хранятся старые версии очень многих сайтов за разные даты (с начала 90-ых по настоящее время). На данный момент в России этот сайт заблокирован.

3. Кэш Яндекса, почему бы и нет

К сожалению, нет способа добрать до кэша Яндекса по прямой ссылке. Поэтому приходиться набирать адрес страницы в поисковой строке и из контекстного меню ссылки на результат выбирать пункт Сохраненная копия. Если результат поиска в кэше Google вас не устроил, то этот вариант обязательно стоит попробовать, так как версии страниц в кэше Яндекса могут отличаться.

4. Кэш Baidu, пробуем азиатское

Когда ищешь в кэше Google статьи удаленные с habrahabr.ru, то часто бывает, что в сохраненную копию попадает версия с надписью «Доступ к публикации закрыт». Ведь Google ходит на этот сайт очень часто! А китайский поисковик Baidu значительно реже (раз в несколько дней), и в его кэше может быть сохранена другая версия.

Иногда срабатывает, иногда нет. P.S.: ссылка на кэш находится сразу справа от основной ссылки.

5. CachedView.com, специализированный поисковик

На этом сервисе можно сразу искать страницы в кэше Google, Coral Cache и Всемирном архиве интернета. У него также еcть аналог cachedpages.com.

6. Archive.is, для собственного кэша

Если вам нужно сохранить какую-то веб-страницу, то это можно сделать на archive.is без регистрации и смс. Еще там есть глобальный поиск по всем версиям страниц, когда-либо сохраненных пользователями сервиса. Там есть даже несколько сохраненных копий iPhones.ru.

7. Кэши других поисковиков, мало ли

Если Google, Baidu и Yandeх не успели сохранить ничего толкового, но копия страницы очень нужна, то идем на seacrhenginelist.com, перебираем поисковики и надеемся на лучшее (чтобы какой-нибудь бот посетил сайт в нужное время).

8. Кэш браузера, когда ничего не помогает

Страницу целиком таким образом не посмотришь, но картинки и скрипты с некоторых сайтов определенное время хранятся на вашем компьютере. Их можно использовать для поиска информации. К примеру, по картинке из инструкции можно найти аналогичную на другом сайте. Кратко о подходе к просмотру файлов кэша в разных браузерах:

Safari

Ищем файлы в папке ~/Library/Caches/Safari.

Google Chrome

В адресной строке набираем chrome://cache

Opera

В адресной строке набираем opera://cache

Mozilla Firefox

Набираем в адресной строке about:cache и находим на ней путь к каталогу с файлами кеша.

9. Пробуем скачать файл страницы напрямую с сервера

Идем на whoishostingthis.com и узнаем адрес сервера, на котором располагается или располагался сайт:

После этого открываем терминал и с помощью команды curl пытаемся скачать нужную страницу:

Что делать, если вообще ничего не помогло

Если ни один из способов не дал результатов, а найти удаленную страницу вам позарез как надо, то остается только выйти на владельца сайта и вытрясти из него заветную инфу. Для начала можно пробить контакты, связанные с сайтом на emailhunter.com:

О других методах поиска читайте в статье 12 способов найти владельца сайта и узнать про него все.

А о сборе информации про людей читайте в статьях 9 сервисов для поиска информации в соцсетях и 15 фишек для сбора информации о человеке в интернете.

(30 голосов, общий рейтинг: 4.80 из 5)

В некоторых поисковых системах и серверах найти ваш сайт в их базе данных достаточно легко, в некоторых — очень трудно. Далее мы рассмотрим поисковые системы, в которых достаточно легко можно узнать проиндексирован ли ваш сайт:

AltaVista
Чтобы узнать, проиндексирован ли ваш сайт, надо набрать следующее:

host:newip.ucoz.ru
host:www.newip.ucoz.ru

Приставка www имеет значение! Сайт может быть проиндексирован по разному.

Чтобы узнать, проиндексирована какая либо конкретная страница в AltaVista, достаточно набрать следующую команду: http://kyxe.ru/index.html

Если эта страница есть в базе данных она будет показана.

Если вы введете следующую команду: http://kyxe.ru/load/ , то будут показаны все страницы, которые были проиндексированы внутри данной директории.

Google

Inktomi: AOL Search, GoTo, HotBot, MSN Search
(движок поисковой системы Inktomi используется во всех вышеперечисленных поисковых системах)

Yandex

http://webmaster.yandex.ru/check.xml
Вводим в форму с www и без www

Как подружиться с поисковиками

Работа над интернет-проектами неизбежно связана с последующим продвижением созданного интернет-ресурса. Один из наиболее значимых моментов в этом процессе — это повышение позиций сайта в результатах выдачи поисковых систем.
Но, до того, чтобы достичь высоких позиций, сайт, прежде всего, должен быть добавлен в индекс поисковой системы.

Google.com

Руководство для веб-мастеров

Соблюдение правил, содержащихся в этом руководстве, поможет программе Google найти и индексировать Ваш сайт и определить его рейтинг. Даже если Вы решите не следовать этим советам, мы настойчиво рекомендуем внимательно прочитать «Рекомендации по обеспечению качества«. Они содержат описание некоторых запрещенных действий, которые могут повлечь за собой полное удаление сайта из индекса Google. Удаленные сайты не показываются в результатах поиска на Google.ru и на всех партнерских сайтах Google.

Когда сайт будет готов, сделайте следующее:

• попросите разместить ссылки на него на других сайтах, посвященных похожим темам;
• передайте его в Google на странице http://www.google.com/addurl.html;
• передайте файл Sitemap с помощью наших инструментов Google для веб-мастеров. По таким файлам Google Sitemaps изучает структуру сайта и более полно индексирует веб-страницы;
• сообщите всем заинтересованным сайтам о том, что Ваши страницы опубликованы в Интернете;
• передайте сайт в подходящие каталоги, например в Open Directory Project и Yahoo!, и на отраслевые профессиональные сайты.

Правила дизайна и подбора содержания:

• создайте сайт с четкой иерархией и текстовыми ссылками. На каждую страницу должен быть переход хотя бы по одной статической текстовой ссылке;
• составьте для пользователей карту сайта со ссылками на его важные разделы. Если в ней окажется более или немногим менее ста ссылок, возможно, удобнее будет разбить ее на несколько отдельных страниц;
• сделайте сайт полезным и информативным. Страницы должны содержать четкое и точное описание содержания;
• подумайте, по каким ключевым словам пользователи будут искать Ваши страницы, и включите эти слова в текст на сайте;
• старайтесь сделать так, чтобы важные имена и названия, другое важное содержание и ссылки представляли собой текст, а не изображения. Сканер Google не распознает текст, содержащийся в изображениях;
• следите за тем, чтобы теги TITLE и ALT были точными и информативными;
• убедитесь в том, что все ссылки работают. Проверьте правильность кода HTML;
• если Вы решите использовать динамические страницы (то есть такие, в URL которых содержится символ «?»), учтите, что не все «пауки» поисковых систем сканируют динамические страницы так же успешно, как и статические. Советуем сократить длину и количество параметров;
• не размещайте на одной странице слишком много ссылок (не более 100).

Технические рекомендации:

• используйте для проверки сайта текстовый браузер, например Lynx, потому что большинство «пауков» поисковых систем видят сайт точно так же, как Lynx. Если из-за таких замысловатых ухищрений, как JavaScript, cookies, идентификаторы сеансов, фреймы, DHTML или Flash, просмотреть весь сайт с помощью текстового браузера не удается, то и «паукам» поисковых систем, возможно, будет трудно его сканировать;

Рекомендации по обеспечению качества

Здесь перечислены самые распространенные формы обмана и мошеннических манипуляций. Однако Google может негативно отреагировать и на другие недобросовестные действия, которых нет в этом списке (например на использование неправильно написанных названий популярных веб-сайтов с целью обмана пользователей).

Если тот или иной способ обмана не указан на этой странице, это совсем не означает, что Google его одобряет. Веб-мастера, прилагающие усилия к соблюдению духа основных принципов существенно упрощают для пользователей работу в Интернете, а потому их сайты располагаются в списках результатов поиска выше, чем сайты тех, кто тратит время на поиски лазеек.
Если Вы считаете, что другой сайт нарушает рекомендации по обеспечению качества Google, сообщите об этом на странице http://www.google.com/contact/spamreport.html. Google предпочитает разрабатывать масштабируемые автоматизированные решения проблем, поэтому мы стараемся свести к минимуму «рукопашные бои» со спамом. Сообщения о спаме используются при создании масштабируемых алгоритмов, которые распознают и блокируют дальнейшие попытки рассылать спам.

Рекомендации по обеспечению качества:

основные принципы:

• создавайте страницы для пользователей, а не для поисковых систем. Не вводите пользователей в заблуждение и не публикуйте разное содержание для поисковых систем и для пользователей. Клоакинг — а это называется именно так — не приветствуется;

Особые рекомендации по обеспечению качества:

• не используйте скрытый текст и скрытые ссылки;
• не применяйте клоакинг и скрытую переадресацию;
• не отправляйте в поисковую систему Google автоматические запросы;
• не перегружайте страницы словами, не относящимися к теме;
• не создавайте страницы, субдомены и домены, в значительной степени повторяющие содержание друг друга;
• не создавайте страниц, которые устанавливают вирусы, «троянских коней» или другие вредоносные программы;
• не используйте страницы портала, предназначенные исключительно для поисковых систем, и другие трафаретные приемы, например партнерские программы, где оригинальное содержание почти или совсем отсутствует;
• если Ваш сайт участвует в партнерской программе, убедитесь, что он приносит прибыль. Используйте уникальное и релевантное содержание, чтобы пользователи в первую очередь посещали Ваш сайт.

Если сайт не выполняет наши рекомендации по обеспечению качества, он может быть удален из нашего индекса. Если Вы определили, что сайт не соответствует этим требованиям, можно изменить сайт, чтобы соблюсти требования, и отправить запрос на повторное включение сайта в индекс.

Как добавить сайт в результаты поиска Google?

Сайты включаются в результаты поиска Google бесплатно и очень просто, для этого даже не нужно добавлять свой сайт в Google. Google — это полностью автоматизированная поисковая система. В ней используются программы «пауки», которые регулярно сканируют Интернет и находят сайты для внесения в индекс Google. В действительности, большинство сайтов, представленных в наших результатах, не включаются в индекс по заявке, а находятся и добавляются автоматически, когда «пауки» сканируют Интернет.
Чтобы проверить, включен ли сайт в наш индекс, выполните в Google поиск URL своего сайта. Например, при поиске [ site:www.google.ru ] Вы получите следующий результат: http://www.google.ru/search?hl=ru&q=site%3Awww.google.ru+

Хотя Google сканирует миллиарды страниц, некоторые сайты он неизбежно пропускает. Если наши пауки пропускают сайт, это может быть вызвано одной из следующих причин:

• сайт недостаточно хорошо связан многочисленными ссылками с другими сайтами в Интернете;
• сайт запущен после последнего сканирования, выполненного Google;
• дизайн сайта затрудняет эффективное сканирование его содержания;
• когда мы пытались произвести сканирование Вашего сайта, он оказался временно недоступен или мы получили ошибку при попытке его сканирования. С помощью инструментов Google для веб-мастеров можно узнать, не возникли ли ошибки при попытке сканирования сайта.

Нашей целью является честное и точное представление содержания Интернета. Для ее достижения мы предлагаем рекомендации и советы по созданию сайта, удобного для сканирования. Хотя нельзя гарантировать, что определенный сайт будет обнаружен нашими пауками, эти рекомендации должны повысить шансы на то, что сайт появится в наших результатах поиска.

Как создать удобный для Google сайт?

Что необходимо сделать

Наше руководство для веб-мастеров содержит технические рекомендации, советы по дизайну и обеспечению качества. Ниже приведены подробные советы по созданию удобного для Google сайта.

Предоставьте посетителям необходимую информацию.

Обеспечить высококачественное содержание Ваших страниц, особенно главной. Это единственное самое важное условие, которое нужно выполнить. Если Ваши страницы содержат полезную информацию, они привлекут многих посетителей, а веб-мастера будут создавать ссылки на Ваш сайт. Создавая полезный и информативный сайт, старайтесь, чтобы страницы содержали четкое и точное описание Вашей темы. Подумайте, по каким ключевым словам пользователи будут искать Ваши страницы, и включите эти слова в текст на сайте.

остарайтесь, чтобы другие сайты ссылались на Ваш.

Ссылки помогают сканерам найти Ваш сайт и могут способствовать тому, что сайт будет чаще показываться в наших результатах поиска. Составляя результаты запроса, Google полагается на рейтинг страницы, или PageRank (это наша мера важности страницы), и усовершенствованные приемы сопоставления текста, что позволяет показывать страницы, которые являются важными и релевантными для каждого запроса. Google подсчитывает число голосов в пользу страницы для определения ее рейтинга, интерпретируя ссылку со страницы А на страницу В как голос страницы А в пользу страницы В. Голоса, подсчитываемые по страницам, которые сами по себе являются «важными», ценнее и помогают сделать «важными» другие страницы. Обратите внимание на то, что рейтинг сайтов в результатах поиска формируется автоматически, и мы не присваиваем ключевые слова сайтам вручную.

Убедитесь, что содержание сайта легко доступно.

Создавайте сайт с использованием структуры логических ссылок. На каждую страницу должен быть переход хотя бы по одной статической текстовой ссылке.

Что не следует делать

Не заполняйте свои страницы списками ключевых слов, не пытайтесь публиковать разное содержание для поисковых систем и для пользователей, не создавайте страницы, предназначенные только для сканеров. Если сайт содержит страницы, ссылки или тексты, не предназначенные для посетителей, Google рассматривает их как вводящие в заблуждение и может игнорировать такой сайт.

Источник: http://www.google.com/support/webmasters/

Yandex.ru

Как добавить сайт в вашу поисковую систему yandex?

Специально добавлять сайт не требуется — если на него есть ссылки на страницах других сайтов, он автоматически будет найден, и, скорее всего, проиндексирован. Если ссылок на сайт еще нет, вы можете воспользоваться формой «Добавить URL», чтобы сообщить роботу о существовании сайта.
Обратите внимание, что добавление URL не гарантирует, что сайт будет проиндексирован или проиндексирован быстро.

Я недавно добавил сайт, а он до сих пор не проиндексирован!

Возможно, с момента добавления прошло слишком мало времени.

Добавление URL не гарантирует, что он будет проиндексирован вообще, это лишь один из способов сообщить роботу поисковой системы, что появился новый сайт. Добавление полезно, если на сайт еще нет ссылок или их число незначительно — так робот быстрее его обнаружит.

Как узнать, проиндексирован мой сайт или нет, и какие страницы есть в индексе?

Введите в форме «Проверить сайт» адрес своего сайта, либо воспользуйтесь операторами языка запросов host или rhost. В некоторых случаях страницы могут временно не показываться, несмотря на то, что они проиндексированы.

Сколько времени надо ждать, чтобы сайт попал в Яндекс?

Мы не прогнозируем сроки индексации сайтов, и не даем гарантий, что тот или иной сайт будет проиндексирован. Как правило, от момента узнавания роботом о сайте до появления его страниц в результатах поиска проходит от нескольких дней до двух недель.

Яндекс совсем не индексирует мой сайт. Почему?

Если какой-либо сайт еще не проиндексирован, это не означает, что роботу он неизвестен, возможно, робот еще не дошел до него, либо индексация сайта запрещена.

Почему индексация моего сайта запрещена?

Индексация сайта может быть запрещена либо по техническим причинам, если он нарушает стандарты и его невозможно корректно проиндексировать, либо за применение сайтом поискового спама.

Почему Яндекс проиндексировал так мало страниц на моем сайте?

Скорее всего, прошло слишком мало времени с момента, когда робот узнал о сайте.
Возможно, все ссылки на вашем сайте сделаны с помощью скриптов, и робот их не понимает. Измените их, либо создайте карту сайта, где есть прямые ссылки на все страницы сайта.
Проверьте, не было ли сбоев на сервере в момент, когда робот Яндекса к нему обращался. Робот, получив от сервера информацию об ошибке, уходит, и повторно дойдет до сайта в порядке общего обхода.
Если с сервером и структурой сайта все в порядке, не беспокойтесь, остальные страницы постепенно будут проиндексированы. В рунете сотни миллионов страниц, и мы не можем отдавать сильное предпочтение одним сайтам в ущерб другим.

Сайт сильно поменялся, а в Яндексе все по-старому. Как быть?

Дождаться переиндексации. Если сайт долго не меняется, робот начинает заходить на него реже, но он все равно помнит про него.

Мой сайт переехал (изменился URL). Что делать?

Сообщите роботу про новый сайт через форму «Добавить URL». Если между страницами старого и нового сайта сохранилось однозначное соответствие, проверьте, чтобы сервер, где расположен старый сайт, выдавал при обращении по старому URL ошибку 301 («Moved Permanently»), а поле Location указывало на соответствующий URL нового сайта. Если старый сайт был закрыт, можете ускорить его удаление из индекса, воспользовавшись формой «Удалить URL».

Может ли робот не индексировать заданные (служебные) участки текста?

Робот Яндекса поддерживает тег noindex, который позволяет решить эту проблему. В начале служебного фрагмента поставьте < noindex >, а в конце — < /noindex >, и Яндекс не будет индексировать данный участок текста.

У меня сайт на иностранном домене — Яндекс его будет индексировать?

Если на нем распознан русский текст, он будет проиндексирован автоматически. Если русского текста там нет, но вы считаете, что ваш сайт интересен пользователям Яндекса, напишите письмо службе поддержки с указанием вашего сайта и просьбой проиндексировать его.

Я добавил в Яндекс сайт через сервис автоматической регистрации в поисковых системах. Почему он не проиндексирован?

Добавлять сайты в нашу поисковую машину можно только при помощи формы на странице «Добавить URL». Согласно Лицензии на использование поисковой системы Яндекса, страницы, добавленные через автоматическую систему, не будут включены в базу.

Что такое робот поисковой системы и что он делает?

Робот (англ. crawler) хранит список URL, которые он может проиндексировать, и регулярно выкачивает соответствующие им документы. Если при анализе документа робот обнаруживает новую ссылку, он добавляет ее в свой список. Таким образом, любой документ или сайт, на который есть ссылки, может быть найден роботом, а значит, и поиском Яндекса.

Что неправильного в моем файле robots.txt? Почему Яндекс не подчиняется тому, что там написано?

Мы не имеем возможности проверять вручную robots.txt каждого сайта. Прочтите внимательно описание стандарта исключений для файла robots.txt, либо воспользуйтесь скриптом, который на основе анализа robots.txt сообщает, какие именно документы вы запретили для робота Яндекса.

Что будет делать робот со страницей, на которой стоит redirect? А если используется директива refresh?

Как требует стандарт протокола HTTP, Яндекс, получив в заголовке ответа информацию, что данный URL является редиректом (коды 3хх), добавит в список адресов для обхода URL, на который ведет редирект. Если редирект был постоянный (код 301), либо на странице встретилась директива refresh, то старый URL будет исключен из списка обхода.

А как в логах сервера называется ваш робот? Ваш робот «ходит» с одного IP-адреса?

У Яндекса есть несколько роботов, которые представляются по-разному.

* Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот
* Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок
* Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов
* Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий пиктограммы сайтов (favicons)
* Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
* Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»
* YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса

IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Список адресов мы не разглашаем.

Кроме роботов у Яндекса есть несколько агентов-«простукивалок», которые определяют, доступен ли в данный момент сайт или документ, на который стоит ссылка в соответствующем сервисе.

* Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
* Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
* Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.
* Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «простукивалка» Яндекс.Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером.

У меня сайт на Flash-технологии, он будет проиндексирован?

Да, Яндекс индексирует Flash-документы.

У меня на сайте много страниц в формате RTF (PDF, DOC, XLS и т.д.) Они будут проиндексированы?

Яндекс, кроме стандартного HTML, индексирует следующие форматы: PDF, DOC, RTF и Flash.

Насколько критично, что мой сервер не выдает last-modified? Я пытался настроить, но ничего не вышло.

Во-первых, в результатах поиска не будет показываться дата рядом со страницами вашего сайта, а при сортировке по дате сайт не будет виден большинству пользователей.

Во-вторых, робот не сможет получить информацию о том, обновилась ли страница сайта с момента последней индексации, а так как число страниц, получаемых роботом с сайта за один заход, ограничено, изменившиеся страницы будут переиндексироваться реже.

Мой сервер не выдает кодировку, это критично? Я пытался настроить, но ничего не вышло.

Робот Яндекса хорошо определяет кодировку документов, поэтому отсутствие кодировки в заголовках сервера не помешает индексации сайта.

Сайт сделан с использованием фреймов. Яндекс в результатах поиска выдает внутренние страницы сайта. Что нам делать, ведь вся навигация разрушена?

Страница может с помощью JavaScript проверить, открыт ли родительский фрейм с навигацией, а если нет, открыть его.

Ваш робот пытается скачать битые ссылки с моего сайта. Почему?

Робот берет ссылки с других страниц, значит, на какой-то странице указаны некорректные ссылки на ваш сайт. Возможно, вы изменили структуру сайта, а ссылки, стоявшие на других веб-страницах, стали некорректными.

Вы перегрузили мой сервер. Пожалуйста, прекратите!

Для управления поведением роботов используется файл /robots.txt. Напишите в нем запрет для робота Яндекса.

Вы пытались скачать секретную информацию с нашего сервера. Пожалуйста, прекратите, мне она самому нужна.

Робот берет ссылки с других страниц, значит, на какой-то странице указаны ссылки на секретные страницы вашего сайта. Вы можете как закрыть их паролем, так и указать запрет для робота Яндекса в файле /robots.txt, и в том, и в другом случае робот не будет скачивать секретную информацию.

Моя страница периодически пропадает из результатов поиска. В чем дело?

Поисковая система Яндекс имеет кластерную архитектуру. Если в момент высокой нагрузки не ответил какой-то поисковый сервер, где случайно находилась ваша страница, в результатах поиска она не будет показана.

Могу ли я помочь роботу быстрее индексировать мой сайт?

Чтобы ускорить появление остальных страниц сайта в индексе, нужно, во-первых, исключить из индексации ненужную информацию, во-вторых, сообщать роботу о новых страницах:

• запретить в robots.txt индексацию страниц, неинтересных пользователям. Например, формы ответа на форуме, статистику посещений, сайты-зеркала, документы на нераспространенных в рунете языках;
• создать карту сайта, то есть страницу или несколько страниц, на которых есть ссылки на все документы сайта;
• выдавать корректные заголовки ответа сервера (например, если страница не существует, выдавать ошибку 404, а если поступил запрос «If-Modified-Since», то выдавать код 304, если страница с указанной в запросе даты не изменилась);
• каждой уникальной странице сайта, по возможности, должен соответствовать только один URL. Распространенная причина появления дубликатов — генерация сайтом URL с незначащим параметром, изменение которого не приводит (или не всегда приводит) к изменению страницы.

Меня не устраивает заголовок и описание моего сайта в результатах поиска. Как это поменять?

Описание составляется автоматически на основе цитат из текста найденного документа, а заголовок — на основе тега документа title. Поменяв тексты и заголовки документов на вашем сайте, вы поменяете и описание сайта в результатах поиска.

Хочу, чтобы рядом с моим сайтом в результатах поиска показывалась пиктограмма. Как это сделать?

В корневой папке вашего сайта должен располагаться файл favicon.ico — это небольшая картинка (иконка) в специальном формате, которая отображается рядом с адресом вашего сайта в адресной строке браузера и рядом с названием вашего сайта в «Избранном» или в «Закладках» вместо стандартной, общей для всех иконки. Подробнее читайте в специальном хелпе.

Как я могу указать географическую принадлежность моего сайта?

Если сайт описан в Яндекс Каталоге, географическая принадлежность сайта определяется вручную; иначе предпринимается попытка определить его географию автоматически. На первом этапе на основании IP-адреса, URL и языка текстов на сайте производится классификация по странам. На втором этапе сайты, отнесенные к России, классифицируются по городам.

Кроме IP и домена анализируются страницы сайта, где ищутся блоки текста, похожие на контактную информацию. Поэтому наиболее простой способ указать географию ресурса — разместить на сайте полный (с индексом, телефонным кодом и именем города) и корректный адрес владельца.

Географическая принадлежность сайта важна при поиске с ограничением по региону, когда сайты из других регионов не показываются.

Основные принципы:

1. Создавайте сайты с оригинальным контентом или сервисом. Реклама не является той ценностью, ради которой пользователи приходят на сайт.
2. Думайте о пользователях, а не поисковых системах. Стали бы вы создавать сайт, страницу или ее элемент, если бы не существовало поисковиков? Приходят ли пользователи на ваш сайт или интернет-магазин не только из поисковых систем?
3. Ставьте ссылки, интересные пользователям вашего ресурса, помогающие найти связанную информацию или проанализировать предложение. Не ссылайтесь только потому, что вас попросили сослаться.
4. Дизайн должен помогать пользователям увидеть главную информацию, ради которой сайт создан.
5. Будьте честны. Привлечь пользователей по запросам, на которые ваш сайт не может достойно ответить, не значит удержать их. Обманутые пользователи уйдут и, возможно, вместе с ними уйдет с сайта робот поисковой системы.

Примеры к принципам:

Если в этом разделе не описан какой-то прием, помогающий повлиять на ранжирование сайта в Яндексе, это не значит, что мы его приветствуем. Следуйте здравому смыслу и духу описанных выше принципов.

Мы стараемся не индексировать или не ранжировать высоко:

• автоматически сгенерированный (бессмысленный) текст;
• сайты, копирующие информацию с других ресурсов и не создающие оригинального контента или сервиса;
• сайты, представляющие товары или информацию по партнерским программам, но не создающие для пользователя никакой добавленной ценности;
• страницы с невидимым или слабовидимым текстом или ссылками;
• сайты, отдающие разный контент пользователю и роботам поисковых систем («клоакинг»);
• страницы и сайты, единственной целью которых является перенаправление пользователя на другой ресурс, автоматически («редирект») или добровольно (реклама без контента);
• сайты, на которых из-за обилия навигационных меню, новостей, вспомогательной информации, рекламы трудно найти их основное содержание;
• страницы и сайты, ставящие ссылки исключительно для обмана поисковых систем и накачивания релевантности;
• сайты или группы сайтов, интенсивно ссылающиеся друг на друга («линкфармы»);
• ссылки, не являющиеся рекомендацией автора посетить ресурс.

Как найти в интернете информацию

Все, что можно найти в интернете (книги, музыку, фото, видео и другое), находится на сайтах. То есть интернет – это очень-очень-очень много сайтов. Чтобы попасть на какой-нибудь из них, нужно открыть программу для работы в интернете, которая называется браузер.

Браузер — это программа, через которую человек открывает интернет. Как правило, на компьютере таких программ несколько, но работает пользователь только в одной.

Самые популярные браузеры: Google Chrome, Opera, Mozilla Firefox, Yandex и Internet Explorer. В зависимости от того, какой значок Вы открываете, когда заходите в интернет, такой программой и пользуетесь.

Где искать сайты

Так как вся информация в интернете находится на сайтах, то для ее получения нужно открыть какой-то сайт.

У каждого из них есть собственный адрес. Например, у ресурса, на котором Вы сейчас находитесь, адрес neumeka.ru

Таких адресов миллиарды. На каждом — какая-то информация. На одном рецепты, на другом видео ролики, на третьем новости… Получается огромная куча адресов и каждый с каким-то своим наполнением.

И как среди них отыскать нужную информацию?! Помогут нам в этом поисковые системы. Или, по-простому, – поисковики. Это такие специальные сайты-справочники. Принцип работы прост: Вы открываете адрес сайта-поисковика, печатаете на нем то, что хотите найти в интернете, и нажимаете кнопку «Enter» на клавиатуре. Буквально через секунду поисковая система перероет весь интернет и покажет те сайты, где есть то, что Вы ищете.

То есть, чтобы работать в интернете (находить и скачивать информацию, общаться и т.д.), Вам нужно знать всего один-два адреса поисковых систем.

Яндекс (yandex.ru)

Начнем с поисковика Яндекс, так как это российский поисковик, ориентированный, в первую очередь, на русскоговорящих людей.

Чтобы его открыть, нужно напечатать английскими буквами адрес yandex.ru в верхней строке браузера и нажать на кнопку Enter на клавиатуре.

Откроется примерно такая страница.

Обратите внимание на желтую полоску посередине. Именно она отвечает за поиск в интернете.

Щелкните левой кнопкой мышки внутри этой полоски (по белой строчке) и напечатайте по-русски то, что хотите найти в интернете.

Кстати, можно напечатать и по-английски, и по-украински, и на других языках. Но если Вы никогда этого не делали, лучше начать с русского.

Допустим, я хочу найти биографию Леонардо Да Винчи. Что в этом случае нужно набрать?

Можно, конечно, так и напечатать: «хочу найти биографию Леонардо Да Винчи». Но это не самый лучший вариант. Потому что поисковик не человек. И «общаться» с ним следует несколько по-другому. Печатать нужно точно и ясно. В моем случае лучше набрать «леонардо да винчи биография».

Вводить запрос можно любыми буквами – и большими, и маленькими. Поисковику все равно. Даже если Вы напечатаете с ошибками он, скорее всего, их сам и исправит.

После ввода запроса нужно нажать на кнопку «Найти» в конце поисковой строки или кнопку «Enter» на клавиатуре.

Загрузится новая страница с результатами поиска.

Произошло следующее: я напечатал то, что хотел найти в интернете (по-научному это называется «ввел запрос»), нажал «Enter» – и Яндекс молниеносно «прогулялся» интернету и нашел сайты, на которых представлена интересующая меня информация.

Если вопрос касается каких-то общеизвестных явлений (популярные люди, фильмы и т.д.), то с правой стороны поисковик показывает основные сведения. В моем случае это краткая биография и известные работы художника.

А в центре Яндекс показывает сайты (а точнее, страницы сайтов) с информацией — их адреса и краткое содержание. Расскажу о них подробнее, так как это самая важная часть поиска.

Нашел их Яндекс очень и очень много. Но сначала поисковик показывает те, которые по определенным причинам считает лучшими. И чаще всего он не ошибается — остальные ресурсы, как правило, худшего качества.

Все это все небольшие анонсы. Каждый из них имеет заголовок сине-голубого цвета, после которого идет краткое описание (черного цвета). А над описанием находится адрес сайта в интернете (зеленого цвета). А если быть более точным, то адрес статьи сайта с нужной информацией.

Ведь на каждом сайте, как правило, не одна страница с информацией, а много. Например, одна статья о Леонардо Да Винчи, другая о Микеланджело, третья о Рембрандте и так далее. И у каждой из них есть свой собственный адрес в рамках адреса сайта.

Это как журнал, в котором много страниц и все они пронумерованы — у каждой свой номер.

Например, мне понравилось первое описание, и я хочу прочитать статью целиком. Для этого нужно навести курсор (стрелку) на заголовок. Курсор примет вид руки с вытянутым пальцем. Нужно нажать левой кнопкой мышки один раз.

Кстати, в интернете все нужно нажимать по одному разу, а не два, как в компьютере.

Нажав по заголовку анонса, откроется новая страница. Это и есть та страница сайта, про которую нам «рассказал» Яндекс. Теперь нужно пробежаться глазами по тексту. Если информация на этой странице не подходит, закрываем ее и возвращаемся к Яндексу с результатами поиска. Открываем другой анонс из предложенных.

Можно открыть не одну, а несколько страниц одновременно. Главное – в них не запутаться

Все открытые сайты находятся вверху программы-браузера в виде закладок:

То есть, когда мы открываем какой-нибудь анонс, то получается, что у нас открыто два сайта. Первый – это Яндекс с результатами поиска, а второй – тот, который мы открыли из списка (один из результатов).

Но вернемся к поиску. Я уже говорил, что для начала Яндекс показывает те страницы, которые, по его мнению, лучшие. Все остальные (а их сотни и даже тысячи) находятся внизу.

Если опуститься в самый них страницы с результатами поиска, то там будут цифры.

Для этого нужно покрутить колесико на мышке или передвинуть ползунок с правой стороны браузера.

За ними прячутся другие страницы, которые нашел Яндекс. Нажмите на цифру «2». Загрузится страничка с анонсами уже других сайтов.

Значит, если не подошло то, что выдал Яндекс в самом начале, можно посмотреть другие анонсы (и сайты), которые прячутся под цифрами в самом низу результатов поиска.

Гугл (google.ru)

Второй поисковик, которым следует уметь пользоваться – Гугл (google.ru). Принцип тот же. Набираем в адресной строке браузера google.ru и нажимаете кнопку «Enter» на клавиатуре.

Загрузится очень простая по дизайну страница. В центре находится строка для печати запроса.

Напечатайте в эту строчку то, что хотите найти в интернете (поисковый запрос). После этого нажмите кнопку «Enter» на клавиатуре или же кнопку «Поиск в Google» на самом сайте.

Загрузится новая страничка с анонсами. Все очень похоже на то, что мы уже видели в Яндексе.

Так же, как и у Яндекса, – читаем анонс, и, если кажется, что он подходит, нажимаем на заголовок. Откроется сайт с информацией по нашей теме. Если это действительно то, что нужно, остаемся на этом сайте. А если данная информация не подходит, – закрываем и снова возвращаемся в Гугл.

И, как и в Яндексе, в самом конце страницы с результатами поиска есть цифры. Под этими цифрами прячутся другие анонсы сайтов по теме.

В этом уроке мы рассмотрели универсальный способ поиска информации. Зная всего два сайта – yandex.ru и google.ru, – Вы сможете найти в интернете что угодно.