Как найти самое популярное слово

Запросы – это те фразы и словосочетания, с помощью которых идет продвижение сайта и его страниц в поисковой системе. Чем они популярнее (то бишь идеально соответствуют интересам целевой аудитории), тем быстрее ресурс будет продвигаться на первые позиции выдачи. Но это не единственная цель, для которой нужно составлять статистику запросов.

Я подробно расскажу, кому и зачем это нужно, а также опишу основные способы поиска топа запросов Яндекса за месяц.

Зачем нужно знать запросы в Яндексе

Как я уже сказала, чем частотнее запросы, по которым продвигается сайт, тем быстрее он поднимется на вершины поисковой выдачи Яндекса. Сам контент при этом должен быть не менее интересным, причем как целевой аудитории, так и поисковым роботам.

Отслеживание поисковых трендов также необходимо и для других целей – прогнозирования роста трафика на вашем сайте, оценки перспективности выбранной тематики или направления в бизнесе, а также поиска сезонных трендов. Помимо прочего, анализ самых запрашиваемых слов может понадобиться для формирования и оценки маркетинговых кампаний.

Как узнать топ запросов Яндекса

Существует несколько сервисов, с помощью которых можно узнать о том, кто и что ищет в Яндексе. В первую очередь я рассмотрю инструменты самой компании, а уже потом буду разбирать сторонние сервисы.

Яндекс.Вордстат

Чтобы сервис Вордстат работал нормально, прежде всего надо авторизоваться в своем профиле Яндекс. Далее действовать очень просто – надо ввести в строке ключевую фразу. Сервис может потребовать ввод капчи, дабы подтвердить, что вы не робот.

Сортировку можно проводить по словам, регионам, а также истории запросов. В первом случае будут отображаться другие популярные фразы, а во втором – популярность их в конкретном регионе. Можно фильтровать запросы, выбирая показы исключительно в мобильной версии и так далее.

При подборе ключевых слов отображается два столбца – в левом запрашиваемое, а в правом похожее, смежное из этой же тематики. В данном сервисе можно также уточнять некоторые запросы с помощью специальных операторов. К примеру, если заключить ключевое слово в кавычки «», в результатах будут отображены все возможные словоформы.

Другой вариант – заключить искомое слово в восклицательные знаки. В таком случае выделенное слово будет искаться в точном вхождении, без изменения формы. И главное, что знак этот должен ставиться перед каждым словом, которое должно быть найдено без изменений.

Еще один инструмент – квадратные скобки [ ]. В данном случае будет зафиксирован порядок слов в ключевой фразе. А вот скобки () и прямой разделитель | используются для создания комбинаций ключевых запросов.

С помощью знаков можно также добавлять или убавлять слова. Символ плюса «+» фиксирует стоп-слова, не имеющие дополнительного смысла, а минус «-», наоборот, убирает ненужные слова из фразы.

Яндекс.Вебмастер

В Яндекс.Вебмастер тоже доступна статистика поисковых запросов. Он показывает те, что используются на вашем сайте, выделяет из них наиболее популярные и показывает статистику домена с вашими конкурентами. Вся необходимая информация будет отображаться в разделе «Поисковые запросы». Только прежде надо привязать к сервису собственный сайт, а только потом смотреть статистику.

Яндекс.Директ

Яндекс.Директ в первую очередь предназначен для создания рекламных объявлений. Но с его помощью можно также собирать популярные ключевые слова и фразы. Единственный минус, возможно, актуальный не для всех – прежде всего необходимо создать рекламную кампанию в сервисе, а уже потом переходить к поиску.

В Яндекс.Директ предусмотрена встроенная статистика ключевых фраз. Она лишь показывает, сколько человек в предыдущем месяце искали введенные вами ключи, а также популярные схожие запросы.

Serpstat

В Serpstat есть отдельная страница с инструментом для анализа ключевых фраз. Здесь необходимо ввести определенное ключевое слово или фразу, затем нажать на кнопку «Получить данные», и сервис приведет подробную информацию по нему.

Минус – без регистрации никакой информации вы не получите. Тут можно залогиниться с помощью Google или Facebook. В результатах, кстати, будет показана частотность, ее стоимость в контекстной рекламе, конкуренты, а также платная и органическая выдача.

Только вот как определить, в каком регионе и к какой поисковой системе они относятся? Легко! Просто на итоговой странице открыть выпадающее меню справа и настроить регион. Выбор невелик, конечно…

Если же вы только создаете сайт и оптимизируете его, но не знаете, какие ключевые слова популярны, можно посмотреть раздел «Подбор фраз». Он находится в категории «Анализ ключевых фраз», далее «SEO-анализ». На этой странице выдаются все вариации искомой ключевой фразы, по которым сайты ранжируются в топ-50 органической выдачи поисковой сети Яндекс. Также предоставляются основные показатели по ключам в различных регионах и их стоимость.

По бесплатному тарифу можно посмотреть только 10 ключевых фраз. Чтобы увидеть больше, необходимо купить платную версию.

Магадан

Предупреждаю заранее, что Магадан – это не онлайн-сервис, а программа для установки на компьютер. С ее помощью можно проводить сбор и анализ статистики по ключевым фразам из Яндекс.Директа, группировать и объединять запросы, фильтровать их и даже хранить в различных базах.

У программы, конечно же, есть две версии – LITE и PRO. Первая ознакомительная, с ограничениями по функционалу, но скорее в плане автоматики сбора данных, нежели в ее объемах. В PRO, понятно, нет никаких ограничений.

Key Collector

Еще одна хорошая программа для оптимизации сайта – это Key Collector. С ее помощью можно быстро собрать поисковые запросы из Яндекса, узнать их стоимость и эффективность. Самое интересное, что в ней есть 70 параметров для оценки ключевых фраз и даже проведение экспертного анализа на соответствие сайта семантическому ядру. Бесплатная версия этой программы называется «Слобоеб», но она сильно ограничена по функционалу и скорости сбора ключевых слов. 

Заключение

Одни из самых эффективных и востребованных инструментов для поиска топа запросов Яндекса – это Вордстат и Serpstat. Первый абсолютно бесплатен и дает море информации, но ее сбор и аналитику придется осуществлять полностью вручную. Если времени на это нет, рекомендую сразу рассматривать второй вариант – Serpstat. Функционал сервиса огромен, так вдобавок он собирает и анализирует данные по определенным запросам. Да, у него тоже есть минусы, один из которых – не такой уж широкий перечень доступных для поиска регионов.

Выбор за вами! 

Мы уже анализировали самые частые слова в тексте, но делали это быстро, на коленке и с помощью Экселя. Теперь подойдём к этому серьёзно и используем дата-сайенс и Python — с ним такой анализ будет проще, быстрее и эффективнее. Заодно научимся делать такое красивое облако самых частых слов — это из первого тома «Войны и мира»:

Что делаем

Сегодня мы проанализируем текст всех томов «Войны и мира» и посмотрим, изменятся ли самые частые слова, как это будет выглядеть в облаке. Интересно, можно ли по таким облакам хотя бы примерно понять общее настроение или содержание текста.

Логика будет простая:

Вместо художественного текста анализировать так можно что угодно: статьи «Кода», записи в дневнике или инструкцию от пылесоса.

Загружаем текст

Мы всё будем делать в редакторе VS Code — он бесплатный, есть окно вывода сообщений и ошибок, а ещё он умеет сразу показывать сгенерированные картинки в отдельном окне.

Также нам понадобятся все тома «Войны и мира»:

Их нужно положить в ту же папку, где будет скрипт.

Создаём новый python-файл, указываем в нём путь к файлу, потом загружаем в переменную и сразу проверяем, получилось или нет. Для этого выводим первые 300 символов текста:

# открываем текстовый файл
f = open('tom1.txt', "r", encoding="utf-8")
# закидываем его содержимое в переменную
text = f.read()
# выводим начало, чтобы убедиться, что всё считалось правильно
print(text[:300])

Видно, что файл считался нормально, всё на месте. Ещё сразу становится понятно, что в тексте будет много французского языка — это тоже мы учтём при анализе.

Убираем лишнее

Сейчас в тексте много лишнего, что будет мешать анализу:

Исправим это с помощью встроенного модуля String — в нём уже есть почти вся пунктуация, которую мы дополним несколькими символами:

# переводим символы в нижний регистр, чтобы всё было одинаково
text = text.lower()
# подключаем встроенный модуль работы со строками
import string
# добавляем к стандартным знакам пунктуации кавычки и многоточие
spec_chars = string.punctuation + '«»t—…’'
# очищаем текст от знаков препинания
text = "".join([ch for ch in text if ch not in spec_chars])
# подключаем регулярные выражения
import re
# меняем переносы строк на пробелы
text = re.sub('n', ' ', text)
# убираем из текста цифры
text = "".join([ch for ch in text if ch not in string.digits])
# смотрим на результат
print(text[:300])

Текст стал однородным: его теперь сложно читать, зато компьютеру будет легко распознать каждое слово. 

Библиотека NLTK и токенизация

Дальше нам понадобится NLTK — мощная библиотека для обработки текста. Технически это даже не одна библиотека, а набор модулей, внутри которых тоже может быть разное, но для простоты назовём это так.

Токенизация — это сегментация, или разделение текста на отдельные компоненты, а токены — это и есть те самые компоненты. Так как мы ищем самые популярные слова, то нам нужно токенизировать на уровне слов. Например, если токенизировать по словам предложение «и швец, и жнец, и на дуде игрец», то токены будут такие: «и», «швец», «жнец», «на», «дуде», «игрец».

Для установки библиотеки используем команду:

pip install nltk

Для установки отдельных модулей, например, word_tokenize, нам понадобится сделать такое:

Теперь найдём первые 5 самых популярных слов в тексте:

# из библиотеки обработки текста подключаем модуль для токенизации слов
from nltk import word_tokenize
# токенизируем текст
text_tokens = word_tokenize(text)
# подключаем библиотеку для работы с текстом
import nltk
# переводим токены в текстовый формат
text = nltk.Text(text_tokens)
# подключаем статистику 
from nltk.probability import FreqDist
# и считаем слова в тексте по популярности
fdist = FreqDist(text)
# выводим первые 5 популярных слов
print(fdist.most_common(5))

Чистим текст от стоп-слов

Стоп-слова в NLTK — это те слова, которые мешают правильно оценить весь текст. К ним относятся:

Чтобы избавиться от них, используем специальный модуль, в котором уже собраны все стоп-слова из разных языков. Сразу добавим туда стоп-слова из французского языка, так как герои романа часто общаются друг с другом по-французски:

# подключаем модуль со стоп-словами
from nltk.corpus import stopwords
# добавляем русские и французские стоп-слова
russian_stopwords = stopwords.words("russian")
russian_stopwords += stopwords.words("french")
# перестраиваем токены, не учитывая стоп-слова
text_tokens = [token.strip() for token in text_tokens if token not in russian_stopwords]
# снова приводим токены к текстовому виду
text = nltk.Text(text_tokens)
# считаем заново частоту слов
fdist_sw = FreqDist(text)
# показываем самые популярные
print(fdist_sw.most_common(10))

Стало лучше, но появилась новая проблема: судя по первой десятке, герои слишком много говорят — «cказал», «сказала», «говорил». Для чистоты эксперимента их тоже можно убрать из текста, поместив их в список стоп-слов. Туда же отнесём «это» и «что»:

# добавляем свои слова в этот список
russian_stopwords.extend(['это', 'чтò','всё','сказал', 'сказала','говорил','говорила'])
# перестраиваем токены, не учитывая стоп-слова
text_tokens = [token.strip() for token in text_tokens if token not in russian_stopwords]
# снова приводим токены к текстовому виду
text = nltk.Text(text_tokens)
# считаем заново частоту слов
fdist_sw = FreqDist(text)
# показываем самые популярные

Рисуем облако слов

У нас всё готово, чтобы вывести слова в виде красивой картинки: чем чаще встречается слово, тем большим шрифтом оно будет написано. Сделаем это с помощью библиотеки wordcloud, которую нужно будет установить отдельно:

pip install wordcloud

# подключаем библиотеку для создания облака слов
from wordcloud import WordCloud
# и графический модуль, с помощью которого нарисуем это облако
import matplotlib.pyplot as plt
# переводим всё в текстовый формат
text_raw = " ".join(text)
# готовим размер картинки
wordcloud = WordCloud(width=1600, height=800).generate(text_raw)
plt.figure( figsize=(20,10), facecolor='k')
# добавляем туда облако слов
plt.imshow(wordcloud)
# выключаем оси и подписи
plt.axis("off")
# убираем рамку вокруг
plt.tight_layout(pad=0)
# выводим картинку на экран
plt.show()

Точно так же получаем картинки для второго, третьего и четвёртого тома — просто меняем название файла в первой команде скрипта и запускаем код:

Что с этим можно сделать

Вот несколько идей:

Что-то из этого мы сделаем в будущем. Или это вы сделаете сами, потому что пойдёте заниматься дата-сайенсом впереди нас.

Была ли эта статья полезной?

Попробуйте так:

text = '''
Существует культ Питона, называемый "Дзеном Питона" (The Zen of Python).
Автором этих постулатов считается Тим Пейтерс.
Основные постулаты:
Красивое лучше, чем уродливое.
Явное лучше, чем неявное.
Простое лучше, чем сложное.
Сложное лучше, чем запутанное.
Плоское лучше, чем вложенное.
Разреженное лучше, чем плотное.
Читаемость имеет значение.
Особые случаи не настолько особые, чтобы нарушать правила.
При этом практичность важнее безупречности.
Ошибки никогда не должны замалчиваться.
Если не замалчиваются явно.
Встретив двусмысленность, отбрось искушение угадать.
Должен существовать один — и, желательно, только один — очевидный способ сделать это.
Хотя он поначалу может быть и не очевиден, если вы не голландец. [1]
Сейчас лучше, чем никогда.
Хотя никогда зачастую лучше, чем прямо сейчас.
Если реализацию сложно объяснить — идея плоха.
Если реализацию легко объяснить — идея, возможно, хороша.
Пространства имён — отличная штука! Будем делать их побольше.'''

lst_no = ['.', ',', ':', '!', '"', "'", '[', ']', '-', '—', '(', ')'  ]   # и т.д.
lst = []

for word in text.lower().split():
    if not word in lst_no:
        _word = word 
        if word[-1] in lst_no:
            _word = _word[:-1]
        if word[0] in lst_no:
            _word = _word[1:] 
        lst.append(_word)

_dict = dict()
for word in lst:
    _dict[word] = _dict.get(word, 0) + 1

# сортируем словарь посредством формирования списка (значение, ключ)
_list = []
for key, value in _dict.items():
    _list.append((value, key))
    _list.sort(reverse=True)

# печатаем первые 10 самых используемых слов
print('Первые 10 самых используемых слов:')
for freq, word in _list[0:10]:
    print(f'{word:>10} -> {freq:>3}')

print('nили так: (с условием, что длина слова > 4- букв) n')
_dict = {(i, lst.count(i)) for i in lst}
_list = []

for word, kol in _dict:
    _list.append((kol, word))
    _list.sort(reverse=True)
    
for freq, word in _list[0:20]:
    if len(word) > 4:
        print('{0:10} {1}'.format (word, freq))

Update

Подскажите, для чего используется _ перед dict и list?

_word, _dict, _list — это обычные имена переменных,
такие как my_word, my_dict, my_list.

Также вопрос почему длина слова от 4?

Это просто шло вам бонусом, если вам не надо — убираю.

text = '''
Напишите программу, которая считывает текст из файла (в файле может быть 
больше одной строки) и выводит самое частое слово в этом тексте и через 
пробел то, сколько раз оно встретилось. Если таких слов несколько, вывести 
лексикографически первое (можно использовать оператор < для строк). 
В качестве ответа укажите вывод программы, а не саму программу. 
Слова, написанные в разных регистрах, считаются одинаковыми.

Использовать надо циклы, списки, словари. Не использовать lambda, 
регулярные выражения и доп.модули, и все что надо импортировать. 
В файле, который дается для обработки нет осмысленных слов, знаков и т.п. 
Там по сути наборы букв разделенные пробелами и в разном регистре, 
например: gtdFtd jy k dyygGTDHj kdH DJDJ.

У меня получился вот такой код. Вроде по логике должно работать. 
Но ответ не принимает как правильный. Помогите пожалуйста разобраться в чем моя ошибка.

Подскажите, для чего используется _ перед dict и list? 

`_word`, `_dict`, `_list` - это обычные имена переменных, 
такие как `my_word`, `my_dict`, `my_list`. 

Также вопрос почему длина слова от 4? - это просто шло вам бонусом, 
если вам не надо - убираю.
'''

lst_no = ['.', ',', ':', '!', '"', "'", '[', ']', '-', '—', '(', ')', '?', '_', '`'  ]   # и т.д.
lst = []

for word in text.lower().split():
    if not word in lst_no:
        _word = word 
        if word[-1] in lst_no:
            _word = _word[:-1]
        if word[0] in lst_no:
            _word = _word[1:] 
        lst.append(_word)

_dict = dict()
for word in lst:
    _dict[word] = _dict.get(word, 0) + 1

# сортируем словарь посредством формирования списка (значение, ключ)
_list = []
for key, value in _dict.items():
    _list.append((value, key))
    _list.sort(reverse=True)

# самое частое слово в этом тексте
print(f'самое частое слово в этом тексте -> `{_list[0][1]}`, использовалось `{_list[0][0]}` раз.')