Как найти распространенные слова

Когда вы в последний проводили процесс исследования ключевых слов?

Первые пару лет своей карьеры в SEO я признавала, что существует устоявшийся метод исследования ключевых слов, и я полагалась в первую очередь на данные о ключевых словах из популярных инструментов в качестве своего руководства. Этот процесс может показаться знакомым:

01. Перейдите к инструменту исследования ключевых слов SEO и укажите тему.

02. Отфильтруйте самые популярные ключевые слова, которые кажутся реалистичными для ранжирования.

03. Создавайте контент на основе этого списка

И знаете, что? Этот метод может работать просто отлично. Если все сделано правильно, вы можете таким образом привлечь значительный трафик на свой сайт.

Однако со временем я поняла, что у этого метода есть несколько ключевых проблем:

• Он ставит объем поиска выше всего . Эти данные являются всего лишь оценкой, и эти инструменты обычно не предоставляют контекст для поисковых тенденций или сезонности.
• Обычно высокий объем поиска = высокая конкуренция. Это часто означает, что только самые авторитетные веб-сайты могут ранжироваться.
• Если вы используете инструмент исследования ключевых слов, к которому могут получить доступ другие, ваши конкуренты могут видеть все те же ключевые слова, что и вы. Нет никаких шансов на преимущество первопроходца.

Да, платные инструменты исследования ключевых слов могут оказаться очень полезными при выборе темы. Но использование только этих инструментов оставляет пробел в поиске наиболее актуальных тем для вашего веб-сайта — пробел, который могут заполнить только дополнительные исследования.

Использование трендовых ключевых слов для SEO — отличный способ заполнить этот пробел, а также сигнализировать о актуальности для поисковых систем и потенциальных клиентов.

Определение трендовых ключевых слов в SEO

В SEO популярные ключевые слова — это поисковые термины и фразы, которые появились недавно и не имеют исторического объема поиска. Инструменты могут показывать, что эти ключевые слова имеют низкий (или нулевой) объем поиска , но на самом деле они могут приводить к тысячам поисковых запросов каждый месяц.

Преимущества использования новых ключевых слов

Самые успешные SEO-специалисты и контент-маркетологи признают, что способ поиска популярных ключевых слов является одним из лучших. Этот «трендовый» исследовательский процесс может привести к некоторым весьма убедительным преимуществам:

• Ваш контент «проходит без очереди» (т. е. преимущество первопроходца). Конкуренты могут игнорировать или полностью пропускать ключевые слова, которые не отображаются в инструментах исследования ключевых слов, что дает вам возможность стать одним из первых участников обсуждения.
• Преимущество первопроходца может означать, что ваш контент лучше ранжируется в Google (и других поисковых системах), чем в более конкурентоспособных условиях.
• Учет тенденций может помочь вам создать положительное восприятие бренда среди ваших клиентов и потенциальных клиентов — это положительный сигнал для вашего бренда, который освещает очень актуальные темы и предлагает уникальную авторитетную точку зрения.

Отказ от ответственности : эта статья не предлагает вашему бизнесу писать обо всех актуальных темах. Я не продвигаю общепринятый подход, когда каждый бизнес должен занимать позицию, скажем, по актуальным политическим темам. Суть в том, чтобы учитывать тенденции в области вашего продукта или в темах, которые интересуют вашу аудиторию, и создавать соответствующий продукту контент, на который у вас есть полномочия.

Способы интеграции тенденций в ваше тематическое исследование

Так где же найти эти желанные, популярные ключевые слова? И как вы можете встроить его в существующий процесс исследования ключевых слов? Давайте погрузимся.

01. Следите за текущими событиями/поп-культурой

Культура стимулирует спрос и новые поиски. Например, если певец выпускает новый альбом, это может увеличить количество поисковых запросов в Google по определенному стилю макияжа, одежды или даже мебели, показанной в музыкальном видео.

Возьмите Midnights Тейлор Свифт , выпущенный в конце октября 2022 года. Новый альбом вызвал запросы всех аспектов жизни певицы, от макияжа до одежды и даже ее домашних животных.

Крупные культурные события дают возможность предсказать, что заинтересует пользователей. Выйдите за рамки того, что только что произошло, и учтите все интересы, связанные с трендом. Вы можете думать об этом как о PEST-анализе потенциального контента.

Некоторые общие аспекты поп-культуры, которые проявляются в популярных поисковых запросах, включают:

• Что выпускается/в тренде на популярных стриминговых сервисах, таких как Netflix, Hulu, Disney+ и т. д.
• Фильмы, вызывающие ажиотаж как претенденты на «Оскар»
• Что популярно в музыке, спорте, моде, видеоиграх и т. д.

Для компаний B2B применима та же идея. Что происходит в мире и как это влияет на вашу отрасль? Это может включать проверку:

• Предстоящие регулирования
• Законодательство, влияющее на вашу отрасль
• Политика
• Экономика

Существует элемент релевантности и безопасности бренда, которому вы также должны уделять приоритетное внимание, поэтому убедитесь, что связь между темой и тем, что делает/продает ваш бренд, очевидна.

Совет. Если вы не знаете, каковы интересы вашей аудитории, попробуйте инструмент исследования аудитории, например Sparktoro . Он может показать вам поведенческую информацию, например, какие веб-сайты посещает ваша аудитория, социальные учетные записи, на которые они подписаны, хэштеги, которые они используют, и многое другое. Качественное исследование аудитории лучше всего, но это может быть хорошей отправной точкой.

Когда дело доходит до популярных поисковых запросов, цель состоит не только в том, чтобы написать о том, что происходит в настоящее время, но и в том, чтобы предвидеть вопросы , которые люди будут искать по этой теме. В качестве примера возьмем ChatGPT, инструмент искусственного интеллекта, который покорил мир в 2022 году.

В течение нескольких месяцев своего стремительного роста ChatGPT был ключевым словом с нулевым объемом поиска (KD) в популярных инструментах. Да, действительно, и есть примеры, подтверждающие это, например, этот пример из практики Сары Тахер. Но со 100 миллионами пользователей за первые два месяца можно с уверенностью сказать, что есть интерес ко всему, что связано с ChatGPT.

С этим роем интереса появились возможности предвидеть другие вопросы, которые могут возникнуть вокруг этого инструмента. Некоторые идеи контента с низкой конкуренцией вокруг ChatGPT включают:

• Как использовать ChatGPT
• Альтернативы ChatGPT
• Детектор ChatGPT
• ChatGPT промпт [отрасль]

Это всего лишь один драматический пример быстро набирающей популярность темы, которая стимулирует (и поддерживает) миллионы поисковых запросов, но в результатах поиска по ней было очень мало авторитетного контента.

Как быть в курсе текущих событий:

• Настройте оповещения Google , когда в поиске Google появляются новые результаты по теме.
• Потребляйте новости, особенно те, которые имеют отношение к вашей отрасли/аудитории.
• Подпишитесь на отраслевые информационные бюллетени, чтобы быть в курсе того, что происходит.
• Поддерживайте общую осведомленность о тенденциях в поп-культуре (особенно в том, что касается вашей аудитории). Раздел исследований Twitter и Reddit — это два места, где можно посмотреть, но лучше всего следить за теми же публикациями / сайтами, за которыми следит ваша аудитория.

Социальные сети — мощная поисковая система. Хотите знать, что в тренде? Прокрутите социальные сети, и вы будете засыпаны тем, что наиболее популярно в данный момент.

Хотя вам не нужно проводить много времени на каждой платформе, стоит следить за хэштегами в своем пространстве и регулярно просматривать темы, связанные с вашей темой / нишей.

Моя любимая платформа социальных сетей, откуда можно черпать идеи по темам, — это Reddit. Комментарии можно сортировать по категориям «Лучшие», «Лучшие», «Новые», «Спорные» и т. д.

Совет : функция поиска Reddit оставляет желать лучшего. Мне нравится гуглить мою тему и добавлять «reddit» в поиск, чтобы получить наиболее релевантные темы.

Социальное прослушивание просто и может быть включено в вашу исследовательскую рутину без особых усилий. Следите за своими хэштегами и темами на разных платформах, с которыми взаимодействует ваша аудитория, и проверяйте, что становится популярным. Следите за соответствующими влиятельными лицами на этих платформах и следите за тем, чем они (и их аудитория) делятся. И не нужно становиться одержимым — запланируйте эту задачу на рабочий день, как любое другое исследование.

03. Определите ожидания ваших клиентов

Как лучше узнать, что интересует вашу аудиторию? Узнайте от первоисточника!

Если у вас есть возможность поговорить напрямую с клиентами или командами, работающими с клиентами, обязательно сделайте это частью своего исследовательского процесса.

Например, однажды я работала с клиентом женской моды, который связал нас с двумя своими продавцами. Мы целый час говорили о наиболее распространенных проблемах покупателей, о том, какая одежда их больше всего интересует, и о вопросах, которые чаще всего получали продавцы.

После часового разговора у нас было 100 новых тем для их веб-сайта. Да, 100. Многие из них мы никогда бы не узнали при традиционном исследовании ключевых слов.

Простейший вариант может заключаться в проведении опроса на ваших каналах (например, по электронной почте или в социальных сетях) и выяснении у вашей аудитории, какие у них есть вопросы или какие типы контента их больше всего интересуют. Независимо от того, как вы это делаете, общение с клиентами или командой, по крайней мере пару раз в год могут быть чрезвычайно плодотворными для ваших усилий по контенту.

04. Найдите ключевые слова в своих пользовательских данных

Ваши данные рассказывают историю. Они показывают вам, что работает, а что нет, и могут даже показать, что люди пытаются найти, но не могут (что указывает на возможность).

Вот несколько способов, которыми вы можете использовать свои собственные данные для обоснования выбора темы:

• Данные внутреннего поиска . Изучите условия поиска, которые пользователи ищут на вашем веб-сайте. Есть ли термины, популярность которых растет? Какой контент они находят, когда ищут? Рассмотрите возможность создания образовательного контента или страниц продуктов специально для этих поисковых запросов, чтобы продвинуть их дальше по пути клиента.
• Самый эффективный контент : какой контент в последнее время привлекает наибольшее внимание? Ищите закономерности. Есть ли определенные темы или форматы контента, которые работают лучше всего? Можете ли вы удвоить свои усилия здесь?
• Запросы Google Search Console: просмотрите свой самый эффективный контент за последние несколько месяцев. Посмотрите, по каким запросам вас находят, но которые вы явно не упомянули или не указали в своем контенте. Оптимизируйте их или создайте отдельную статью для них.

Инструменты для обнаружения трендовых тем для SEO

Как говорится, лучшие вещи в жизни бесплатны. Это также может относиться к вашему процессу исследования ключевых слов. Доступны бесплатные (или очень недорогие) инструменты, которые помогут вам быстро и надежно находить популярные поисковые запросы.

Подсказки автозаполнения Google

Автозаполнение Google предлагает популярные long-tail запросы поиска , связанные с заданным ключевым словом/темой. По сути, это бесплатный генератор идей, поскольку прогнозы отражают популярные поисковые запросы и шаблоны поиска в Интернете.

Google отмечает , что, хотя автозаполнение ищет общие запросы, оно также учитывает тенденции интереса к запросу. Это позволяет автозаполнению отображать наиболее полезные прогнозы, уникальные для определенного места или времени, например, для экстренных новостей. Вот пример:

Как видите, через несколько дней после шоу Рианны в перерыве Суперкубка поисковые запросы, связанные с ее выступлением (и ее неожиданным объявлением о беременности), появились в верхней части предложений автозаполнения Google для ее имени. Вы получаете мгновенный доступ к популярным поисковым запросам по вашей теме.

Совет : такие инструменты, как Answer the Public, могут упростить это для вас, хотя мне нравится выполнять поиск вручную, используя режим инкогнито моего браузера, а также проверять предложения инструмента и собирать дополнительные идеи.

Функция Google «Похожие запросы»

В результатах Google Похожие запросы отображает популярные вопросы, связанные с вашим поиском. Подобно автозаполнению, в этом разделе отображаются распространенные (и популярные) вопросы, которые люди ищут по этой теме. Снова используя Рианну в качестве примера поиска, вы увидите сочетание популярных и распространенных вопросов.

В качестве примечания: есть признаки того, что Google упростит определение трендовых терминов в полях Похожие запросы, добавив к вопросам удобную метку «Тенденции». Похоже, что Google тестирует это по состоянию на февраль 2023 года , но я сама еще не видела ни одного из этих тестов.

Совет : такие инструменты, как AlsoAsked, также могут упростить это для вас, но опять же, я также рекомендую выполнять поиск вручную в режиме инкогнито, чтобы видеть результаты в режиме реального времени.

Keywords Everywhere

Я большой поклонник этого инструмента , который представляет собой платное (но очень недорогое — моя подписка стоит менее 1 доллара США в месяц) расширение для исследования ключевых слов, которое вы можете добавить в свой браузер. Когда я провожу поиск, он показывает мне предполагаемый объем поиска, уровень конкуренции и связанные ключевые слова прямо в поисковой выдаче.

Одна из моих любимых функций — диаграмма трендовых данных. Несмотря на то, что это в основном бесплатный инструмент, я считаю, что Keywords Everywhere более точно фиксирует актуальные темы, чем традиционное программное обеспечение для исследования ключевых слов.

Помните приведенный выше пример, в котором ChatGPT упоминается как ключевое слово с нулевым объемом поиска (KD) в популярных (платных) инструментах SEO? Keywords Everywhere — один из инструментов, который показал обратное.

Инструменты анализа тенденций

Также доступны бесплатные инструменты тенденций ключевых слов, которые помогут вам быстро определить тенденции поиска по различным темам. К ним относятся:

• Google Тренды
• Exploding Topics
• YouTube Trends
• TikTok Trends
• Pinterest Trends

Я нахожу раздел «Похожие запросы» в Google Trends особенно полезным, как в приведенном ниже примере для «ухода за растениями». Столько идей! В целом, я обнаружила, что эти связанные темы не часто имеют большую конкуренцию в поисковой выдаче, поэтому есть много возможностей для ранжирования.

Отсортируйте раздел «Похожие запросы» по «возрастанию», чтобы увидеть запросы с наибольшей частотой поиска.

Ваша интуиция

Наконец, один из лучших инструментов исследования ключевых слов, который у вас есть, — это вы сами — доверяйте своей интуиции. Если вы активно варитесь в своей отрасли и в целом осведомлены о том, что происходит в мире, вы поймете тенденции, и никаких инструментов не потребуется.

Одним из примеров, с которым мы все слишком хорошо знакомы, является COVID-19. Когда началась пандемия, многие могли задавать знакомые вопросы, например: «Что мне делать?» и «чем я могу помочь?» Вопросы такого типа вписываются в контент-стратегию моего бывшего клиента из сферы здравоохранения, поэтому мы создали статьи, чтобы ответить на них.

Вдохните жизнь в исследование ключевых слов

Описанный выше процесс может показаться дополнительной рутиной по сравнению с платными инструментами, которые сделают это за вас. И вы правы, здесь много работы.

Но если вы добавите некоторые из этих инструментов в свой обычный рабочий процесс или запланируете ежеквартальный мозговой штурм, в ходе которого будете глубоко погружаться, вы обнаружите, что в итоге на это будет уходить не так много времени. Самое главное, стоит ли воздействие дополнительных усилий, и я могу сказать по своему опыту, это определенно так.

И выходя за рамки производительности: может быть, этот процесс даже снова сделает исследование ключевых слов интересным. На мой взгляд, это стоит затраченных усилий.

Эбби Глисон — SEO-специалист по контенту с более чем 6-летним опытом разработки успешных стратегий органического поиска для брендов SaaS и электронной коммерции. Она любит делиться своими знаниями и публиковалась на Moz, Semrush, Search Engine Land и других сайтах.

Твиттер | Линкедин

Original:

https://www.wix.com/seo/learn/resource/find-trending-keywords-for-seo

___

https://t.me/seoshmeo

@seoshmeo

Содержание

• — Может ли Microsoft Word считать повторяющиеся слова?
• — Как подсчитать самые распространенные слова в текстовом документе?
• — Как найти все вхождения слова?
• — Что такое частота встречаемости слов?
• — Как найти наиболее повторяющиеся слова в текстовом файле?
• — Сколько раз слово встречается в документе?
• — Где в слове команда «Найти»?
• — Какой инструмент позволит вам обновить название города словом?
• — Как выделить все по одной букве в слове?
• — Что такое частотный анализ слов?
• — Что вы имеете в виду под частотой?

Может ли Microsoft Word считать повторяющиеся слова?

Нажмите кнопку «Выделение чтения», а затем «Выделить все«найти все повторяющиеся слова и выделить их.

Как подсчитать самые распространенные слова в текстовом документе?

Нажмите Ctrl + F и введите в слове, которое вы хотите найти во всплывающем поле в левой части документа (оно называется «Навигация»). Поиск автоматически найдет все вхождения вашего слова. Это для более поздних версий MS-Word. Для более старых версий нажмите Ctrl + F, и появится диалоговое окно.

Как найти все вхождения слова?

Вы можете использовать функцию «Найти», чтобы выделить все вхождения определенного слова или фразы следующим образом:

1. Выберите «Найти» в меню «Правка» или нажмите [Ctrl] + F. …
2. На вкладке «Найти» введите слово или фразу в элемент управления «Найти».
3. Установите флажок «Выделить все найденные элементы в» (как показано ниже). …
4. Нажмите «Найти все» и нажмите «Закрыть».

Что такое частота встречаемости слов?

Частота слов в счетах контент-анализ подсчитывает, сколько раз определенные слова встречаются в каком-либо тексте или текстах.

Как найти наиболее повторяющиеся слова в текстовом файле?

Алгоритм

1. ШАГ 1: НАЧАТЬ.
2. ШАГ 2: ОПРЕДЕЛЕНИЕ String line, word = «»
3. ШАГ 3: УСТАНОВИТЕ count = 0, maxCount = 0.
4. ШАГ 4: ОПРЕДЕЛЕНИЕ ArrayList слова.
5. ШАГ 5: ИСПОЛЬЗУЙТЕ File Reader, чтобы открыть файл в режиме чтения.
6. ШАГ 6: ПРОЧИТАЙТЕ строку из файла.
7. ШАГ 7: С помощью цикла ПРЕОБРАЗУЙТЕ каждую строку в нижний регистр.
8. ШАГ 8: УДАЛИТЕ знаки препинания.

Сколько раз слово встречается в документе?

Доступ к поиску с помощью Control-F (одновременно нажмите клавиши управления и F). Введите слово, которое хотите найти. Word найдет и выделит все вхождения слова и выделит их для вас — и сообщит вам, сколько раз оно встречается!

Где в слове команда «Найти»?

Чтобы открыть панель поиска из режима редактирования, нажмите Ctrl + F или нажмите Главная> Найти. Найдите текст, введя его в поле Искать в документе…. Word Web App начнет поиск, как только вы начнете печатать.

Какой инструмент позволит вам обновить название города словом?

Вы можете использовать Функция поиска и замены Word чтобы быстро внести исправления. В нашем примере мы воспользуемся функцией «Найти и заменить», чтобы изменить название журнала и сделать его сокращенным. На вкладке «Главная» щелкните команду «Заменить».

Как выделить все по одной букве в слове?

Выделите весь текст в документе или на экране, нажав удерживая клавишу «Ctrl» и нажимая букву «A». 18 представителей службы технической поддержки онлайн! Ответов Microsoft сегодня: 65. Запомните сочетание клавиш «Выбрать все» («Ctrl + A»), связав букву «A» со словом «Все».

Что такое частотный анализ слов?

Это дополнение к MS Word создало список всех слов в документе, упорядоченных по частоте. … Это облегчило обнаружение чрезмерного использования и / или злоупотребления определенным словом или выражением.

Что вы имеете в виду под частотой?

Частота, по физике, количество волн, которые проходят фиксированную точку за единицу времени; также количество циклов или колебаний, которым подвергается тело в периодическом движении за одну единицу времени.

Интересные материалы:

Чем известны лондонцы?
Чем известны узбеки?
Чем хорош «Новый Человек-паук»?
Чем хорош Assassin’s Creed Odyssey?
Чем хорош Disco Elysium?
Чем хорош ДПС в ЭСО?
Чем хорош Fender?
Чем хорош Halo 3?
Чем хорош японский дизайн?
Чем хорош КД в ГТА 5?

Мы уже анализировали самые частые слова в тексте, но делали это быстро, на коленке и с помощью Экселя. Теперь подойдём к этому серьёзно и используем дата-сайенс и Python — с ним такой анализ будет проще, быстрее и эффективнее. Заодно научимся делать такое красивое облако самых частых слов — это из первого тома «Войны и мира»:

Что делаем

Сегодня мы проанализируем текст всех томов «Войны и мира» и посмотрим, изменятся ли самые частые слова, как это будет выглядеть в облаке. Интересно, можно ли по таким облакам хотя бы примерно понять общее настроение или содержание текста.

Логика будет простая:

Вместо художественного текста анализировать так можно что угодно: статьи «Кода», записи в дневнике или инструкцию от пылесоса.

Загружаем текст

Мы всё будем делать в редакторе VS Code — он бесплатный, есть окно вывода сообщений и ошибок, а ещё он умеет сразу показывать сгенерированные картинки в отдельном окне.

Также нам понадобятся все тома «Войны и мира»:

Их нужно положить в ту же папку, где будет скрипт.

Создаём новый python-файл, указываем в нём путь к файлу, потом загружаем в переменную и сразу проверяем, получилось или нет. Для этого выводим первые 300 символов текста:

# открываем текстовый файл
f = open('tom1.txt', "r", encoding="utf-8")
# закидываем его содержимое в переменную
text = f.read()
# выводим начало, чтобы убедиться, что всё считалось правильно
print(text[:300])

Видно, что файл считался нормально, всё на месте. Ещё сразу становится понятно, что в тексте будет много французского языка — это тоже мы учтём при анализе.

Убираем лишнее

Сейчас в тексте много лишнего, что будет мешать анализу:

Исправим это с помощью встроенного модуля String — в нём уже есть почти вся пунктуация, которую мы дополним несколькими символами:

# переводим символы в нижний регистр, чтобы всё было одинаково
text = text.lower()
# подключаем встроенный модуль работы со строками
import string
# добавляем к стандартным знакам пунктуации кавычки и многоточие
spec_chars = string.punctuation + '«»t—…’'
# очищаем текст от знаков препинания
text = "".join([ch for ch in text if ch not in spec_chars])
# подключаем регулярные выражения
import re
# меняем переносы строк на пробелы
text = re.sub('n', ' ', text)
# убираем из текста цифры
text = "".join([ch for ch in text if ch not in string.digits])
# смотрим на результат
print(text[:300])

Текст стал однородным: его теперь сложно читать, зато компьютеру будет легко распознать каждое слово. 

Библиотека NLTK и токенизация

Дальше нам понадобится NLTK — мощная библиотека для обработки текста. Технически это даже не одна библиотека, а набор модулей, внутри которых тоже может быть разное, но для простоты назовём это так.

Токенизация — это сегментация, или разделение текста на отдельные компоненты, а токены — это и есть те самые компоненты. Так как мы ищем самые популярные слова, то нам нужно токенизировать на уровне слов. Например, если токенизировать по словам предложение «и швец, и жнец, и на дуде игрец», то токены будут такие: «и», «швец», «жнец», «на», «дуде», «игрец».

Для установки библиотеки используем команду:

pip install nltk

Для установки отдельных модулей, например, word_tokenize, нам понадобится сделать такое:

Теперь найдём первые 5 самых популярных слов в тексте:

# из библиотеки обработки текста подключаем модуль для токенизации слов
from nltk import word_tokenize
# токенизируем текст
text_tokens = word_tokenize(text)
# подключаем библиотеку для работы с текстом
import nltk
# переводим токены в текстовый формат
text = nltk.Text(text_tokens)
# подключаем статистику 
from nltk.probability import FreqDist
# и считаем слова в тексте по популярности
fdist = FreqDist(text)
# выводим первые 5 популярных слов
print(fdist.most_common(5))

Чистим текст от стоп-слов

Стоп-слова в NLTK — это те слова, которые мешают правильно оценить весь текст. К ним относятся:

Чтобы избавиться от них, используем специальный модуль, в котором уже собраны все стоп-слова из разных языков. Сразу добавим туда стоп-слова из французского языка, так как герои романа часто общаются друг с другом по-французски:

# подключаем модуль со стоп-словами
from nltk.corpus import stopwords
# добавляем русские и французские стоп-слова
russian_stopwords = stopwords.words("russian")
russian_stopwords += stopwords.words("french")
# перестраиваем токены, не учитывая стоп-слова
text_tokens = [token.strip() for token in text_tokens if token not in russian_stopwords]
# снова приводим токены к текстовому виду
text = nltk.Text(text_tokens)
# считаем заново частоту слов
fdist_sw = FreqDist(text)
# показываем самые популярные
print(fdist_sw.most_common(10))

Стало лучше, но появилась новая проблема: судя по первой десятке, герои слишком много говорят — «cказал», «сказала», «говорил». Для чистоты эксперимента их тоже можно убрать из текста, поместив их в список стоп-слов. Туда же отнесём «это» и «что»:

# добавляем свои слова в этот список
russian_stopwords.extend(['это', 'чтò','всё','сказал', 'сказала','говорил','говорила'])
# перестраиваем токены, не учитывая стоп-слова
text_tokens = [token.strip() for token in text_tokens if token not in russian_stopwords]
# снова приводим токены к текстовому виду
text = nltk.Text(text_tokens)
# считаем заново частоту слов
fdist_sw = FreqDist(text)
# показываем самые популярные

Рисуем облако слов

У нас всё готово, чтобы вывести слова в виде красивой картинки: чем чаще встречается слово, тем большим шрифтом оно будет написано. Сделаем это с помощью библиотеки wordcloud, которую нужно будет установить отдельно:

pip install wordcloud

# подключаем библиотеку для создания облака слов
from wordcloud import WordCloud
# и графический модуль, с помощью которого нарисуем это облако
import matplotlib.pyplot as plt
# переводим всё в текстовый формат
text_raw = " ".join(text)
# готовим размер картинки
wordcloud = WordCloud(width=1600, height=800).generate(text_raw)
plt.figure( figsize=(20,10), facecolor='k')
# добавляем туда облако слов
plt.imshow(wordcloud)
# выключаем оси и подписи
plt.axis("off")
# убираем рамку вокруг
plt.tight_layout(pad=0)
# выводим картинку на экран
plt.show()

Точно так же получаем картинки для второго, третьего и четвёртого тома — просто меняем название файла в первой команде скрипта и запускаем код:

Что с этим можно сделать

Вот несколько идей:

Что-то из этого мы сделаем в будущем. Или это вы сделаете сами, потому что пойдёте заниматься дата-сайенсом впереди нас.

У меня есть список вроде следующего:

group = [
#Group 1 ('aaa bbbb' the most common words = two words)
['aaaa bbbb nnnn',   #<-- row 1
 'aaaa bbbb oooo',   #<-- row 2
 'aaaa bbbb pppp'],   #<-- row 3

#Group 2 ('hello' the most common word = one word)
['hello Jack   T.',  #<-- row 1
 'hello Ramona D.',  #<-- row 2
 'hello Robert G.'], #<-- row 3

#Group 3 ('yes! go go' the most common words = the whole string)
['yes! go go',      #<-- row 1
 'yes! go go',      #<-- row 2
 'yes! go go',      #<-- row 3     
 'yes! go go'],     #<-- row 4    

#Group 4 (only one word  = it's an invalid group)
['python'],          #<-- row 1 

#Group 5 (only one word = it's an invalid group)
['java']            #<-- row 1

]

Мне нужно найти наиболее распространенные слова для каждой группы и сохранить их в новом списке:

Как это:

OUT : ['aaaa','hello','yes! go go']

Но в третьей группе есть повторяющиеся слова -> «иди, иди», и мне нужны оба, поэтому
реальный выход:

OUT : ['aaaa','hello','yes! go']

Это рабочий код

#Try to count words for each group
for groups in group:
    #how many groups ?
    nGroup = len(groups)
    #join lists
    words = " ".join(groups).split()

Я получил:

WORDS [‘aaaa’, ‘bbbb’, ‘nnnn’, ‘aaaa’, ‘bbbb’, ‘oooo’, ‘aaaa’, ‘bbbb’, ‘pppp’]
WORDS [‘hello’, ‘Jack’, ‘T.’, ‘hello’, ‘Ramona’, ‘D.’, ‘hello’, ‘Robert’, ‘G.’]
WORDS [‘java’]
WORDS [‘python’]
WORDS [‘yes!’, ‘go’, ‘go’, ‘yes!’, ‘go’, ‘go’, ‘yes!’, ‘go’, ‘go’, ‘yes!’, ‘go’, ‘go’]

    #how many identical rows ?
    rows = collections.Counter(words)
    #what's the common words for each row ?
    wCommon = rows.most_common()
    #how often that's?
    mCommon = rows.most_common(1)[0][1]
    print (f"wCommon :{wCommon}  rows :{rows}  mCommon :{mCommon}")

Я получил:

#Group 1
wCommon :[('aaaa', 3), ('bbbb', 3),
      ('nnnn', 1), ('oooo', 1),
      ('pppp', 1)]
rows :Counter({'aaaa': 3, 'bbbb': 3,
           'nnnn': 1, 'oooo': 1,
           'pppp': 1})
mCommon :3        


#Group 2
wCommon :[('hello', 3), ('Jack', 1), ('T.', 1),
      ('Ramona', 1), ('D.', 1),
      ('Robert', 1), ('G.', 1)]
rows:Counter({'hello': 3, 'Jack': 1, 'T.': 1,
          'Ramona': 1, 'D.': 1,
          'Robert': 1, 'G.': 1})
mCommon:3


#Group 3
wCommon :[('java', 1)]  rows:Counter({'java': 1})  mCommon:1
#Group 4
wCommon :[('python', 1)]  rows:Counter({'python': 1})  mCommon:1
#Group 5
wCommon :[('go', 8), ('yes!', 4)]  rows:Counter({'go': 8, 'yes!': 4})
mCommon:8

Следующий список является исходным, но он может изменяться.
Я попробовал разбить его на группы и посчитать общие слова для каждой строки …
Например:

aaaa, hello , yes! go go

Но иногда встречаются одно или несколько общих слов, например «аааа bbbb». Как это получить?
или дубликаты типа «иди», и в этом случае это не сработает

Список_1 = [

 "aaaa bbbb nnnn",
 "aaaa bbbb oooo",
 "aaaa bbbb pppp",
 "hello Ramona D.",
 "hello Jack   T.",
 "hello Robert G.",
 "yes! go go",
 "yes! go go",
 "yes! go go",
 "yes! go go",
 "python",
 "java"

]