Как найти фамилию в тексте

Время прочтения: 3 мин.

В современном мире все организации, которые так или иначе работают с персональными данными клиентов, сталкиваются с проблемой как эти данные обезопасить от случайного или намеренного обнародования.

Нашей группе разработчиков поступила задача выявить в большом количестве документов персональные данные вида «ФИО + номер телефона». Но если номер телефона легко найти в тексте при помощи простейшего regex’а, то как быть с именами клиентов?

И тут к нам на помощь приходит Наташа! Ну, то есть, Natasha. Та, которая извлекает структурированную информацию – в нашем случае фамилию, имя и отчество – из текста на русском языке.

Для всех следующих примеров текста будем использовать базовый код для поиска ФИО:

from natasha import (
    Segmenter,
    MorphVocab,  
    PER,
    NamesExtractor,
    NewsNERTagger,   
    NewsEmbedding,
    Doc
)
 
emb = NewsEmbedding()
segmenter = Segmenter()
morph_vocab = MorphVocab()
ner_tagger = NewsNERTagger(emb)
names_extractor = NamesExtractor(morph_vocab)
 
text =  ''  #текст добавляем сюда

doc = Doc(text)
 
doc.segment(segmenter)
 
doc.tag_ner(ner_tagger)
 
for span in doc.spans:
    span.normalize(morph_vocab)
{_.text: _.normal for _ in doc.spans}
 
for span in doc.spans:
    if span.type == PER:
        span.extract_fact(names_extractor)
   
{_.normal: _.fact.as_dict for _ in doc.spans if _.fact}

Для проверки работы используем простой текст, содержащий несколько ФИО:

text = 'Добрый день, Галина Петровна! Прошу выполнить заявку Прокина Николая Владимировича от 31.05.2020 и предоставить необходимые доступы следующим сотрудникам: Бирякову Алексею Александровичу, Носовой Анне Сергеевне. Спасибо.'

Незамедлительно получаем следующий результат:

{'Галина Петровна': {'first': 'Галина',
  'middle': 'Петровна'},
'Бирякову Алексею Александровичу': {'first': 'Алексею',
  'last': 'Бирякову',
  'middle': 'Александровичу'},
'Носовой Анне Сергеевне': {'first': 'Анне',
  'last': 'Носовой',
  'middle': 'Сергеевне'}}

Отличный результат, не правда ли? Таким образом из большого текста за секунды можно получить все упоминаемые имена, фамилии и отчества. И, объединив этот метод с поиском номеров телефонов, мы легко и просто находим все персональные данные клиентов, чтобы в дальнейшем их скрыть или удалить из документов.

Но, к сожалению, и в этой бочке меда нашлось место ложке дегтя.

Если мы попробуем использовать другой текст:

text = 'Любимая Галина Петровна! Давно хочу рассказать вам о своих чувствах! Ваш Сындыкмаа Шожул.'

То получим следующий результат:

{'Любимая Галина Петровна': {'first': 'Галина',
  'last': 'Любимая',
  'middle': 'Петровна'}}

И вот, сердечное обращение «Любимая» с легкой руки Natasha превращается в фамилию Галины Петровны, а вполне обычное тувинское имя вообще перестает быть именем и фамилией.

Но это все частные случаи, и в общем объеме данных такие примеры могут даже и не встретиться. Тем не менее, стоит помнить, что даже Natasha может пропустить что-то важное, несмотря на то, что она является самой используемой библиотекой для задач NER на русском языке и весьма качественной —  на habr даже приводилось исследование, в котором выяснилось, что для новостных статей качество на всех задачах у Natasha сравнимо или превосходит существующие решения.

Конечно, нельзя ожидать от модели машинного обучения 100% точности, поэтому мы считаем, что для нашей задачи Natasha сработала отлично, и результатами мы остались удовлетворены.

Перед вами максимально простая в использовании утилита. Вы можете вытащить ФИО из любого файла: будь то текстовый документ, HTML, электронная почта. Программа распознает как русские, так и иностранные имена.

Как использовать инструмент

Скопируйте текст, который вы хотите изменить, и вставьте его в поле. Заполните настройки и нажмите кнопку «Выполнить». Большой текст можно загрузить файлом. Далее скопируйте из соседнего окна получившийся текст или выгрузите файл.

Почему инструмент полезен

Чтобы вычленить ФИО из большого объема данных, вам не нужно искать специальные настройки, тратить много времени, чтобы сделать это вручную, пользоваться сложными программами или кодами. Чтобы упорядочить клиентские базы, перечни сотрудников или учащихся, телефонные книги — начните работу с нашим инструментом и быстро получите список имен.

Преимущества работы с сервисом

Texter не требует платы или регистрации. Избавьтесь от большого объема рутинной работы благодаря быстрому форматированию текстов любых видов и размеров. На главной странице доступны бесплатные онлайн-инструменты, которые позволяют улучшить текст за несколько кликов мышью.

Возможности

Если при работе с большими объемами текста вам требуется найти и заменить слово или фразу, а также удалить или найти вхождение элемента, то используйте встроенные функции программы:

1. Найти и заменить — находит и заменяет элемент.
2. Найти и удалить — находит и удаляет нужный элемент.
3. Найти и подсветить — находит искомое значение и подсвечивает контрастным цветом.

Незаменимый помощник для редактора, копирайтера, маркетолога и специалиста по контекстной рекламе. Скрипт производит массовые операции во всем тексте с символами (пробелы, иконки, знаки), а также буквами, словами, выражениями, словосочетаниями и фразами.

Подстановочные символы (скоро)

Подстановочные знаки можно использовать при поиске и замене содержимого, когда искомое значение может удовлетворять множеству значений.

? (вопросительный знак) — используется в качестве фильтра для одного любого символа. Например, условие «дро?а» будет соответствовать словам «дрова» , «дрофа» или «дрона» .
* (звездочка) — используется чтобы найти выражение с любым количеством символов. Для примера, условие «красн*» соответствует словам «красная» , красного» , «краснуха» , «красненького» и т.д.

Инструмент заменяет привычный Word и Excel и позволяет искать, заменять или удалять элементы онлайн, когда привычные пакетные офисные программы отсутствуют под рукой.

Инструкция

Найти и заменить

1. Выберите функцию Найти и заменить (доступа по умолчанию);
2. Вставьте исходный текст для изменения;
3. В строке Найти укажите искомое слово или фразу;
4. В поле Заменить введите новое значение;
5. Нажмите на кнопку Выполнить. Алгоритм найдет все вхождения и заменит.

Найти и удалить

1. Выберите функцию Найти и удалить;
2. Вставьте исходный текст в текстовое окно;
3. В строке Найти укажите слово или фразу для удаления;
4. Нажмите на Выполнить. Алгоритм удалит все найденные значения.

Найти и выделить

1. Чтобы подсветить буквы или слово, выберите нужную функцию;
2. Укажите ключ-значение в поле Найти;
3. Далее кнопка Выполнить для определения всех значений.

Примечание. В нижней части формы программа укажет сколько было найдено и изменено вхождений в тексте.

С лёгкостью можно отправить полученный результат в буфер обмена — просто нажмите на кнопку Скопировать в самом низу.

Узнать подробнее →