Как найти текст на экспорт

• Для начинающих: Поиск с параметрами. Часть I
• Полевые испытания: Проблема внутреннего содержания
• Учим матчасть: Экспорт файлов
• Полезный скрипт: Пропал кусок текста: «зовут дядя Федор»

Содержание

Для начинающих: Поиск с параметрами. Часть I

Полевые испытания: Проблема внутреннего содержания

Учим матчасть: Экспорт файлов

Полезный скрипт: Пропал кусок текста: «зовут дядя Федор»

Для начинающих ▲

Поиск с параметрами. Часть I

Мы уже рассматривали механизмы поиска текста в InDesign в общем виде. Теперь закрепим знания, решив практическую задачу по обработке текста при помощи «умной» замены.

Наглядным примером необходимости такой замены является телепрограмма. Разделителем между часами и минутами во времени начала передачи бывает либо точка, либо двоеточие: «12.30» или «12:30». Как правильно – не столь важно, основная задача зачастую в том, чтобы привести текст к одному виду, в нашем случае пусть будет точка. Вручную заменять текст – долго и трудно, а штатные средства InDesign не позволят выполнить замену двоеточия между цифрами на точку без дополнительных ухищрений (подробно описано в статье …). В решении таких задач скрипты оказывают помощь, которую трудно переоценить.

Проблема замены двоеточия на точку между двумя цифрами (и только между ними) с помощью скриптов решается как минимум двумя путями. Первый основывается на том, что метод search() возвращает массив текстовых объектов, каждый элемент которого также может быть обработан в цикле.

smartFindChange.jsx

Скрипт заменяет двоеточие между цифрами на точку

with (app) {
  var myDoc = documents.add();
  var myTextFrame = myDoc.textFrames.add({visibleBounds: [10,10,60,60]});
// Создаем текстовый фрейм  
  myTextFrame.contents = "18:10 - 19:10 - профилактика. 21:10 художественный фильм.";
  var myStory = myTextFrame.parentStory;
  findPreferences = null;
  changePreferences = null;
// Обнуляем дополнительные настройки поиска и замены
  var myResult = myStory.search("^9:^9", false, false);
// Ищем текст с помощью спецзнаков: "любая цифра:любая цифра"
  for (var counter = 0; counter < myResult.length; counter++) {
// В каждом найденнном тексте выполняем замену двоеточия на точку
    myResult[counter].search(":", false, false, ".");
  }
}

Несомненным и очевидным плюсом такого решения является то, что скрипт по определению не может нарушить форматирование текста, которое уже было сделано до запуска. Минус такого решения – медленное выполнение, поскольку для каждого найденного текста выполняется отдельный поиск с заменой. При обработке достаточно объемной телепрограммы скрипт будет работать крайне медленно (при достижении критического значения найденных текстов – 10 000 и более – вообще возможно зависание).

Для убыстрения обработки текста есть другой метод, основанный на временном применении к найденным текстам специально созданного стиля знака. Замена выполняется при помощи одного вызова метода search(), что значительно убыстряет обработку, однако одновременно возникает риск нарушить ранее установленное форматирование. Как в механике: выигрываешь в расстоянии – проигрываешь во времени.

smartFindChangeUseStyle.jsx

Скрипт демонстрирует поиск-замену с использованием временного стиля

with (app) {
  var myDoc = documents.add();
  var myStyle = myDoc.characterStyles.add();
// Создаем новый стиль знака без настроек
  var myTextFrame = myDoc.textFrames.add({visibleBounds: [10,10,60,60]});
// Создаем текстовый фрейм  
  myTextFrame.contents = "18:10 - 19:10 - профилактика. 21:10 художественный фильм.";
  var myStory = myTextFrame.parentStory;
  findPreferences = null;
  changePreferences = null;
// Обнуляем дополнительные настройки поиска и замены
  changePreferences.appliedCharacterStyle = myStyle;
// Указываем, что при поиске найденный текст будет форматироваться созданным стилем
  myStory.search("^9:^9", false, false);
// Ищем текст с помощью спецзнаков: "любая цифра:любая цифра"
  changePreferences = null;
// Обнуляем настройки замены
  findPreferences.appliedCharacterStyle = myStyle;
// Указываем, что при следующем поиске нужно искать только тексты, к которым присвоен созданный стиль
  myStory.search(":", false, false, ".");
// Заменяем двоеточие на точку
  myStyle.remove();
// Удаляем созданный стиль
  findPreferences = null;
  changePreferences = null;
// Обнуляем дополнительные настройки поиска и замены  
}

Полевые испытания ▲

Проблема внутреннего содержания

Содержимое (contents) текстовых фреймов бывает разным. В подавляющем большинстве случаев содержимое может быть представлено как текст в формате Unicode, в том числе и многие специальные символы, например, неразрывный пробел. Однако есть тип символов, которые не могут быть представлены как Unicode-последовательность. Как с ними правильно работать?

В первую очередь неплохо разобраться, что такое уникод (Unicode). В целом это кодировка, которая дает возможность использования почти 65 тысяч различных знаков. Это означает, что системы, поддерживающие такую кодировку, могут поддерживать различные национальные языки без перенастройки. Шрифты, поддерживающие уникод, могут использоваться для записи текстов на разных языках; один и тот же шрифт может применяться для записи английского, немецкого, русского, украинского текста и для многих других, вплоть до арабского. Причем в программах, правильно воспринимающих Уникод, эти тексты должны выглядеть одинаково. Кроме букв и разнообразных знаков препинания, в Уникоде поддерживается большое количество специальных символов, в том числе несколько видов пробельных символов.

В качестве эксперимента можно экспортировать текст из InDesign в текстовый файл в кодировке Unicode и открыть его в другой программе, поддерживающей эту кодировку, например в MS Word. За исключением некоторых знаков текст будет выглядеть идентично. Однако, если текст, экспортированный из InDesign в уникод-формате, поместить в другой документ InDesign, то полной идентичности все равно не будет. Попробуйте ради эксперимента перенести текст, содержащий символ Auto Page Number через экспорт в файл в кодировке Unicode. Ничего не получится, поскольку этот символ не является символом Уникода, а представляет группу символов «надстройки» над уникодом. Такие символы воспринимаются только в InDesign (и в InCopy – по понятным причинам).

В документации от Adobe приведен полный список таких символов с указанием их значений (десятизначное число). Все эти значения являются свойствами нумератора SpecialCharacters, который содержит 38 (справедливо для InDesign CS2, в других версиях может быть меньше или больше) свойств для обозначения различных специальных символов. Некоторые специальные символы могут быть представлены в виде уникод-начения, но производители InDesign отчего-то посчитали нужным представить их в виде свойств нумератора SpecialCharacters.

Например, специальный символ Bullet («пуля») имеет уникод-значение 2022 и значение нумератора SpecialCharacters.bulletCharacter. Значения эти можно использовать следующим образом.

unicodeBullet.jsx

Скрипт демонстрирует использование уникод-значения символа Bullet

with (app) {
  var myDoc = documents.add();
  var myTextFrame = myDoc.textFrames.add({visibleBounds: [10,10,60,60]});
// Создаем текстовый фрейм  
  myTextFrame.contents = "u2022 Пункт первый";
// Указываем содержимое с использованием уникода
}

specialBulle.jsx

Скрипт демонстрирует использование специального значения символа Bullet

with (app) {
  var myDoc = documents.add();
  var myTextFrame = myDoc.textFrames.add({visibleBounds: [10,10,60,60]});
// Создаем текстовый фрейм  
  myTextFrame.contents = " Пункт первый";
  myTextFrame.insertionPoints.firstItem().contents = SpecialCharacters.bulletCharacter;
// Указываем содержимое первой ТОЧКИ ВСТАВКИ при помощи нумератора
}

Почему акцент сделан именно на использовании точки вставки (insertionPoint)? Потому, что это наиболее часто используемый метод. Вообще, вставлять дополнительный текст в уже существующий удобнее всего методом изменения свойства contents нужной точки вставки (потому она так и называется – точка вставки). Для замены текста можно изменять свойство contents у объектов другого типа, например, знаков (character), слов (word), абзацев (paragraph) и др.

insertionPointContents.jsx

Скрипт демонстрирует использование insertionPoint для вставки дополнительного текста в исходный

with (app) {
  var myDoc = documents.add();
  var myTextFrame = myDoc.textFrames.add({visibleBounds: [10,10,60,60]});
// Создаем текстовый фрейм  
  myTextFrame.insertionPoints.firstItem().contents = " Пункт первый";
// Указываем содержимое первой точки вставки вместо указания содержимого текстового фрейма
  myTextFrame.insertionPoints.firstItem().contents = SpecialCharacters.bulletCharacter;
// Указываем содержимое первой точки вставки при помощи нумератора
}

Заметим, что изменение свойства contents у точки вставки автоматически создает новый текст после этой точки, при этом содержимое самой точки вставки не меняется (оно по определению является пустым текстовым значением). Поэтому можно вставлять новый текст без опасения удалить или изменить ранее вставленный.

Специальные символы нумератора SpecialCharacters, в отличие от простого текста, следует вставлять только по одному. Дело в том, что значением свойства нумератора является десятизначное число, поэтому при использовании выражения вида myTextFrame.insertionPoints.firstItem().contents = SpecialCharacters.bulletCharacter + SpecialCharacters.indentHereTab происходит следующее. Десятичные значения свойств SpecialCharacters.bulletCharacter и SpecialCharacters.indentHereTab складываются, полученное значение скрипт пытается вставить в текст, что в большинстве случаев вызывает ошибку выполнения.

insertTwoSpecial.jsx

Скрипт демонстрирует вставку двух специальных символов последовательно

with (app) {
  var myDoc = documents.add();
  var myTextFrame = myDoc.textFrames.add({visibleBounds: [10,10,60,60]});
// Создаем текстовый фрейм  
  myTextFrame.contents = "Вечор, ты помнишь, вьюга злилась, на мутном небе мгла носилась, луна, как бледное стекло, сквозь тучи мрачные желтела, и ты печальная сидела. А нынче - погляди в окно!";
  myTextFrame.insertionPoints.firstItem().contents = SpecialCharacters.indentHereTab;
// Указываем содержимое первой точки вставки при помощи нумератора  
  myTextFrame.insertionPoints.firstItem().contents = SpecialCharacters.bulletCharacter;
// Указываем содержимое первой точки вставки при помощи нумератора
}

Важно запомнить, что сначала вставляется символ, который должен быть самым левым (при записи слева направо, наоборот, самым правым) во вставляемом тексте.

Кроме вставки специальных символов, не менее частой задачей является удаление таких символов, как правило, разнообразных break-символов (force line break, frame break, page break и т.п.). Как это делается?

Как уже было сказано, специальные символы бывают двух видов. Для некоторых предусмотрено уникод-значение (например, force line break). С обработкой таких символов проблем, как правило, не возникает. При поиске можно воспользоваться либо уникод-значением такого символа, либо специальным символом поиска в InDesign (можно посмотреть в диалоге поиска-замены).

specialFindChange.jsx

Скрипт демонстрирует поиск-замену с использованием специальных символов

with (app) {
  try {
    var myDoc = activeDocument;
  } catch (error) {
    exit();
  }
  try {
    var myStory = selection[0].parentStory;
  } catch (error) {
    exit();
  }
  myStory.search("^n", false, false, "^p");
// Заменяем force line break на знак конца абзаца
}

Тот же результат при использовании уникод-значений.

unicodeFindChange.jsx

Скрипт демонстрирует поиск-замену с использованием уникод-значений специальных символов

with (app) {
  try {
    var myDoc = activeDocument;
  } catch (error) {
    exit();
  }
  try {
    var myStory = selection[0].parentStory;
  } catch (error) {
    exit();
  }
  myStory.search("u000A", false, false, "u000D");
// Заменяем force line break на знак конца абзаца
}

Но не все специальные символы имеют уникод-значение. Некоторые являются «надстройкой» над обычным знаком. Например, column break использует уникод-значение 000D, что соответствует знаку конца абзаца. Как обработать такие символы? Для этого нужно найти все знаки, для которых специальные символы являются дополнением, и проверить их свойство contents. Если свойство содержит одно из значений нумератора специальных символов (или просто не соответствует стандартному текстовому значению), значит, найденный знак является специальным символом.

removeAllBreaks.jsx

Скрипт заменяет все break-символы, кроме force line break, на символы конца абзаца

with (app) {
  try {
    var myDoc = activeDocument;
  } catch (error) {
    exit();
  }
  try {
    var myStory = selection[0].parentStory;
  } catch (error) {
    exit();
  }
  var myResult = myStory.search("^p", false, false);
// Ищем все знаки абзаца
  for (var counter = 0; counter < myResult.length; counter++) {
    if (myResult[counter].contents != "u000D") {
      myResult[counter].contents = "u000D";
    }
  }
}

Учим матчасть ▲

Экспорт файлов

Как правило, файлы InDesign в качестве конечного продукта не используются. Созданные документы либо печатаются, либо экспортируются в другой формат для дальнейшего использования.

В отличие от метода импорта файлов, который для разных объектов имеет свои нюансы, метод экспорта для всех объектов, которые можно экспортировать, определен одинаково. Формат его таков: exportFile(format, to, showOptions, preset), где format – одно из значений нумератора ExportFormat, которое определяет типа файла, to – имя файла для экспорта, showOptions – логическая переменная, которая определяет, будет ли показан диалог экспорта, специфичный для выбранного типа (необязательный параметр, по умолчанию – false), preset – стиль экспорта, актуален пока только для экспорта в формат pdf – Adobe PDF Presets (необязательный параметр).

Вот список доступных свойств нумератора ExportFormat и их десятичные значения:

ExportFormat.epsType – 1952400720

ExportFormat.inCopy – 1768842084

ExportFormat.jpg – 1246775072

ExportFormat.pdfType – 1952403524

ExportFormat.rtf – 1381254688

ExportFormat.svg – 1398163232

ExportFormat.svgCompressed – 1398163267

ExportFormat.taggedText – 1416066168

ExportFormat.textType – 1952412773

ExportFormat.xml – 1481460768

При экспорте текста в текстовые форматы (rtf, taggedText, textType) можно экспортировать как полный текст статьи, используя метод exportFile() объекта story, так и текст отдельного текстового фрейма – метод exportFile() объекта textFrame, или произвольный текст.

storyTextExport.jsx

Скрипт экспортирует в текстовый формат весь текст статьи

with (app) {
  var myDoc = documents.add();
  var myTextFrame = myDoc.pages[0].textFrames.add({visibleBounds: [10,10,60,60]});
// Создаем текстовый фрейм  
  myTextFrame.contents = "Однажды в студеную зимнюю пору я из лесу вышел - был сильный мороз. Гляжу, поднимается медленно в гору лошадка, везущая хворосту воз.";
// Задаем содержимое фрейма
  var myFile = Folder.myDocuments.saveDlg("Выберите файл для сохранения:", "Текстовые файлы:*.txt");
// Выбираем файл для сохранения
  if (!myFile) {
    exit();
  }
  myTextFrame.parentStory.exportFile(ExportFormat.textType, myFile);
// Экспортируем файл
  myFile.execute();
// Выполняем файл
}

textTextExport.jsx

Скрипт экспортирует в текстовый формат произвольно выбранный текст статьи

with (app) {
  var myDoc = documents.add();
  var myTextFrame = myDoc.pages[0].textFrames.add({visibleBounds: [10,10,60,60]});
// Создаем текстовый фрейм  
  myTextFrame.contents = "Однажды в студеную зимнюю пору я из лесу вышел - был сильный мороз. Гляжу, поднимается медленно в гору лошадка, везущая хворосту воз.";
// Задаем содержимое фрейма
  with (myTextFrame.parentStory.insertionPoints) {
    var myText = itemByRange(firstItem(), anyItem());
// Определяем произвольный текст для экспорта
  }
  var myFile = Folder.myDocuments.saveDlg("Выберите файл для сохранения:", "Текстовые файлы:*.txt");
// Выбираем файл для сохранения
  if (!myFile) {
    exit();
  }
  myText.exportFile(ExportFormat.textType, myFile);
// Экспортируем файл
  myFile.execute();
// Выполняем файл
}

При экспорте объектов (в том числе и текстовых) в графические файлы (jpg, pdf, eps, svg) несколько сложнее, потому как при вызове метода exportFile(), например, для объекта типа rectangle экспортируется вся страница (или страницы, если их несколько) документа.

exportRectangle.jsx

Скрипт экспортирует выбранный объект в jpg

with (app) {
  var myDoc = documents.add();
  var myRectangle = myDoc.pages.add().rectangles.add({visibleBounds: [10,10,60,60]});
// Создаем прямоугольник на новой странице
  with (myRectangle) {
    strokeColor = "Black";
    strokeType = "Solid";
// Определяем произвольный текст для экспорта
  }
  var myFile = Folder.myDocuments.saveDlg("Выберите файл для сохранения:", "jpg:*.jpg");
// Выбираем файл для сохранения
  if (!myFile) {
    exit();
  }
  myRectangle.exportFile(ExportFormat.jpg, myFile);
// Экспортируем файл
  myFile.execute();
// Выполняем файл
}

Для того чтобы экспортировать отдельный объект в графический файл, нужно его перед этим выделить и указать в диалоге экспорта, что экспортироваться должен выделенный объект. Не все форматы поддерживают экспорт выделенных объектов, например, eps признает только страницы или развороты.

exportSelectedObject.jsx

Скрипт экспортирует в формат jpg только выделенный объект

with (app) {
  var myDoc = documents.add();
  var myRectangle = myDoc.pages.add().rectangles.add({visibleBounds: [10,10,60,60]});
// Создаем прямоугольник на новой странице
  with (myRectangle) {
    strokeColor = "Black";
    strokeType = "Solid";
// Определяем произвольный текст для экспорта
  }
  var myFile = Folder.myDocuments.saveDlg("Выберите файл для сохранения:", "jpg:*.jpg");
// Выбираем файл для сохранения
  if (!myFile) {
    exit();
  }
  myRectangle.select();
  myRectangle.exportFile(ExportFormat.jpg, myFile, true);
// Экспортируем файл
  myFile.execute();
// Выполняем файл
}

Одной из наиболее популярных задач экспорта является постраничный экспорт документа в pdf. В следующий раз мы напишем скрипт, который будет экспортировать выбранный диапазон страниц постранично в pdf на основе выбранного стиля экспорта.

Полезный скрипт ▲

Пропал кусок текста: «зовут дядя Федор»

Иногда текст не помещается в установленные ему границы. Это не проблема, когда в публикации две-три статьи. Если счет статей идет на десятки, а связанных фреймов – на сотни, то поиск пропавшего хвостика текста – задача нетривиальная, иногда даже опытные корректора пропускают такую неприятную ошибку

Чтобы минимизировать время на поиск проблемных текстовых фреймов (тех, в которых есть overflow), был написан скрипт OFCatcher.jsx. Вкратце суть его работы в поиске статей, которые имеют свойство overflow (переполнение). Последний фрейм таких статей подсвечивается, информация о том, на какой странице находится проблемный фрейм, сохраняется в текстовый файл, который открывается в стандартном текстовом редакторе. Если проблемных фреймов не найдено, то скрипт сообщает об этом. Если проблемы были устранены между запусками скрипта, то подсветка проблемных фреймов удаляется.

OFCatcher.jsx

Скрипт для «отлова» переполненных текстовых фреймов.

var langAlertNoDoc = localize({en: "No documents are open!", ru: "Нет открытых документов!"});
var langAlertAllRight = localize({en: "Problem textframes it is not revealed!", ru: "Проблемных текстовых фреймов не обнаружено!"});
var langReportHeader = localize({en: "The report on problem textframes:", ru: "Отчет о проблемных текстовых фреймах:"});
var langReportPage = localize({en: "Page", ru: "Страница"});
var langReportLine = localize({en: "Line", ru: "Строка"});
var iniScriptName = "Overflow catcher";
var iniScriptVersion = "1.0";
var iniReportFile = "ofReport.txt";
var iniLabel = "&&WARNING!";
function getParent (myObject, myType) {
  while (myObject.constructor.name != "Application") {
    if (myObject.constructor.name == myType) {
      return myObject;
    } else {
      myObject = myObject.parent;
    }
  }
  return null;
}
function findDoubles (myArray, myElement) {
  for (var elementCounter = 0; elementCounter < myArray.length; elementCounter++) {
    if (myArray[elementCounter] == myElement) {
      return true;
    }
  }
  return false;
}
function getPrevPageFrame (myTextFrame) {
  try {
    while (myTextFrame)  {
      if (getParent(myTextFrame, "Page") != null) {
        return myTextFrame;
      } else {
        myTextFrame = myTextFrame.previousTextFrame;
      }
    } 
    return null;
  } catch (error) {
    return null;
  }
}
function removeWarnings() {
  var myRectangles = new Array;
  for (var rectCounter = 0; rectCounter < myDoc.rectangles.length; rectCounter++) {
    var myRectangle =  myDoc.rectangles[rectCounter];
    if (myRectangle.extractLabel(iniLabel) == "true") {
      myRectangles.push(myRectangle);
    }
  }
  myRectangles.reverse();
  for (var rectCounter = 0; rectCounter < myRectangles.length; rectCounter++) {
    myRectangles[rectCounter].remove();
  }
}
function setWarnings (myTextFrames) {
  var myResult = iniScriptName + " " + iniScriptVersion + "nOlegButrin | indesign.rudtp.ru | obutrin@indesign.rudtp.runn" + langReportHeader + "nn";
  for (var frameCounter = 0; frameCounter < myTextFrames.length; frameCounter++) {
    var myFrame = myTextFrames[frameCounter];
    var myPage = getParent(myFrame, "Page");
    var myDoc = getParent(myPage, "Document");  
    myResult += langReportPage + " " + String(myPage.name) + ",t" + langReportLine + ": "" + String(myFrame.lines.lastItem().contents)  + "".n";
    var myRectanle = myPage.rectangles.add({visibleBounds: myFrame.visibleBounds, strokeWeight: "2pt", strokeType: "Solid", strokeColor: myDoc.colors.item("Magenta"), strokeTint: 100, nonprinting: true, strokeAlignment: StrokeAlignment.outsideAlignment});
    myRectanle.insertLabel(iniLabel, "true");
  }
  return myResult;
}
function getOverFrames(myDoc) {
  var myResult = new Array;
  for (var storyCounter = 0; storyCounter < myDoc.stories.length; storyCounter++) {
    var myStory = myDoc.stories[storyCounter];
    for (var frameCounter = 0; frameCounter < myStory.textFrames.length; frameCounter++) {
      if (getParent(myStory.textFrames[frameCounter], "Page") == null) {
        var myFrame = getPrevPageFrame(myStory.textFrames[frameCounter]);
        if (myFrame != null && !findDoubles (myResult, myFrame)) {
          myResult.push(myFrame);
        }
      }
      if (myStory.overflows) {
        var myFrame = getPrevPageFrame(myStory.textFrames.lastItem());
        if (myFrame != null && !findDoubles (myResult, myFrame)) {
          myResult.push(myFrame);
        }        
      }
    }
  }
  return myResult;
}
with (app) {
  try {
    var myDoc = activeDocument;
  } catch (error) {
    alert(langAlertNoDoc);
    exit();
  }
  removeWarnings();
  var myFrames = getOverFrames(myDoc);
  if (myFrames.length == 0) {
    alert(langAlertAllRight);
    exit();
  } else {
    var myReport = setWarnings(myFrames);
    var myFile = new File(activeScript.path + "/" + iniReportFile);
    try {
      myFile.open("w");
      myFile.write(myReport);
      myFile.close();
      myFile.execute();
    } catch (error) {
      alert(error);
      exit();
    }
  }
}

---

Олег Бутрин
THINK.JS выпуск № 13 от 2007-01-29

Поиск и экспорт в Сейфе: начало работы

Google Сейф предназначен для администраторов и сотрудников юридического отдела. Чтобы вы могли использовать Сейф, администратор Google Workspace должен настроить ваш аккаунт. Подробнее о функциях администратора и о том, как его найти…

В этом руководстве описано, как в Сейфе работает предоставление электронных документов – функция, которая помогает при поиске и экспорте данных Google Workspace.

Содержание

• Шаг 1. Войдите в Сейф
• Шаг 2. Создайте дело
• Шаг 3. Выполните поиск данных
• Шаг 4. Проверьте результаты
• Шаг 5. Сохраните поисковый запрос
• Шаг 6. Экспортируйте результаты для дальнейшего анализа
• Другие задачи, которые можно решать с помощью Сейфа

Шаг 1. Войдите в Сейф

Откройте страницу https://vault.google.com и войдите, используя аккаунт Google Workspace.

Примечание. Если вы не можете войти в Сейф, попросите администратора Google Workspace предоставить вам необходимые разрешения.

Шаг 2. Создайте дело

Поиск и экспорт пользовательских данных осуществляется в рабочей области под названием дело. Его можно считать папкой для хранения поисковых запросов и пакетов с данными для экспорта. Вы можете предоставлять доступ к делам другим пользователям, в том числе внешним.

1. Нажмите ДелаСоздать.

   Примечание. Если кнопка Создать недоступна, получите необходимые разрешения у администратора Google Workspace.

2. Введите название дела и при необходимости его описание.
3. Нажмите Создать.

Шаг 3. Выполните поиск данных

Созданное на шаге 2 дело откроется на вкладке Поиск. Теперь вы можете начать поиск.

Примечание. Если вкладки Поиск нет, получите необходимые разрешения у администратора Google Workspace.

1. Выберите сервис Google, например Gmail, по данным которого нужно выполнить поиск.
2. Укажите параметры поиска. Вы можете выбрать аккаунты и условия. Например:

   • Поиск сообщений, отправленных определенными пользователями. Введите адрес электронной почты в поле Адреса электронной почты аккаунта или воспользуйтесь операторами поиска, например from:user1@example.com и to:user2@example.com.

   • Поиск сообщений с указанной фразой. Сообщения в корпоративных аккаунтах Gmail содержат большое количество часто употребляемых слов. Используйте в поисковом запросе не слова, а фразы, заключив их в кавычки. Пример: «конфиденциальный проект Х». Примечание. Поиск текста в кавычках выполняется без учета регистра и знаков препинания.

   • Исключение черновиков. Когда отправитель набирает письмо, Gmail периодически его сохраняет. Установите флажок Исключать черновики писем, чтобы не включать эти сообщения в результаты поиска.

   • Исключение определенных поисковых слов. Чтобы исключить данные из поиска, добавьте перед запросом дефис (‑). Например, введите -subject:отпуск, чтобы исключить все сообщения с темой, в которой есть слово «отпуск».

   Ознакомьтесь с дополнительными сведениями о поиске в Gmail, сервисах «Диск» и Meet, Chat, Группах и Voice.

   Как искать сообщения: советы и примеры запросов

   Цель	Пример запроса
   Найти все сообщения, отправленные пользователям во внешнем домене или полученные от них	В результаты поиска по этому запросу будут включены все сообщения, которыми вы обменивались с любыми пользователями в указанном домене. (from:solarmora.com OR to:solarmora.com)
   Найти только сообщения чата	В результаты поиска по этому запросу будут включены сообщения чата. Сообщения электронной почты учитываться не будут. is:chat
   Искать одни слова и исключить из результатов другие	В результаты поиска по этому запросу будут включены все производные от слова «шоколад», кроме «шоколадница» и «шоколадный». (шоколад* -шоколадница -шоколадный)
   Искать слова, расположенные в сообщении рядом	В результаты поиска по этому запросу будет включена фраза «не следует распространять», но не попадет такая, как «не думаю, что мы когда-либо будем распространять». Используйте любое число от 1 до 19. ("не AROUND 3 распространять")
   Исключить из результатов поиска удаленные сообщения с присвоенными ярлыками	Из результатов поиска по этому запросу будут исключены все удаленные сообщения, которым пользователь присвоил ярлык «путешествия». -(label:^deleted AND label:путешествия)
   Найти определенные типы прикрепленных файлов	В результаты поиска по этому запросу будут включены все сообщения с прикрепленными файлами в формате PDF. (has:attachment filename:pdf)
   Исключить сообщения, помещенные в карантин	Из результатов поиска по этому запросу будут исключены все сообщения, которые администратор отправил в карантин. -label:^admin_quarantine

3. Если вы считаете, что по поисковому запросу в Gmail или Группах будет найдено слишком много результатов и он будет долго обрабатываться, нажмите Количество. Подсчет результатов выполняется быстрее, чем обычный поиск.

   Чтобы задать более точные критерии, нажмите Развернуть и измените параметры поиска.

4. Нажмите Поиск. Когда поиск завершится, в Сейфе откроется таблица результатов.

   Ограничения, связанные с поиском

   • Данные, удаленные без возможности восстановления. В Сейфе можно искать только те данные, которые не были удалены из систем Google. Данные организации не сохраняются в Сейфе автоматически. Чтобы вы могли выполнять поиск по определенным данным и экспортировать их, настройте правила хранения или запреты на удаление.

   • Объекты на Диске. Вы можете искать текст в файлах различных форматов, в том числе Microsoft Word, Excel и PowerPoint, а также PDF, HTML, TXT и RTF. Поиск по видео- и аудиофайлам, изображениям и двоичным файлам не поддерживается.

   • Ошибка, связанная с подстановочным знаком. Сейф не возвращает результаты поиска, если поисковый оператор с подстановочным знаком соответствует 100 или более словам в аккаунте пользователя. Например, если по запросу subj:карт* найдено слишком много совпадений, выполните поиск по запросу subj:карто* (чтобы найти слово «картотека») и subj:картин* (чтобы найти слова «картинг» и «картинка»). При поиске по Chat, Диску и Voice подстановочные знаки использовать нельзя.

Шаг 4. Проверьте результаты

Если в таблице результатов нажать на строку объекта, на панели справа будет показан его предпросмотр.

Работа с предпросмотром

• Сообщения. Будет показана вся цепочка сообщений в свернутом виде. Чтобы развернуть ее, нажмите на сообщение. Чтобы прочитать отдельные сообщения, нажмите на них.
• Объекты на Диске. Вы можете посмотреть содержимое файлов в форматах Google, например документов, таблиц, презентаций и рисунков, а также загруженных пользователями файлов, таких как DOCX, PDF и XLSX.

Предварительный просмотр может быть доступен не для всех сообщений и файлов в результатах. Несмотря на это, в экспортированные результаты поиска будут включены все соответствующие критериям данные.

Шаг 5. Сохраните поисковый запрос

Настроив параметры поиска, вы можете сохранить запрос, чтобы быстро выполнить его позже.

• Чтобы сохранить поисковый запрос, нажмите Сохранить. Будут сохранены только параметры запроса без результатов поиска. Если нужно сохранить текущие результаты, перейдите к следующему разделу и экспортируйте их.
• Чтобы открыть сохраненный запрос, нажмите Посмотреть сохраненные запросы и выберите запрос. Сохраненные запросы выполняются динамически – каждый раз в результаты добавляются данные, появившиеся с момента последнего запроса.

Шаг 6. Экспортируйте результаты для дальнейшего анализа

1. Чтобы сохранить результаты поиска, на вкладке Поиск нажмите Экспорт.

   Примечание. Если кнопка Экспорт недоступна, получите необходимые разрешения у администратора.

2. Чтобы проверить, скоро ли завершится операция, перейдите на вкладку Экспорт. Когда все будет готово, нажмите Скачать. Экспортированные данные будут доступны для скачивания в течение 15 дней.
3. В экспортированные данные входит сжатый файл со всеми результатами, а также файл с метаданными для сопоставления результатов с аккаунтами. Для работы с экспортированными файлами воспользуйтесь сторонним ПО.

Другие задачи, которые можно решать с помощью Сейфа

В Сейфе можно также выполнять следующие задачи:

• Хранить определенные сообщения и файлы, как того требуют правила организации.
• Проверять заданные правила хранения и при необходимости изменять их.
• Создавать запреты на удаление данных отдельных пользователей или организационных подразделений. Сообщения и файлы, подпадающие под такой запрет, никогда не удаляются независимо от того, какие правила хранения настроены в организации.
• Проверять разрешения, определяющие, какие действия могут выполнять в Сейфе другие пользователи.

Статьи по теме

• Сейф: основные понятия
• Как уточнять поисковые запросы с помощью операторов в Google Сейфе

Эта информация оказалась полезной?

Как можно улучшить эту статью?

Ниже вы найдете обновленное руководство о том, как SEO-специалисты, профессионалы контекстной рекламы и эксперты по цифровому маркетингу могут использовать краулер Screaming Frog (также называемый поисковым роботом, пауком или ботом) для оптимизации своего рабочего процесса.

Основы краулинга

Как сканировать весь сайт

До начала краулинга сайта будет полезным оценить, какую информацию вы хотите получить, насколько велик сайт и какую часть сайта вам нужно сканировать, чтобы получить представление обо всем сайте. Иногда на больших сайтах лучше ограничить работу краулера только некоторыми URL-адресами, чтобы получить репрезентативную выборку данных. В этом случае размеры файлов и экспорт данных становятся более управляемыми. Подробнее об этом мы расскажем ниже. Для сканирования всего сайта, включая все поддомены, вам потребуется внести небольшие изменения в конфигурацию паука, чтобы начать работу.

По умолчанию Screaming Frog сканирует только тот поддомен, который вы указали. Любые дополнительные поддомены, которые встречает паук, будут рассматриваться как внешние ссылки. Для того чтобы просканировать дополнительные поддомены, необходимо изменить настройки в меню Configuration паука. Установив флажок ‘Crawl All Subdomains’, вы убедитесь, что паук просматривает все ссылки на другие поддомены вашего сайта, которые он встречает.

Шаг 1:

Шаг 2:

Кроме того, если вы начинаете поиск из определенной подпапки или подкаталога, но при этом хотите, чтобы Screaming Frog просмотрел весь сайт, установите флажок «Crawl Outside of Start Folder».

По умолчанию SEO Spider настроен на краулинг только той подпапки или поддиректории, из которой вы начинаете сканирование. Если вы хотите сканировать весь сайт и начинать с определенного подкаталога, убедитесь, что в конфигурации установлен режим просмотра за пределами начальной папки.

Профессиональный совет:

Чтобы сэкономить время и дисковое пространство, не забывайте о ресурсах, которые могут не понадобиться в процессе сканирования. Веб-сайты содержат ссылки не только на страницы. Снимите флажки с Изображений, CSS, JavaScript и SWF ресурсов, чтобы уменьшить размер краулинга.

Как сканировать один подкаталог

Если вы хотите ограничить краулинг одной папкой, просто введите URL и нажмите старт, не изменяя никаких настроек по умолчанию. Если вы переписали исходные настройки по умолчанию, сбросьте их в меню ‘File’.

Если вы хотите начать поиск в определенной папке, но продолжить поиск по остальной части поддомена, обязательно выберите «Crawl Outside Of Start Folder» в настройках конфигурации паука перед вводом конкретного начального URL.

Как сканировать определенный набор поддоменов или подкаталогов

Если вы хотите ограничить краулинг определенным набором поддоменов или подкаталогов, вы можете использовать RegEx, чтобы установить эти правила в настройках Include или Exclude в меню Configuration.

Исключение:

В этом примере мы сканировали все страницы на сайте seerinteractive.com, исключая страницы «О сайте» на каждом поддомене.

Шаг 1:

Перейдите в меню Configuration > Exclude (Конфигурация > Исключить); используйте регулярное выражение с подстановочным знаком, чтобы определить URL-адреса или параметры, которые вы хотите исключить.

Шаг 2:

Проверьте регулярное выражение, чтобы убедиться, что оно исключает те страницы, которые вы ожидали исключить, прежде чем начать сканирование:

Включение:

В приведенном ниже примере мы хотели просканировать только подпапку «Команда» на сайте seerinteractive.com. Снова используйте вкладку «Тест» для проверки нескольких URL-адресов и убедитесь, что RegEx правильно настроен для вашего правила включения.

Это отличный способ краулинга по большим сайтам; на самом деле, Screaming Frog рекомендует этот метод, если вам нужно разделить и подчинить себе краулинг по большому домену.

Я хочу получить список всех страниц моего сайта

По умолчанию Screaming Frog настроен на сканирование всех изображений, JavaScript, CSS и флеш-файлов, которые встречаются пауку. Чтобы проверять только HTML, вам нужно снять флажки ‘Check Images’, ‘Check CSS’, ‘Check JavaScript’ и ‘Check SWF’ в меню Spider Configuration.

Запуск паука с этими настройками без галочек, по сути, предоставит вам список всех страниц вашего сайта, на которые ведут внутренние ссылки.

После завершения сканирования перейдите на вкладку ‘Internal’ («Внутренние») и отфильтруйте результаты по «HTML». Нажмите «Экспорт», и вы получите полный список в формате CSV.

Совет профессионала:

Если вы склонны использовать одни и те же настройки для каждого краулинга, Screaming Frog теперь позволяет сохранять параметры конфигурации:

Я хочу получить список всех страниц в определенном подкаталоге

В дополнение к снятию флажков ‘Check Images’, ‘Check CSS’, ‘Check JavaScript’ и ‘Check SWF’, вы также должны снять флажок ‘Check Links Outside Folder’ в настройках конфигурации паука. Запуск паука с этими настройками без галочки даст вам список всех страниц в вашей начальной папке (если они не являются страницами-сиротами) Примечание: страницы-сироты — это страницы, которые не связаны ни с одной другой страницей / разделом сайта, поэтому если пользователь попал на неё, он не сможет перейти с этой страницы на другую.

Как найти все поддомены на сайте и проверить внутренние ссылки.

Существует несколько различных способов найти все поддомены на сайте.

Способ 1:

Используйте Screaming Frog для определения всех поддоменов на данном сайте. Перейдите в раздел Configuration > Spider и убедитесь, что выбрана опция «Crawl all Subdomains». Как и при описанном выше сканировании всего сайта, это поможет сканировать все поддомены, на которые есть ссылки на сайте. Однако это не поможет найти поддомены, которые являются “сиротливыми” или на которые нет ссылок.

Метод 2:

Используйте Google для определения всех проиндексированных поддоменов.

С помощью расширения Scraper Chrome и некоторых операторов расширенного поиска можно найти все индексируемые поддомены для данного домена.

Шаг 1:

Начните с использования оператора поиска site: в Google, чтобы ограничить результаты конкретным доменом. Затем используйте оператор поиска -inurl, чтобы сузить результаты поиска, удалив основной домен. Вы должны увидеть список субдоменов, которые были проиндексированы в Google и не содержат основного домена.

Шаг 2:

Используйте расширение Scraper, чтобы извлечь все результаты в лист Google. Просто щелкните правой кнопкой мыши URL в поисковой выдаче, нажмите «Scrape Similar» и экспортируйте в Google Doc.

Шаг 3:

В Google Doc используйте следующую функцию, чтобы обрезать URL до поддомена:

=LEFT(A2,SEARCH(«/»,A2,9))

По сути, приведенная выше формула должна помочь отсечь любые подкаталоги, страницы или имена файлов в конце сайта. Эта формула, по сути, говорит sheets или Excel возвращать то, что находится слева от косой черты. Начальное число 9 является важным, потому что мы просим начать поиск косой черты после 9-го символа. Это учитывает протокол: https://, длина которого составляет 8 символов.

Дедублируйте список и загрузите его в Screaming Frog в режиме списка — вы можете вставить список доменов вручную, использовать функцию вставки или загрузить CSV.

Способ 3:

Введите URL корневого домена в инструменты, помогающие искать сайты, которые могут существовать на том же IP, или в поисковые системы, созданные специально для поиска поддоменов, например FindSubdomains. Создайте бесплатную учетную запись, чтобы войти в систему и экспортировать список поддоменов. Затем загрузите список в Screaming Frog с помощью режима списка.

После завершения работы паука вы сможете увидеть коды состояния, а также все ссылки на домашних страницах поддоменов, якорный текст и дублирующиеся заголовки страниц.

Как сканировать сайт электронной коммерции или другой крупный сайт

Изначально Screaming Frog не был создан для просмотра сотен тысяч страниц, но благодаря обновлениям он становится все ближе к этому.

В версии 11.0 Screaming Frog позволил пользователям сохранять все данные на диске в базе данных, а не просто хранить их в оперативной памяти. Это впервые открыло возможность обхода очень больших сайтов.

В версии 12.0 краулер автоматически сохраняет данные в базе данных. Это позволяет получить к ним доступ и открыть их с помощью команды «File > Crawls» в меню верхнего уровня — на случай, если вы запаникуете и задумаетесь, куда делась команда open!

Хотя использование базы данных краулинга помогает Screaming Frog лучше управлять большими сканами, это, конечно, не единственный способ краулить большой сайт.

Во-первых, вы можете увеличить объем памяти, выделяемой пауку.

Во-вторых, вы можете разбить краулинг по подкаталогам или сканировать только определенные части сайта с помощью настроек Include/Exclude («Включить/Исключить»).

В-третьих, вы можете отказаться от просмотра изображений, JavaScript, CSS и flash. Отменив выбор этих опций в меню Конфигурация, вы можете сэкономить память, выполняя сканирование только HTML.

Профессиональный совет:

До недавнего времени Screaming Frog SEO Spider мог приостановиться или упасть при просмотре большого сайта. Теперь, когда хранение базы данных установлено по умолчанию, вы можете восстановить краулинг, чтобы продолжить работу с того места, на котором остановились. Кроме того, вы можете получить доступ к URL-адресам, поставленным в очередь. Это может дать вам представление о дополнительных параметрах или правилах, которые необходимо исключить при краулинге большого сайта.

Как сканировать сайт, расположенный на старом сервере — или как просканировать сайт, не положив его

В некоторых случаях старые серверы могут быть не в состоянии обрабатывать стандартное количество запросов URL в секунду. На самом деле, мы рекомендуем на всякий случай включить ограничение на количество URL-адресов для просмотра в секунду, чтобы проявить уважение к серверу сайта. Лучше всего сообщить клиенту о том, что вы планируете провести сканирование сайта, на всякий случай, если у него есть защита от неизвестных пользовательских агентов. С одной стороны, им может понадобиться внести ваш IP или User Agent в белый список до того, как вы пройдете по сайту. Худший сценарий может заключаться в том, что вы посылаете слишком много запросов на сервер и непреднамеренно разрушаете сайт.

Чтобы изменить скорость краулинга, выберите «Speed» в меню «Configuration» и во всплывающем окне выберите максимальное количество потоков, которые должны работать одновременно. В этом же меню вы можете выбрать максимальное количество URL-адресов, запрашиваемых в секунду.

Профессиональный совет:

Если вы обнаружите, что в результате вашей проверки возникает много ошибок сервера, перейдите на вкладку ‘Advanced’ в меню Spider Configuration и увеличьте значение ‘Response Timeout’ и ‘5xx Response Retries’, чтобы получить лучшие результаты.

Как просмотреть сайт, на котором используются файлы cookie

Хотя поисковые боты не принимают cookies, если вы сканируете сайт и вам нужно разрешить cookies, просто выберите ‘Allow Cookies’ во вкладке ‘Advanced’ в меню Spider Configuration.

Как сканировать, используя другой пользовательский агент

Чтобы выполнить поиск с использованием другого агента пользователя, выберите ‘User Agent’ в меню ‘Configuration’, затем выберите поискового бота из выпадающего списка или введите желаемые строки агента пользователя.

Поскольку Google теперь ориентируется на мобильные устройства, попробуйте просмотреть сайт под именем Googlebot Smartphone или измените User-Agent, чтобы он имитировал Googlebot Smartphone. Это важно по двум разным причинам:

1. Краулинг, имитирующий пользовательский агент Googlebot Smartphone, может помочь определить любые проблемы, возникающие у Google при краулинге и рендеринге содержимого вашего сайта.
2. Использование модифицированной версии агента Googlebot Smartphone поможет вам отличить ваши краулинги от краулингов Google при анализе журналов сервера.

Как сканировать страницы, требующие аутентификации

Когда паук Screaming Frog наткнется на страницу, защищенную паролем, появится всплывающее окно, в котором вы сможете ввести имя пользователя и пароль.

Аутентификация на основе форм — очень мощная функция, и для ее эффективной работы может потребоваться рендеринг JavaScript. Примечание: Аутентификация на основе форм должна использоваться редко и только опытными пользователями. Краулер запрограммирован на переход по каждой ссылке на странице, поэтому потенциально это может привести к ссылкам на выход из системы, создание сообщений или даже удаление данных.

Чтобы управлять аутентификацией, перейдите в раздел Configuration > Authentication.

Чтобы отключить запросы на аутентификацию, отмените выбор ‘Standards Based Authentication’ в окне ‘Authentication’ в меню Configuration.

Внутренние ссылки

Мне нужна информация обо всех внутренних и внешних ссылках на моем сайте (якорный текст, директивы, ссылки на страницу и т.д.).

Если вам не нужно проверять изображения, JavaScript, flash или CSS на сайте, отмените выбор этих опций в меню Spider Configuration, чтобы сэкономить время обработки и память.

После того как паук закончит проверку, воспользуйтесь меню Bulk Export, чтобы экспортировать CSV ‘All Links’. Это позволит вам получить все местоположения ссылок, а также соответствующий якорный текст, директивы и т.д.

Все ссылки могут быть большим отчетом. Помните об этом при экспорте. Для большого сайта этот экспорт может занять несколько минут.

Чтобы быстро подсчитать количество ссылок на каждой странице, перейдите на вкладку «Internal» и отсортируйте по «Outlinks». Все, что превышает 100, может потребовать пересмотра.

Как найти неработающие внутренние ссылки на странице или сайте

Если вам не нужно проверять изображения, JavaScript, flash или CSS сайта, снимите выделение этих опций в меню конфигурации паука, чтобы сэкономить время обработки и память.

После того как паук закончит сканирование, отсортируйте результаты на вкладке «Internal» по «Status Code». Любые 404, 301 или другие коды статуса будут легко просматриваться.

При нажатии на любой отдельный URL-адрес в результатах сканирования вы увидите изменение информации в нижнем окне программы. Перейдя на вкладку ‘In Links’ в нижнем окне, вы увидите список страниц, которые ссылаются на выбранный URL, а также якорный текст и директивы, используемые в этих ссылках. Вы можете использовать эту функцию для выявления страниц, на которых необходимо обновить внутренние ссылки.

Чтобы экспортировать полный список страниц, содержащих неработающие или перенаправленные ссылки, выберите «Redirection (3xx) In Links» или «Client Error (4xx) In Links» или «Server Error (5xx) In Links» в меню «Advanced Export», и вы получите экспорт данных в формате CSV.

Чтобы экспортировать полный список страниц, содержащих неработающие или перенаправленные ссылки, зайдите в меню Bulk Export. Прокрутите вниз до кодов ответов и просмотрите следующие отчеты:

• No Response Inlinks (Входящие ссылки без ответа)
• Redirection (3xx) Inlinks (Перенаправление (3xx) Входящие ссылки)
• Redirection (JavaScript) Inlinks (Перенаправление (JavaScript) Внутренние ссылки)
• Redirection (Meta Refresh) Inlinks (Перенаправление (Meta Refresh) Входящие ссылки)
• Client Error (4xx) Inlinks (Ошибка клиента (4xx) Входящие ссылки)
• Server Error (5xx) Inlinks (Ошибка сервера (5xx) Ссылки)

Просмотр всех этих отчетов должен дать нам адекватное представление о том, какие внутренние ссылки должны быть обновлены, чтобы они указывали на каноническую версию URL и эффективно распределяли ссылочный капитал.

Как найти неработающие исходящие ссылки на странице или сайте (или все исходящие ссылки в целом)

После удаления выбора ‘Check Images’, ‘Check CSS’, ‘Check JavaScript’ и ‘Check SWF’ в настройках конфигурации паука, убедитесь, что ‘Check External Links’ остается выбранным.

После того как паук закончит сканирование, перейдите на вкладку ‘External’ в верхнем окне, отсортируйте по ‘Status Code’ и вы легко сможете найти URL с кодами состояния, отличными от 200. Если щелкнуть на любом отдельном URL-адресе в результатах сканирования, а затем перейти на вкладку ‘In Links’ в нижнем окне, вы найдете список страниц, которые указывают на выбранный URL-адрес. Вы можете использовать эту функцию для определения страниц, на которых необходимо обновить исходящие ссылки.

Чтобы экспортировать полный список исходящих ссылок, нажмите «Внешние ссылки» на вкладке «Массовый экспорт».

Для получения полного списка всех местоположений и якорного текста исходящих ссылок выберите ‘All Outlinks’ в меню ‘Bulk Export’. Отчет «All Outlinks» будет включать исходящие ссылки на ваши поддомены; если вы хотите исключить ваш домен, перейдите к отчету «External Links», о котором говорилось выше.

Как найти ссылки, которые перенаправляются

После того, как паук закончил сканирование, выберите вкладку ‘Response Codes’ в главном пользовательском интерфейсе и отфильтруйте по Status Code. Поскольку Screaming Frog использует регулярные выражения для поиска, используйте следующие критерии в качестве фильтра: 301|302|307. Это должно дать вам довольно солидный список всех ссылок, которые вернулись с каким-либо перенаправлением, независимо от того, был ли контент постоянно перемещен, найден и перенаправлен, или временно перенаправлен из-за настроек HSTS (это вероятная причина 307 перенаправления в Screaming Frog). Отсортируйте по ‘Status Code’, и вы сможете разбить результаты по типам. Перейдите на вкладку ‘In Links’ в нижнем окне, чтобы просмотреть все страницы, на которых используется перенаправляющая ссылка.

Если вы экспортируете данные непосредственно с этой вкладки, вы увидите только те данные, которые показаны в верхнем окне (исходный URL, код состояния и место, куда перенаправляет ссылка).

Чтобы экспортировать полный список страниц, включающих перенаправляющие ссылки, вам нужно выбрать ‘Redirection (3xx) In Links’ в меню ‘Advanced Export’. В результате вы получите CSV, содержащий расположение всех ваших перенаправленных ссылок. Чтобы показать только внутренние перенаправления, отфильтруйте столбец ‘Destination’ в CSV, чтобы включить только ваш домен.

Совет:

Используйте VLOOKUP между двумя вышеуказанными экспортными файлами, чтобы сопоставить столбцы Source и Destination с окончательным местоположением URL.

Пример формулы:

=VLOOKUP([@Destination],’response_codes_redirection_(3xx).csv’!$A$3:$F$50,6,FALSE)

(Где ‘response_codes_redirection_(3xx).csv’ — CSV файл, содержащий URL перенаправления, а ’50’ — количество строк в этом файле).

Контент сайта

Как определить страницы с “тонким” контентом

После того, как паук закончил сканирование, перейдите на вкладку ‘Internal’, отфильтруйте по HTML, затем прокрутите страницу вправо до столбца ‘Word Count’. Отсортируйте столбец ‘Word Count’ от низкого к высокому, чтобы найти страницы с низким содержанием текста. Вы можете перетащить столбец ‘Word Count’ влево, чтобы лучше сопоставить низкие значения количества слов с соответствующими URL-адресами. Нажмите кнопку «Export» на вкладке «Internal», если вы предпочитаете работать с данными в формате CSV.

Мне нужен список ссылок на изображения на определенной странице

Если вы уже просканировали весь сайт или подкаталог, просто выберите страницу в верхнем окне, затем нажмите на вкладку ‘Image Info’ в нижнем окне, чтобы просмотреть все изображения, которые были найдены на этой странице. Изображения будут перечислены в столбце «To».

Совет профессионала:

Щелкните правой кнопкой мыши на любой записи в нижнем окне, чтобы скопировать или открыть URL-адрес.

Кроме того, вы можете просмотреть изображения на одной странице, выполнив поиск только по этому URL. Убедитесь, что глубина просмотра установлена на ‘1’ в настройках конфигурации паука, затем, когда страница будет просмотрена, перейдите на вкладку ‘Images’, и вы увидите все изображения, которые нашел паук.

Как найти изображения, у которых отсутствует alt-текст, или изображения, у которых alt-текст длинный

Во-первых, вы должны убедиться, что опция ‘Check Images’ выбрана в меню Spider Configuration. После того, как паук закончит поиск, перейдите на вкладку ‘Images’ и отфильтруйте изображения по ‘Missing Alt Text’ или ‘Alt Text Over 100 Characters’. Вы можете найти страницы, на которых находится любое изображение, нажав на вкладку ‘Image Info’ в нижнем окне. Страницы будут перечислены в колонке ‘From’.

Наконец, если вы предпочитаете CSV, используйте меню ‘Bulk Export’ для экспорта ‘All Images’ или ‘Images Missing Alt Text Inlinks’, чтобы увидеть полный список изображений, где они расположены и любой связанный с ними alt text или проблемы с alt text.

Кроме того, используйте правую боковую панель для перехода к разделу «Images»; здесь вы можете легко экспортировать список всех изображений с отсутствующим alt-текстом.

Как найти все CSS файлы на моем сайте

В меню Spider Configuration выберите ‘Crawl’ и ‘Store’ CSS перед просмотром, затем, когда просмотр будет завершен, отфильтруйте результаты во вкладке ‘Internal’ по ‘CSS’.

Как найти каждый файл JavaScript на моем сайте

В меню Spider Configuration выберите ‘Check JavaScript’ перед просмотром, затем, когда просмотр будет завершен, отфильтруйте результаты во вкладке ‘Internal’ по ‘JavaScript’.

Как определить все плагины jQuery, используемые на сайте, и на каких страницах они используются

Во-первых, убедитесь, что опция ‘Check JavaScript’ выбрана в меню Spider Configuration. После того как паук закончит поиск, отфильтруйте вкладку ‘Internal’ по ‘JavaScript’, а затем выполните поиск по ‘jquery’. В результате вы получите список файлов плагинов. При необходимости отсортируйте список по ‘Address’ для более удобного просмотра, затем просмотрите ‘InLinks’ в нижнем окне или экспортируйте данные в CSV, чтобы найти страницы, на которых используется файл. Они будут находиться в колонке ‘From’.

Также вы можете использовать меню ‘Advanced Export’ для экспорта CSV ‘All Links’ и отфильтровать столбец ‘Destination’, чтобы показать только URL-адреса с ‘jquery’.

Профессиональный совет:

Не все плагины jQuery вредны для SEO. Если вы видите, что на сайте используется jQuery, лучше всего убедиться, что контент, который вы хотите проиндексировать, включен в исходный текст страницы и передается при ее загрузке, а не после. Если вы все еще не уверены, погуглите плагин, чтобы получить больше информации о том, как он работает.

Как найти, где на сайте внедрен flash

В меню Spider Configuration выберите ‘Check SWF’ перед началом сканирования, затем, когда сканирование будет завершено, отфильтруйте результаты на вкладке ‘Internal’ по ‘Flash’.

Это становится все более важным для поиска и идентификации содержимого, передаваемого с помощью Flash, и предложения альтернативного кода для этого содержимого. Chrome находится в процессе повсеместного отказа от Flash; это действительно то, что следует использовать для выявления проблем с критическим содержимым и Flash на сайте.

Примечание: Этот метод позволяет найти только файлы .SWF, связанные со страницей. Если Flash подтягивается через JavaScript, вам нужно будет использовать специальный фильтр.

Как найти все внутренние PDF файлы, на которые есть ссылки на сайте

После того, как паук закончил поиск, отфильтруйте результаты во вкладке ‘Internal’ по ‘PDF’.

Как понять сегментацию контента внутри сайта или группы страниц

Если вы хотите найти страницы вашего сайта, содержащие определенный тип контента, установите пользовательский фильтр для отпечатка HTML, уникального для данной страницы. Это нужно сделать *до* запуска паука.

Как найти страницы, на которых есть кнопки поделиться в соцсетях

Чтобы найти страницы, содержащие кнопки поделиться в соцсетях, вам нужно установить пользовательский фильтр перед запуском паука. Чтобы установить пользовательский фильтр, перейдите в меню Конфигурация и нажмите ‘Custom’. Оттуда введите любой фрагмент кода из источника страницы.

В приведенном выше примере я хотел найти страницы, содержащие кнопку Facebook «Мне нравится», поэтому я создал фильтр для facebook.com/plugins/like.php.

Как найти страницы, использующие iframes

Чтобы найти страницы, использующие iframe, установите пользовательский фильтр для <iframe перед запуском паука.

Как найти страницы, содержащие встроенное видео или аудио содержимое

Чтобы найти страницы, содержащие встроенное видео или аудио содержимое, установите пользовательский фильтр для фрагмента кода вставки для Youtube или любого другого медиаплеера, который используется на сайте.

Мета-данные и директивы

Как определить страницы с длинными заголовками, мета-описаниями или URL-адресами

После того, как паук закончил сканирование, перейдите на вкладку ‘Page Titles’ и отфильтруйте их по ‘Over 60 Characters’, чтобы увидеть слишком длинные заголовки страниц. То же самое можно сделать на вкладке ‘Meta Description’ или на вкладке ‘URI’.

Как найти дублирующиеся заголовки страниц, мета-описания или URL-адреса

После того, как паук закончил поиск, перейдите на вкладку ‘Page Titles’, затем отфильтруйте их по ‘Duplicate’. То же самое можно сделать на вкладках ‘Meta Description’ или ‘URI’.

Как найти дублированный контент и/или URL, которые необходимо переписать/перенаправить/канонизировать

После того, как паук закончил поиск, перейдите на вкладку ‘URI’, затем отфильтруйте по ‘Underscores’, ‘Uppercase’ или ‘Non ASCII Characters’ для просмотра URL, которые потенциально могут быть переписаны в более стандартную структуру. Отфильтруйте по ‘Duplicate’ и вы увидите все страницы, которые имеют несколько версий URL. Фильтр по ‘Параметрам’ позволяет увидеть URL-адреса, содержащие параметры.

Кроме того, если вы перейдете на вкладку ‘Internal’, отфильтруете по ‘HTML’ и прокрутите колонку ‘Hash’ в крайнем правом углу, вы увидите уникальную серию букв и цифр для каждой страницы. Если вы нажмете кнопку «Экспорт», вы сможете использовать условное форматирование в Excel, чтобы выделить дублирующиеся значения в этом столбце, что в конечном итоге покажет вам страницы, которые идентичны и требуют внимания.

Как определить все страницы, которые включают мета-директивы, например: nofollow/noindex/noodp/canonical и т.д.

После того, как паук закончил сканирование, перейдите на вкладку ‘Directives’. Чтобы увидеть тип директивы, просто прокрутите страницу вправо и посмотрите, какие столбцы заполнены, или воспользуйтесь фильтром, чтобы найти любой из следующих тегов:

• index
• noindex
• follow
• nofollow
• noarchive
• nosnippet
• noodp
• noydir
• noimageindex
• notranslate
• unavailable_after
• refresh

Как проверить, что мой файл robots.txt работает так, как нужно

По умолчанию, Screaming Frog будет соблюдать инструкции robots.txt. В первую очередь, он будет следовать директивам, сделанным специально для пользовательского агента Screaming Frog. Если нет директив специально для агента пользователя Screaming Frog, то паук будет следовать любым директивам для Googlebot, а если нет специальных директив для Googlebot, то паук будет следовать глобальным директивам для всех агентов пользователя. Паук будет следовать только одному набору директив, поэтому если есть правила, установленные специально для Screaming Frog, он будет следовать только этим правилам, а не правилам для Googlebot или любым глобальным правилам. Если вы хотите заблокировать определенные части сайта от паука, используйте обычный синтаксис robots.txt с агентом пользователя ‘Screaming Frog SEO Spider’. Если вы хотите игнорировать robots.txt, просто выберите эту опцию в настройках конфигурации паука.

Configuration > Robots.txt > Settings

Как найти или проверить разметку Schema или другие микроданные на моем сайте

Чтобы найти каждую страницу, которая содержит разметку Schema или любые другие микроданные, вам необходимо использовать пользовательские фильтры. Просто нажмите на ‘Custom’ → ‘Search’ в меню конфигурации и введите искомый след.

Чтобы найти каждую страницу, содержащую разметку Schema, просто добавьте следующий фрагмент кода в пользовательский фильтр: itemtype=http://schema.org

Чтобы найти определенный тип разметки, вам придется уточнить его. Например, используя пользовательский фильтр для ‘span itemprop=»ratingValue»‘, вы получите все страницы, содержащие разметку Schema для оценок.

Начиная с версии Screaming Frog 11.0, SEO-паук также предлагает нам возможность сканировать, извлекать и проверять структурированные данные непосредственно из краулинга. Проверяйте любые структурированные данные JSON-LD, Microdata или RDFa в соответствии с рекомендациями Schema.org и спецификациями Google в режиме реального времени по мере сканирования. Чтобы получить доступ к инструментам проверки структурированных данных, выберите опции в разделе «Config > Spider > Advanced».

В главном интерфейсе появится вкладка «Структурированные данные» (Structured Data), которая позволяет переключаться между страницами, содержащими структурированные данные, отсутствующими структурированными данными, а также страницами с ошибками проверки или предупреждениями:

Вы также можете экспортировать проблемы со структурированными данными в массовом порядке, посетив раздел «Reports > Structured Data > Validation Errors & Warnings.».

Sitemap

Как создать XML Sitemap

После того, как паук закончил сканирование вашего сайта, нажмите на меню «Sitemaps» и выберите «XML Sitemap».

Открыв настройки конфигурации XML Sitemap, вы сможете включить или исключить страницы по кодам ответа, последним изменениям, приоритету, частоте изменений, изображениям и т.д. По умолчанию Screaming Frog включает только URL-адреса 2xx, но это хорошее правило — всегда перепроверять.

В идеале, ваша XML sitemap должна включать только единственную, предпочтительную (каноническую) версию каждого URL со статусом 200, без параметров или других дублирующих факторов. После внесения всех изменений нажмите кнопку OK. Файл XML sitemap загрузится на ваше устройство, и вы сможете отредактировать соглашение об именовании по своему усмотрению.

Создание карты сайта XML путем загрузки URL-адресов

Вы также можете создать XML sitemap, загрузив URL-адреса из существующего файла или вставив их вручную в Screaming Frog.

Измените «Режим» с «Паук» на «Список» и нажмите на выпадающий список «Загрузить», чтобы выбрать любой из вариантов.

Нажмите кнопку «Старт», и Screaming Frog начнет просматривать загруженные URL-адреса. После того, как URL будут просмотрены, вы будете следовать тому же процессу, что и выше.

Как проверить существующий XML Sitemap

Вы можете легко загрузить существующую XML карту сайта или индекс карты сайта, чтобы проверить ее на наличие ошибок или несоответствий.

Перейдите в меню ‘Mode’ в Screaming Frog и выберите ‘List’. Затем нажмите «Upload» в верхней части экрана, выберите «Download Sitemap» или «Download Sitemap Index», введите URL-адрес карты сайта и начните сканирование. После того как паук закончит сканирование, вы сможете найти любые перенаправления, ошибки 404, дублированные URL и многое другое. Вы можете легко экспортировать выявленные ошибки.

Выявление отсутствующих страниц в XML Sitemap

Вы можете настроить параметры краулинга для обнаружения и сравнения URL-адресов в XML-карте сайта с URL-адресами в краулинге сайта.

Перейдите в ‘Configuration’ -> ‘Spider’ в главной навигации и внизу есть несколько опций для XML sitemaps — автоматическое обнаружение XML sitemaps через файл robots.txt или ручной ввод ссылки XML sitemap в поле. *Важное замечание — если ваш файл robots.txt не содержит надлежащих ссылок назначения на все XML sitemap, которые вы хотите получить, вы должны ввести их вручную.

После обновления настроек краулинга XML Sitemap перейдите к разделу «Crawl Analysis» в навигации, затем нажмите «Configure» и убедитесь, что кнопка Sitemaps отмечена. Сначала необходимо выполнить полное сканирование сайта, затем вернуться в «Crawl Analysis» и нажать кнопку Start.

После завершения Crawl Analysis вы сможете увидеть любые несоответствия, например, URL-адреса, которые были обнаружены в ходе полного обхода сайта и отсутствуют в XML sitemap.

Устранение общих неполадок

Как определить, почему определенные разделы моего сайта не индексируются или не ранжируются

Интересуетесь, почему определенные страницы не индексируются? Во-первых, убедитесь, что они не были случайно помещены в robots.txt или помечены как noindex. Затем необходимо убедиться, что пауки могут добраться до страниц, проверив внутренние ссылки. Страница, на которую нет внутренней ссылки на вашем сайте, часто называется «сиротской”.

Для того чтобы определить все подобные страницы, выполните следующие действия:

• Перейдите в ‘Configuration’ -> ‘Spider’ в главной навигации, там внизу есть несколько опций для XML sitemap — Автоматическое обнаружение XML sitemap через ваш файл robots.txt или ручной ввод ссылки XML sitemap в поле. *Важное замечание — если ваш файл robots.txt не содержит надлежащих ссылок назначения на все XML sitemap, которые вы хотите получить, вам следует ввести их вручную.
• Перейдите в раздел ‘Configuration → API Access’ → ‘Google Analytics’ — с помощью API вы можете получить данные аналитики для определенного аккаунта и вида. Чтобы найти страницы-«сироты» из органического поиска, убедитесь, что проведена сегментация по ‘Organic Traffic’

• Вы также можете зайти в General → ‘Crawl New URLs Discovered In Google Analytics’, если хотите, чтобы URLs, обнаруженные в GA, были включены в полный обход сайта. Если эта функция не включена, вы сможете просматривать новые URL, полученные из GA, только в отчете Orphaned Pages (“сиротским” страницам).

• Перейдите в раздел ‘Configuration → API Access’ → ‘Google Search Console’ — с помощью API вы можете получить данные GSC для определенного аккаунта и вида. Чтобы найти страницы-«сироты», вы можете искать URL-адреса, получающие клики и впечатления, которые не включены в ваш краулинг.
• Вы также можете зайти в General → ‘Crawl New URLs Discovered In Google Search Console’, если хотите, чтобы URLs, обнаруженные в GSC, были включены в полный обход сайта. Если эта функция не включена, вы сможете просматривать новые URL-адреса, полученные из GSC, только в отчете Orphaned Pages.
• Выполните сканирование всего сайта. После завершения обхода перейдите в меню ‘Crawl Analysis –> Start’ и дождитесь его завершения.
• Просмотрите “сиротские” URL-адреса на каждой из вкладок или экспортируйте все осиротевшие URL-адреса оптом, перейдя в Reports → Orphan Pages.

Если у вас нет доступа к Google Analytics или GSC, вы можете экспортировать список внутренних URL в файл .CSV, используя фильтр ‘HTML’ на вкладке ‘Internal’.

Откройте CSV-файл и на втором листе вставьте список URL, которые не индексируются или плохо ранжируются. Используйте VLOOKUP, чтобы проверить, были ли URL из вашего списка на втором листе найдены в ходе сканирования.

Как проверить, была ли миграция/редизайн моего сайта успешной

У @ipullrank есть отличный Whiteboard Friday на эту тему, но общая идея в том, что вы можете использовать Screaming Frog для проверки того, перенаправляются ли старые URL, используя режим ‘List’ для проверки кодов состояния. Если старые URL-адреса выдают 404, то вы будете знать, какие URL-адреса еще нужно перенаправить.

Как найти медленно загружающиеся страницы на моем сайте

После того, как паук закончил сканирование, перейдите на вкладку ‘Response Codes’ и отсортируйте по столбцу ‘Response Time’ от высокого к низкому, чтобы найти страницы, которые могут страдать от низкой скорости загрузки.

Как найти вредоносное ПО или спам на моем сайте

Во-первых, вам нужно определить посадочное место вредоносного ПО или спама. Далее, в меню Конфигурация, нажмите на ‘Custom’ → ‘Search’ и введите посадочное место, которое вы ищете.

Вы можете ввести до 10 различных посадочных мест для каждого сканирования. Наконец, нажмите OK и перейдите к просмотру сайта или списка страниц.

Когда паук закончит сканирование, выберите вкладку «Custom» в верхнем окне, чтобы просмотреть все страницы, содержащие ваши посадочные места. Если вы ввели более одного пользовательского фильтра, вы можете просмотреть каждый из них, изменив фильтр на результатах.

PPC и аналитика

Как проверить, что мой код Google Analytics находится на каждой странице или на определенном наборе страниц моего сайта

Начните с выбора Пользовательских фильтров в разделе Конфигурация.

Определите, что вы хотите искать в фильтрах. Обычно один фильтр показывает страницы, содержащие нужную информацию, а другой — страницы, не содержащие ее. Например, фильтры 1 и 2 обычно представляют собой страницы, содержащие или не содержащие номер UA.

Для примера ниже использован номер UA компании SEER: UA-11852503-1.

Если сайт использует кросс-доменное отслеживание, поскольку он охватывает несколько доменов или субдоменов, возьмите строку кода для кросс-доменного отслеживания и поместите ее в фильтры 3 и 4. Сделайте один фильтр Contains, а другой — Does Not Contain.

Для примера ниже использованы setDomainName’, ‘seerinteractive.com.

Для фильтра 5 попробуйте добавить фрагмент из второй части кода GA. Я был удивлен количеством сайтов, которые отбрасывают вторую часть и сохраняют только верхнюю часть кода.

Для примера ниже использован google-analytics.com/ga.js.

После того как все настройки выполнены, введите URL-адрес в Screaming Frog и нажмите кнопку Start.

Оттуда перейдите на вкладку Custom. Данные, которые отображаются, будут относиться к любому из ваших фильтров. Вы можете быстро проверить данные фильтров на наличие проблем или экспортировать данные из каждого фильтра в CSV для дальнейшего анализа или отправки клиенту.

Как проверить список PPC URLs в массовом порядке

Сохраните ваш список в формате .txt или .csv, затем измените настройки ‘Mode’ на ‘List’.

Затем выберите файл для загрузки и нажмите ‘Start’ или вставьте список вручную в Screaming Frog. Посмотрите код состояния каждой страницы на вкладке «Internal».

Скраппинг

Как произвести скраппинг метаданных для списка страниц

Итак, вы собрали кучу URL, но вам нужно больше информации о них? Установите режим ‘List’, затем загрузите список URL в формате .txt или .csv. После того, как паук закончит работу, вы сможете увидеть коды статуса, исходящие ссылки, количество слов и, конечно же, метаданные для каждой страницы из вашего списка.

Как найти на сайте все страницы, содержащие определенное посадочное место

Сначала вам нужно определить посадочное место. Далее, в меню Конфигурация, нажмите на ‘Custom’ → ‘Search’ или ‘Extraction’ и введите посадочное место, которое вы ищете.

Вы можете ввести до 10 различных посадочных мест для каждого краулинга. Наконец, нажмите OK и приступайте к краулингу сайта или списка страниц. В приведенном ниже примере я хотел найти все страницы, на которых в разделе цен написано «Пожалуйста, позвоните», поэтому я нашел и скопировал HTML-код из источника страницы.

Когда паук закончит краулинг, выберите вкладку «Custom» в верхнем окне, чтобы просмотреть все страницы, содержащие ваше посадочное место. Если вы ввели более одного пользовательского фильтра, вы можете просмотреть каждый из них, изменив фильтр в результатах.

Ниже приведены дополнительные общие посадочные места, которые вы можете соскраппить с веб-сайтов и которые могут быть полезны для вашего SEO-аудита:

• http://schema.org — Поиск страниц, содержащих schema.org
• youtube.com/embed/|youtu.be|<video|player.vimeo.com/video/|wistia.(com|net)/embed|sproutvideo.com/embed/|view.vzaar.com|dailymotion.com/embed/|players.brightcove.net/|play.vidyard.com/|kaltura.com/(p|kwidget)/ — Поиск страниц, содержащих видеоконтент.

Профессиональный совет:

Если вы извлекаете данные о продуктах с сайта клиента, вы можете сэкономить себе время, попросив клиента извлечь данные непосредственно из его базы данных. Приведенный выше метод предназначен для сайтов, к которым у вас нет прямого доступа.

Переписывание URL

Как найти и удалить идентификатор сеанса или другие параметры из моих просмотренных URL

Чтобы определить URL с идентификатором сессии или другими параметрами, просто выполните сканирование вашего сайта с настройками по умолчанию. Когда паук закончит работу, перейдите на вкладку «URI» и отфильтруйте «Parameters», чтобы просмотреть все URL-адреса, содержащие параметры.

Чтобы убрать параметры из URL, которые вы сканируете, выберите в меню конфигурации ‘URL Rewriting’, затем на вкладке ‘Remove Parameters’ нажмите ‘Add’, чтобы добавить параметры, которые вы хотите убрать из URL, и нажмите ‘OK’. Вам придется запустить паука снова с этими настройками, чтобы переписывание произошло.

Как переписать URL (например: заменить .com на .co.uk, или писать все URL в нижнем регистре)

Чтобы переписать любой URL, выберите ‘URL Rewriting’ в меню Configuration, затем во вкладке ‘Regex Replace’ нажмите ‘Add’, чтобы добавить RegEx для того, что вы хотите заменить.

После добавления всех необходимых правил вы можете протестировать правила на вкладке ‘Тест’, введя тестовый URL в поле ‘URL before rewriting’. ‘URL after rewriting’ будет автоматически обновлен в соответствии с вашими правилами.

Если вы хотите установить правило, чтобы все URL возвращались в нижнем регистре, просто выберите ‘Lowercase discovered URLs’ на вкладке ‘Options’. Это устранит дублирование URL с заглавными буквами.

Помните, что вам придется запустить паука с этими настройками, чтобы произошло переписывание URL.

Исследование ключевых слов

Как узнать, какие страницы наиболее ценны для моих конкурентов

Как правило, конкуренты пытаются увеличить популярность ссылок и привлечь трафик на свои наиболее ценные страницы, размещая на них внутренние ссылки. Любой SEO-мыслящий конкурент, вероятно, также будет ссылаться на важные страницы из своего блога. Чтобы найти ценные страницы конкурентов, просмотрите их сайт, а затем отсортируйте вкладку «Internal» по столбцу «Inlinks» от наибольшего к наименьшему, чтобы увидеть, на каких страницах больше всего внутренних ссылок.

Чтобы просмотреть страницы, на которые ведут ссылки из блога конкурента, снимите флажок ‘Check links outside folder’ («Проверять ссылки вне папки») в меню «Конфигурация паука» и просмотрите папку/поддомен блога. Затем на вкладке ‘External’ отфильтруйте результаты, используя поиск по URL-адресу основного домена. Прокрутите список вправо и отсортируйте его по колонке ‘Inlinks’, чтобы увидеть, на какие страницы чаще всего ссылаются.

Профессиональный совет:

Перетаскивайте столбцы влево или вправо, чтобы улучшить вид данных.

Как узнать, какой анкорный текст используют мои конкуренты для внутренней перелинковки

В меню ‘Bulk Export’ выберите ‘All Anchor Text’, чтобы экспортировать CSV, содержащий весь анкорный текст на сайте, где он используется и на что он ссылается.

Как узнать, какие мета ключевые слова (если таковые имеются) добавили мои конкуренты на свои страницы

После того, как паук закончил работу, посмотрите на вкладку ‘Meta Keywords’, чтобы увидеть все мета ключевые слова, найденные для каждой страницы. Отсортируйте по столбцу ‘Meta Keyword 1’, чтобы упорядочить список по алфавиту и визуально отделить пустые записи, или просто экспортируйте весь список.

Линкбилдинг

Как проанализировать список перспективных мест размещения ссылок

Если вы провели скраппинг или иным образом составили список URL, которые необходимо проверить, вы можете загрузить и просмотреть их в режиме ‘List’, чтобы собрать больше информации о страницах. Когда паук закончит сканирование, проверьте коды состояния на вкладке «Response Codes» и просмотрите исходящие ссылки, типы ссылок, якорный текст и директивы nofollow на вкладке «Outlinks» в нижнем окне. Это даст вам представление о том, на какие сайты и как ссылаются эти страницы. Чтобы просмотреть вкладку «Outlinks», убедитесь, что интересующий вас URL выбран в верхнем окне.

Конечно, вы захотите использовать пользовательский фильтр, чтобы определить, ссылаются ли эти страницы уже на вас.

Вы также можете экспортировать полный список внешних ссылок, нажав на «All Outlinks» в «Bulk Export Menu». Это не только покажет вам ссылки на внешние сайты, но и покажет все внутренние ссылки на отдельных страницах в вашем списке.

Как найти неработающие ссылки, чтобы использовать их для аутрич-возможностей

Итак, вы нашли сайт, с которого вы хотели бы получить ссылку? Используйте Screaming Frog для поиска битых ссылок на нужной странице или на сайте в целом, затем свяжитесь с владельцем сайта, предложите свой сайт в качестве замены битой ссылки, если это возможно, или просто предложите битую ссылку в знак доброй воли.

Как проверить мои обратные ссылки и просмотреть анкорный текст

Загрузите список обратных ссылок и запустите паука в режиме ‘List’. Затем экспортируйте полный список исходящих ссылок, нажав на ‘All Out Links’ в ‘Advanced Export Menu’. В результате вы получите URL-адреса и якорный текст/alt-текст для всех ссылок на этих страницах. Затем вы можете использовать фильтр в столбце ‘Destination’ в CSV, чтобы определить, есть ли на вашем сайте ссылки и какой якорный текст/alt текст включен.

Я нахожусь в процессе очистки своих обратных ссылок и мне нужно проверить, что ссылки удаляются в соответствии с запросом

Установите пользовательский фильтр, содержащий URL вашего корневого домена, затем загрузите список обратных ссылок и запустите паука в режиме ‘List’. Когда паук закончит сканирование, выберите вкладку ‘Custom’, чтобы просмотреть все страницы, которые все еще ссылаются на вас.

Бонусный раунд

Знаете ли вы, что, щелкнув правой кнопкой мыши на любом URL в верхнем окне результатов, вы можете сделать любое из следующих действий?

• Скопировать или открыть URL
• Повторно просканировать URL или удалить его из просмотра
• Экспортировать информацию об URL, входящие ссылки, исходящие ссылки или информацию об изображении для этой страницы.
• Проверить индексацию страницы в Google, Bing и Yahoo
• Проверить обратные ссылки страницы в Majestic, OSE, Ahrefs и Blekko
• Посмотреть кэшированную версию/дату кэширования страницы
• Посмотреть более старые версии страницы
• Проверить валидность HTML страницы
• Открsnm robots.txt для домена, на котором расположена страница
• Искать другие домены на том же IP

Аналогично, в нижнем окне, щелкнув правой кнопкой мыши, вы можете:

• Скопировать или открыть URL-адрес в столбце «To» или «From» для выбранной строки.

Как редактировать метаданные

Режим SERP Mode позволяет просматривать сниппеты поисковой выдачи по устройствам, чтобы наглядно показать, как ваши метаданные будут отображаться в результатах поиска.

• Загрузите URL, заголовки и метаописания в Screaming Frog с помощью документа .CSV или Excel
• Если вы уже выполнили сканирование своего сайта, вы можете экспортировать URL-адреса, перейдя в раздел ‘Reports → SERP Summary’. Это позволит легко отформатировать URL-адреса и мета-описания, которые вы хотите повторно загрузить и отредактировать.
• Mode → SERP → Upload File
• Редактирование метаданных в Screaming Frog

• Массовый экспорт обновленных метаданных для отправки непосредственно разработчикам для обновления

Как просканировать сайт с JavaScript

Все чаще сайты строятся с использованием JavaScript-фреймворков, таких как Angular, React и т. д. Google настоятельно рекомендует использовать решение для рендеринга, поскольку Googlebot все еще с трудом справляется с содержимым на javascript. Если вы обнаружили сайт, построенный с использованием javascript, следуйте приведенным ниже инструкциям, чтобы сканировать его.

• ‘Configuration → Spider → Rendering → JavaScript

• Измените настройки рендеринга в зависимости от того, что вы ищете. Вы можете настроить время ожидания, размер окна (мобильное, планшетное, настольное и т.д.).
• Нажмите OK и сканируйте сайт.

В нижней навигации перейдите на вкладку Rendered Page («Рендеринг страницы»), чтобы посмотреть, как отображается страница. Если страница отображается некорректно, проверьте наличие заблокированных ресурсов или увеличьте лимит тайм-аута в настройках конфигурации. Если ни один из этих способов не помогает решить проблему рендеринга страницы, возможно, необходимо выявить более серьезную проблему.

Вы можете просмотреть и экспортировать в массовом порядке все заблокированные ресурсы, которые могут влиять на краулинг и рендеринг вашего сайта, перейдя в раздел ‘Bulk Export’ → ‘Response Codes’.

Просмотр оригинального HTML и рендеринга HTML

Если вы хотите сравнить исходный HTML и рендеринг HTML, чтобы выявить любые несоответствия или убедиться, что важное содержимое находится в DOM, перейдите в ‘Configuration’ → ‘Spider’ -> ‘Advanced’ и нажмите store HTML & store rendered HTML.

В нижнем окне вы сможете увидеть необработанный и преобразованный HTML. Это может помочь выявить проблемы с тем, как ваше содержимое отображается и просматривается краулерами.

Заключительные замечания

В заключение, я надеюсь, что это руководство даст вам лучшее представление о том, что Screaming Frog может сделать для вас. Оно сэкономило мне бесчисленное количество часов, поэтому я надеюсь, что оно поможет и вам!

Кстати, я не связан со Screaming Frog; я просто считаю, что это потрясающий инструмент.

Источник: https://www.seerinteractive.com/blog/screaming-frog-guide/

Современные музыкальные приложения для Linux хороши во многих вещах, хотя большинство из них все еще не справляется с этой фундаментальной задачей: отображением текста во время воспроизведения песни. Отсутствие быстрого доступа к текстам песен — это еще не конец света, но если вы любите следовать строкам любимой песни, возможно, вам будет трудно жить без этой функции. Если вы не можете жить без текстов песен в своей библиотеке MP3, попробуйте приложение Lyrics Finder. Приложение может находить и добавлять тексты песен в Linux в поддерживаемых медиаплеерах.

ОПОВЕЩЕНИЕ СПОЙЛЕРА: прокрутите вниз и посмотрите видеоурок в конце этой статьи.

Ubuntu

Существует несколько способов, которыми разработчик позволяет пользователям Ubuntu установить Lyrics Finder. Поклонники могут скачать пакет с веб-сайта или установить через PPA.

Хотя PPA хорош и позволяет напрямую обновлять разработчикам, мы не рекомендуем его, так как загрузка пакета выполняется быстрее и поддерживает больше дистрибутивов, подобных Ubuntu.

Чтобы установить на Ubuntu, откройте терминал и загрузите его с помощью wget.

wget https://www.mediahuman.com/download/LyricsFinder.amd64.deb

или для 32-битной версии:

wget https://www.mediahuman.com/download/LyricsFinder.i386.deb

Установите Lyrics Finder с помощью команды dpkg.

sudo dpkg -i LyricsFinder.*.deb

Debian

Lyrics Finder косвенно поддерживает Debian, поскольку пакеты DEB работают с ним. Чтобы установить программу, загрузите с помощью wget и установите с помощью dpkg.

wget https://www.mediahuman.com/download/LyricsFinder.amd64.deb

или для 32-битной версии:

wget https://www.mediahuman.com/download/LyricsFinder.i386.deb

sudo dpkg -i LyricsFinder.*.deb

Fedora / OpenSUSE

Lyrics Finder поддерживает Linux, но только в виде загружаемого файла пакета DEB. Нет исходного кода, универсального двоичного файла, пакета RPM, AppImage или чего-либо в этом роде.

Хотя официальной поддержки дистрибутивов Redhat Linux нет, но в ходе нашего тестирования мы смогли преобразовать официальный пакет DEB в файл RPM с помощью Alien. Используйте его на свой страх и риск!

Сначала установите Alien на свой компьютер с помощью:

sudo dnf install alien

или же

sudo zypper install alien

Скачайте последнюю версию Lyrics Finder с помощью wget

wget https://www.mediahuman.com/download/LyricsFinder.amd64.deb

или для 32-битной версии:

wget https://www.mediahuman.com/download/LyricsFinder.i386.deb

Преобразуйте пакет с помощью Alien.

sudo alien -rcv LyricsFinder.*.deb

Наконец, установите файл RPM.

sudo dnf install lyrics-finder-1.4.4-2.x86_64.rpm

или же

sudo zypper install lyrics-finder-1.4.4-2.x86_64.rpm

Метод преобразования не работает? Ознакомьтесь с нашим руководством, чтобы узнать, как извлечь и запустить любой пакет DEB в любом дистрибутиве Linux!

Чтобы найти тексты для музыки в своей библиотеке, откройте приложение Lyrics Finder. После открытия щелкните значок файла, чтобы импортировать аудиофайл. Lyrics Finder поддерживает одновременный импорт нескольких аудиофайлов. Чтобы импортировать несколько аудиофайлов, выберите значок «папка», а не значок «файл», и найдите музыкальный каталог, который вы хотите импортировать.

При выборе значка «файл» открывается диалоговое окно «открыть файл». В диалоговом окне «Открыть файл» найдите файл MP3, который вы хотите добавить в Lyrics Finder, и нажмите кнопку «Открыть», чтобы импортировать его.

Нажатие кнопки «Открыть» должно немедленно импортировать песню. На этом этапе найдите Lyrics Finder и щелкните файл MP3, для которого вам нужен текст.

Наберитесь терпения и позвольте приложению Lyrics Finder найти правильный текст для выбранной вами песни. Когда процесс поиска завершится, текст песни загрузится в Lyrics Finder.

Принудительный поиск

Lyrics Finder довольно точен и обычно может найти текст даже для самых малоизвестных песен. Однако иногда он не может найти (по какой-либо причине). Один из способов обойти ошибки, при которых программа не выполняет поиск или отказывается от них, и т. Д. — использовать опцию «принудительный поиск».

Использование «принудительного поиска» не заставит программу волшебным образом найти тексты песен. Тем не менее, это поможет, если время поиска истечет или он откажется пройти. Чтобы принудительно выполнить поиск, перейдите в программу поиска текстов песен, щелкните правой кнопкой мыши песню в списке и выберите в меню параметр «принудительный поиск».

Экспорт текстов песен

Lyrics Finder может сохранять найденные тексты песен во внешний текстовый файл. Для этого импортируйте музыкальный файл и ищите тексты как обычно. Затем вернитесь к файлу и щелкните его правой кнопкой мыши.

В контекстном меню найдите параметр «Экспорт в TXT» и выберите его. При выборе этого параметра файл с текстами песен будет автоматически экспортирован в точное местоположение музыкального файла, загруженного в программу поиска текстов песен.

Очистить тексты песен

Не довольны лирикой, которую загрузил Lyrics Finder? Перейдите в приложение и выделите файл с песней. Щелкните файл правой кнопкой мыши и выберите значок ручки и бумаги под текстом.

Нажмите Ctrl + A, чтобы выделить весь текст. Когда все будет выделено, щелкните правой кнопкой мыши и выберите «удалить» в появившемся меню.

После нажатия кнопки «Удалить» текст песни исчезнет. Чтобы сохранить изменения, щелкните значок галочки.