1. User-Agent: Если ваш сайт использует настройки, которые ограничивают доступ для определенных поисковых систем, настройка User-Agent поможет избежать ошибок. Убедитесь, что выбран "Паук" для сбора информации, как обычный поисковый бот.
2. Ограничение глубины обхода: Эта опция позволяет задать количество уровней, которые Screaming Frog будет исследовать, начиная с первоначального URL. Для анализа крупного сайта стоит оставить значение по умолчанию, чтобы захватить все уровни.
3. Исключение и включение URL: Вы можете установить правила для исключения или включения определенных URL. Например, если есть страницы, которые не должны быть проанализированы, такие как страницы входа или ссылки на социальные сети, добавьте их в раздел "Исключить".
Настройка рекурсивного обхода
Для более глубокого анализа необходимо использовать рекурсивный обход. В Screaming Frog это обеспечивается настройками "Настройка > Паук". Убедитесь, что опции "Обход всех поддоменов" и "Обход вне начальной папки" активированы. Это позволит программе просканировать не только основной домен, но и все его поддомены, а также другие страницы, если они находятся в указанном реестре.
Установка лимитов по времени и ресурсам
Необходимо установить лимиты для избежания перегрузки вашего сервера, особенно если вы анализируете крупный сайт. Это можно сделать в "Настройка > Скорость". Параметр "Максимальное количество запросов" указывает, сколько соединений может быть открыто одновременно. Установите это значение на 5-10 для умеренного способа работы без перегрузки.
Сохранение настроек
После выполнения всех необходимых конфигураций не забудьте сохранить их. Нажмите "Файл > Сохранить настройки" для сохранения всех внесенных изменений. Это позволит вам вернуться к ним при следующем запуске программы без необходимости повторной настройки.
Запуск анализа
Теперь, когда вы выполнили установку и первичную настройку Screaming Frog, вы готовы запустить анализ. Вводите нужный URL, выбирайте сохраненные настройки и нажимайте "Начать". В процессе сканирования вы сможете наблюдать за реальной работой программы: Screaming Frog будет показывать статус и прогресс выполнения, количество обработанных URL и другие данные в реальном времени.
Помните, что первый анализ может занять некоторое время в зависимости от размеров вашего сайта и настройки сервера. Следите за процессом в режиме реального времени и готовьтесь к тому, что результаты анализа станут основой для дальнейших оптимизаций вашего веб-ресурса.
Как выбрать правильные настройки для сканирования сайта
Чтобы эффективно использовать Screaming Frog для анализа вашего сайта, крайне важно правильно настроить инструменты сканирования. Ошибки на этапе настройки могут привести к неполным или неверным данным, что в дальнейшем усложнит процесс исправления обнаруженных проблем. В данной главе мы рассмотрим ключевые настройки, на которые стоит обратить внимание.
Определение глубины сканирования
Одна из первых и самых важных настроек, которые необходимо учесть, – это глубина сканирования. Эта опция определяет, сколько уровней страниц сайта будет просканировано. Если ваш сайт большой и состоит из множества подстраниц, разумно установить глубину в 3-5 уровней. Это позволит охватить большую часть контента, но при этом не перегрузит данные. Для того чтобы задать количество уровней, необходимо использовать параметры:
