РЕНДЕРИНГ
Когда поисковая система сканирует веб-страницу, она затем «рендерит» страницу. Это включает в себя использование информации HTML, JavaScript и каскадной таблицы стилей (CSS) для создания того, как страница будет отображаться для пользователей настольных компьютеров и/или мобильных устройств.
Это важно для того, чтобы поисковая система могла понять, как содержимое веб-страницы отображается в контексте. Обработка JavaScript помогает гарантировать, что они могут иметь весь контент, который пользователь-человек увидит при посещении страницы.
Поисковые системы классифицируют этап рендеринга как подпроцесс на этапе сканирования. Я перечислил это здесь как отдельный шаг в процессе, потому что получение веб-страницы и последующий анализ содержимого, чтобы понять, как оно будет выглядеть в браузере, – это два разных процесса.
Google использует тот же движок рендеринга, что и браузер Google Chrome, называемый «Rendertron», который построен на основе системы браузера Chromium с открытым исходным кодом.
Bingbot использует Microsoft Edge в качестве механизма для запуска JavaScript и отображения веб-страниц. Теперь он также построен на основе браузера на основе Chromium, поэтому он по существу отображает веб-страницы так же, как это делает Googlebot.
Google хранит копии страниц в своем репозитории в сжатом формате. Похоже, что Microsoft Bing тоже так делает (но я не нашел документации, подтверждающей это также как и на Яндекс). Некоторые поисковые системы могут хранить сокращенную версию веб-страницы, состоящую только из видимого текста, лишенного всего форматирования.
Рендеринг в основном становится проблемой в SEO для страниц, ключевые части контента которых зависят от JavaScript/AJAX.
И Google, и Яндекс, и Microsoft Bing будут выполнять JavaScript, чтобы увидеть весь контент на странице, а более сложные конструкции JavaScript могут быть сложными для работы поисковых систем.
Я видел веб-страницы, созданные с помощью JavaScript, которые были практически невидимы для поисковых систем. Это приводило к крайне неоптимальным веб-страницам, которые не могли ранжироваться, по своим поисковым запросам.
Я также видел случаи, когда страницы категорий с бесконечной прокруткой на веб-сайтах электронной коммерции плохо работали в поисковых системах, потому что поисковая система не могла видеть столько ссылок на продукты.
Другие условия также могут мешать рендерингу. Например, когда есть один или несколько файлов JavaScript или CSS, недоступных для роботов поисковых систем из-за того, что они находятся в подкаталогах, запрещенных robots. txt, будет невозможно полностью обработать страницу.
Googlebot YandexBot/3 и Bingbot в основном не будут индексировать страницы, для которых требуются файлы cookie. Страницы, которые условно предоставляют некоторые ключевые элементы на основе файлов cookie, также могут не отображаться полностью или должным образом.
ИНДЕКСАЦИЯ
После того, как страница просканирована и отображена, поисковые системы обрабатывают страницу, чтобы определить, будет ли она сохранена в индексе или нет, и понять, о чем эта страница.
Индекс поисковой системы функционально подобен индексу слов, найденных в конце книги.
В указателе книги будут перечислены все важные слова и темы, найденные в книге, в алфавитном порядке каждого слова, а также список номеров страниц, на которых будут найдены слова/темы.
