Создание сайта от А до Я. Книга 4 - страница 4
Disallow: /tag/
Disallow: */feed
Disallow: */trackback
Disallow: */page
Disallow: /author/*
Disallow: /201*
Disallow: /template.html
Disallow: /readme.html
Disallow: *?replytocom
Disallow: *?*
Allow: */uploads
Allow: *.js
Allow: *.css
Allow: *.png
Allow: *.gif
Host: урл_сайта
Sitemap: http://урл_сайта/sitemap.xml
В заключение дадим ещё одну ссылку правильной настройки файла robots. txt с возможностью скачать вариант настроенного рабочего файла:
https://wordpress-book.ru/prodvizhenie/pravilnyj-robots-txt-dlya-wordpress/
автор: Роман Ваховский, обновлено: Апрель 14, 2018
Как учесть требования поисковиков?
https://texterra.ru/blog/kak-sozdat-sayt-na-wordpress-polnoe-rukovodstvo-dlya-novichkov.html
С помощью SEO-плагинов вы можете обеспечить соответствие сайта на WordPress техническим требованиям поисковых систем. В частности, дополнительные модули решают следующие задачи:
– Создание и обновление карты сайта
– Канонизация URL
– Оптимизация title страниц
– Автоматическая генерация мета-данных страниц
– Блокирование индексации дублированного контента
– Создание микроразметки страниц
Чтобы решить эти задачи, вы должны установить по одному SEO-плагину из трёх групп:
– плагины для создания карты сайта,
– плагины для технической оптимизации ресурса и
– плагины для создания микроразметки.
– Создание карты сайта. Используйте один из следующих плагинов:
– Google XML Sitemaps
– Google Sitemap
– Simple WP Sitemap
– WP Sitemap Page
Установите и активируйте выбранный плагин, например, Google XML Sitemap. Для настройки плагина перейдите в меню «Настройки – XML-Sitemap».
Переходим в меню настройки плагина
Начинающим вебмастерам лучше оставить настройки по умолчанию. После активации плагин создал карту сайта, добавил её адрес в файл robots. txt и приготовился уведомлять поисковые системы об обновлениях ресурса.
Карта сайта создана.
Если вы считаете себя опытным вебмастером, можете изменить настройки плагина. В разделе «Дополнительные страницы» вы можете вручную включить в карту сайта URL, которые не были включены в неё автоматически. В разделе «Приоритет статьи» определите способ вычисления приоритетности индексирования контента. В разделах «Изменить частоты» и «Приоритеты» вы можете рекомендовать поисковым роботам наиболее приоритетные по вашему мнению типы контента.
Честно говоря, поисковики и без вас разберутся, что и когда индексировать.
– Техническая оптимизация ресурса. Воспользуйтесь одним из следующих плагинов:
– WordPress SEO by Yoast
– All in One SEO Pack
– Platinum SEO Pack
Установите и активируйте выбранный плагин, например, SEO by Yoast. О его настройках мы уже говорили ранее. Описание настроек других плагинов вы можете найти в интернете.
– Создания микроразметки. Основная суть микроразметки на сайте – это предоставить поисковым системам структурированную информацию, которая находится на странице. Благодаря микроразметке стало возможным выделить действительно важную информацию и давать более подробную информацию поисковому роботу.
Воспользуйтесь одним из следующих плагинов:
– Yoast SEO
– Schema Creator by Raven – комплексная микроразметка для вашего сайта;
– SEO Link Creator – микроразметка к внешним ссылкам, а также их автоматическое повторное использование на тех же ключевых словах;
Основные моменты SEO оптимизации
В главе 2 мы уже затрагивали вопросы SEO оптимизации сайта. К этому вопросу мы ещё вернёмся в главе 29. Здесь же напомним некоторые моменты.