Создание сайта от А до Я. Книга 4 - страница 2

– «Allow:» – разрешено индексировать. В варианте robots. txt для WordPress мы это не используем.

– «Disallow:» – запрещено индексировать.

– «Host: ваш_сайт.ru» – обязательно нужно указать основное зеркало. Ваш сайт открывается по двум адресам: с www и без www. Но в итоге происходит редирект на один из адресов (часто на блоге без www) – это и есть основное зеркало, которое нужно указать здесь. Эта строчка может быть расположена в любой части файла.

– «Sitemap:» – ссылка на XML-карту сайта. Если файлов с XML-картами несколько, пропишите путь к каждому из них.

– Регулярные выражения: звёздочка * – означает произвольную последовательность символов.

Очень подробно о директивах robots. txt написано в помощи Яндекса, поэтому если что-то не понятно, попробуйте прочитать там.

Архив файла robots. txt можно скачать по адресу: https://s3.amazonaws.com/failibaza/robots.rar и Денис Платонов (Создавалкин) http://sozdavalkin.ru/robots-txt-dlya-wordpress/

User-agent: Yandex

Disallow: /wp-admin

Disallow: /wp-includes

Allow: /wp-includes/js/*

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: *?s*

Disallow: /?s=*

Disallow: /search

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */embed*

Disallow: */wp-json/*

Allow: /wp-content/uploads/

Host: ваш-сайт.ru # (Host: пробел, имя вашего сайта без http://)

User-agent: Googlebot

Disallow: /wp-admin

Disallow: /wp-includes

Allow: /wp-includes/js/*

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: *?s*

Disallow: /?s=*

Disallow: /search

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */embed*

Disallow: */wp-json/*

Allow: /wp-content/uploads/

User-agent: Mail.Ru

Disallow: /wp-admin

Disallow: /wp-includes

Allow: /wp-includes/js/*

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: *?s*

Disallow: /?s=*

Disallow: /search

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */embed*

Disallow: */wp-json/*

Allow: /wp-content/uploads/

User-agent: *

Disallow: /wp-admin

Disallow: /wp-includes

Allow: /wp-includes/js/*

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: *?s*

Disallow: /?s=*

Disallow: /search

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */embed*

Disallow: */wp-json/*

Allow: /wp-content/uploads/

User-agent: Googlebot-Image

Allow: /wp-content/uploads/

User-agent: YandexImages

Allow: /wp-content/uploads/

User-agent: Mediapartners-Google

Disallow: # не убирайте

User-Agent: YaDirectBot

Disallow: # не убирайте

Sitemap: http://вашсайт.ru/sitemap.xml # (или http://вашсайт.ru/sitemap_index.xml)

Как установить robots. txt в WordPress

Сначала внесём в него некоторые изменения в адресацию сайта и карты.

Открываем файл с помощью блокнота.

И редактируем две строчки, в которые вставляем имя вашего сайта:

– Host: http://пробел, имя вашего сайта без http://

– Sitemap: http://Имя вашего сайта/sitemap. xml или http://вашсайт.ru/sitemap_index.xml). Зависит от плагина

В первой указываем адрес нашего сайта без WWW (так настроен наш хостинг Beget), а во второй – путь к XML карте сайта. Чтобы узнать этот путь, заходим в «Консоль/SEO/Общие»