Настройка robots.txt. Пример

Блог

Вариант 1. Если ваш сайт работает через обычный протокол (http).

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Allow: /wp-includes/js/
Allow: /wp-includes/images/
Disallow: /trackback/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: *view=
Disallow: *utm=
Disallow: *.csv$
Crawl-delay: 2.0
Sitemap: http://xn--21-6kcdesc8cxbil.xn--p1ai/sitemap.xml

User-agent: GoogleBot
Disallow: /admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: *view=
Disallow: *utm=
Disallow: *.csv$
Allow: /plugins/*.css
Allow: /plugins/*.js
Allow: /plugins/*.png
Allow: /plugins/*.jpg
Allow: /plugins/*.gif
Crawl-delay: 2.0
Sitemap: http://xn--21-6kcdesc8cxbil.xn--p1ai/sitemap.xml

User-agent: Yandex
Disallow: /admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: *view=
Disallow: *.csv$
Disallow: /feed
Disallow: /comments/feed
Allow: /plugins/*.css
Allow: /plugins/*.js
Allow: /plugins/*.png
Allow: /plugins/*.jpg
Allow: /plugins/*.gif
Allow: /feed/turbo/
Crawl-Delay: 2.0
Host: xn--21-6kcdesc8cxbil.xn--p1ai
Sitemap: http://xn--21-6kcdesc8cxbil.xn--p1ai/sitemap.xml

Вариант 2. Если ваш сайт работает через безопасный протокол SSL (https).

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Allow: /wp-includes/js/
Allow: /wp-includes/images/
Disallow: /trackback/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: *view=
Disallow: *utm=
Disallow: *.csv$
Crawl-delay: 2.0
Sitemap: https://xn--21-6kcdesc8cxbil.xn--p1ai/sitemap.xml

User-agent: GoogleBot
Disallow: /admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: *view=
Disallow: *utm=
Disallow: *.csv$
Allow: /plugins/*.css
Allow: /plugins/*.js
Allow: /plugins/*.png
Allow: /plugins/*.jpg
Allow: /plugins/*.gif
Crawl-delay: 2.0
Sitemap: https://xn--21-6kcdesc8cxbil.xn--p1ai/sitemap.xml

User-agent: Yandex
Disallow: /admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: *view=
Disallow: *.csv$
Disallow: /feed
Disallow: /comments/feed
Allow: /plugins/*.css
Allow: /plugins/*.js
Allow: /plugins/*.png
Allow: /plugins/*.jpg
Allow: /plugins/*.gif
Allow: /feed/turbo/
Crawl-Delay: 2.0
Host: https://xn--21-6kcdesc8cxbil.xn--p1ai
Sitemap: https://xn--21-6kcdesc8cxbil.xn--p1ai/sitemap.xml

Заказать (Время создания 15 минут).