Идеальный robots.txt для Wordpress и Woo

По последним стандартам (согласно исследованию от Yoast) нет необходимости закрывать все что можно в robots.txt, он реально может быть небольшим по количеству условий, и при этом эффективным.

User-agent: *

Disallow: /wp-login

Disallow: /wp-admin

Disallow: /*add-to-cart=

Disallow: *?s=

Disallow: */?att

Disallow: *?pr

Disallow: *?filter

Disallow: */page/

Disallow: *?orderby=

Allow:    /wp-admin/admin-ajax.php

Crawl-delay: 40

Host: ДОМЕН

Sitemap: http://ДОМЕН/sitemap.xml

---

Обсудить сниппет

Теги

Поделиться с друзьями

---