Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем.
Disallow блокирует доступ к страницам. Более подробно о составления robots.txt можно прочитать на сайте help.yandex.ru/webmaster или в справке гугла
1. Создаём текстовый документ на рабочем столе и называем его robots.txt. Далее вписываем следующие значения robots.txt для wordpress. Название Host и пусть sitemap указывайте своего сайта.
User-agent: * Disallow: /admin/ Disallow: /author/ Disallow: /cgi-bin/ Disallow: /wp-login.php/ Disallow: /wp-register.php/ Disallow: /wp-cron.php/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/ Disallow: /wp-content/plugins Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: /webstat/ Disallow: /user/ Disallow: /feed/ Disallow: /tag/ Disallow: /category/ Disallow: /page/ Host: chempalov.ru Sitemap: https://www.chempalov.ru/sitemap.xml Sitemap: https://www.chempalov.ru/sitemap.xml.gz
2. Загружаем данный файл в директорию вашего сайта на хостинге через filezilla или как вам удобно.
Вы можете посмотреть, как составлен robots.txt на других сайтов. Для этого пропишите http://site.ru/robots.txt.