Создаём robots.txt

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем.

Disallow блокирует доступ к страницам. Более подробно о составления robots.txt можно прочитать на сайте help.yandex.ru/webmaster  или в справке гугла

1. Создаём текстовый документ на рабочем столе и называем его robots.txt. Далее вписываем следующие значения robots.txt для wordpress. Название Host и пусть sitemap указывайте своего сайта.

User-agent: *

Disallow: /admin/
Disallow: /author/
Disallow: /cgi-bin/
Disallow: /wp-login.php/
Disallow: /wp-register.php/
Disallow: /wp-cron.php/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /webstat/
Disallow: /user/
Disallow: /feed/
Disallow: /tag/
Disallow: /category/
Disallow: /page/

Host: chempalov.ru

Sitemap: https://www.chempalov.ru/sitemap.xml
Sitemap: https://www.chempalov.ru/sitemap.xml.gz

2. Загружаем данный файл в директорию вашего сайта на хостинге через filezilla или как вам удобно.

Вы можете посмотреть, как составлен robots.txt на других сайтов. Для этого пропишите http://site.ru/robots.txt.