Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем.
Disallow блокирует доступ к страницам. Более подробно о составления robots.txt можно прочитать на сайте help.yandex.ru/webmaster или в справке гугла
1. Создаём текстовый документ на рабочем столе и называем его robots.txt. Далее вписываем следующие значения robots.txt для wordpress. Название Host и пусть sitemap указывайте своего сайта.
User-agent: * Disallow: /admin/ Disallow: /author/ Disallow: /cgi-bin/ Disallow: /wp-login.php/ Disallow: /wp-register.php/ Disallow: /wp-cron.php/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/ Disallow: /wp-content/plugins Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: /webstat/ Disallow: /user/ Disallow: /feed/ Disallow: /tag/ Disallow: /category/ Disallow: /page/ Host: chempalov.ru Sitemap: https://www.chempalov.ru/sitemap.xml Sitemap: https://www.chempalov.ru/sitemap.xml.gz
2. Загружаем данный файл в директорию вашего сайта на хостинге через filezilla или как вам удобно.
Вы можете посмотреть, как составлен robots.txt на других сайтов. Для этого пропишите http://site.ru/robots.txt.
Disallow: /wp-login.php/
Disallow: /wp-register.php/
Disallow: /wp-cron.php/
А здесь / зачем понаставили? Вы этим не закрыли файлы wp-login.php и т.д., Вы закрыли папки, которых нету с такими именами.
Ваш роботс это пример как не надо делать =)
Disallow: /wp-content/
а потом ещё
Disallow: /wp-content/plugins
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Да Вы же уже закрыли первым запретом не только следующие три, но вообще всё внутри wp-content
Советую почитать про * и $ в роботсах. * это любые символы в любом количестве (от нуля и до…). $ это конец строки. Если не указать $ – боты считают что у вас в запретах в конце стоит *
У Вас плохой роботс =)
Почему Вы для User-agent: * прописали Host, если он только для яндекса и другие поисковики могут неизвестно как отреагировать на непредназначенную для них запись.
Не просто так у вебмастеров два юзер-агента в роботсах. Если прописали Host, то и яндекс нужно прописывать, а если прописали яндекс, то и запреты продублировать
Типа ответ на вопрос выше:
“Посмотрел robots.txt на других сайтах.
У вебмастеров! И что?
У всех robots.txt состоит из двух частей: 1)User-agent: * и 2)User-agent: Yandex.
Что скажешь?”
Посмотрел robots.txt на других сайтах.
У вебмастеров! И что?
У всех robots.txt состоит из двух частей: 1)User-agent: * и 2)User-agent: Yandex.
Что скажешь?
User-agent: * – для всех роботов, User-agent: Yandex – для яндекса. Например, хочешь закрыть определённую страницу для яндекса, и чтоб в других поисковых системах она индексировалась.
Почитай новые сообщения, я рассказал зачем в роботсах вэбмастеров User-agent: * и User-agent: Yandex
Если я прямо на странице отменяю её индексацию (галочка на «Disable on this page/post»), — то не надо эту страницу запрещать в robots.txt?
Да, так и есть.
А что такое: Disallow: /author/ ?
Страница “обо мне”?
Мне тогда надо написать Disallow: /about/ . Так?
Слушай, Дима! А страницу картинок надо индексировать /wp-content/uploads/ ?
Среди картинок так много дублей!
Привет, дублей вообще не должно быть. Первую строчку написал для той аудитории, которые любят смотреть robots.txt чужой, чтоб их немного запутать, Disallow: /author/ закрыл страницу архив автора от индексации https://chempalov.ru/author/dmitry/ На данный момент у меня в гугл много мусорных страниц, тк устанавливал буквально месяц назад различные плагины bbpress и тд, которые автоматически создают новые страницы и вовремя не закрыл их от индексации. В целом хочу сказать мусор не критичен.
“Мне тогда надо написать Disallow: /about/ . Так?” Нет, пусть страница о тебе будет индексироваться, если там есть что то полезное.
Доброе Утро!
Почему в строке –
Sitemap: _www.chempalov.ru/sitemap.xml – указано “www.”?
Если открыть _www.chempalov.ru/sitemap.xml – карты нет.
А здесь: chempalov.ru/sitemap.xml – есть карта!
Здравствуйте, спасибо, что обратили внимание на данный пункт. Карта создавалась прежде всего для робота, обычный средне статический посетитель сайта не будет смотреть карту. На ранжирование не влияет, поэтому нет желания что-либо править.