Как закрыть сайт от индексирования поисковыми системами?

 

Небольшая заметка о том, как закрыть сайт от индексирования поисковыми роботами.

Когда сайт находиться на стадии редактирования, то лучше закрыть его от индексирования, тк в противном случае в google будут находиться проиндексированные страницы сайта.

В целом – это может сильно не повлиять на дальнейшее продвижение сайта в интернете, но от мусорных страниц лучше избавляться и поэтому, создавая сайт, лучше первоначально закрыть его от индексирования страниц поисковыми системами до запуска.

Создаём файл robots.txt и вписываем следующий код:

User-agent: *
Disallow: /