Мета-тег «robots» позволяет указывать роботам, можно ли индексировать данную страницу и можно ли использовать ссылки, приведенные на странице. Этот мета-тег указывается на каждой конкретной странице, доступ к которой требуется ограничить.
Мета-тег «robots» должен быть помещен в область HEAD HTML страницы:
…
…Мета-тег «robots» содержит указания, разделенные запятыми. В настоящее время определены существующие указания [NO]INDEX и [NO]FOLLOW. Директивы INDEX указывают, может ли робот индексировать страницу. Директива FOLLOW указывает роботу, может ли он следовать по ссылкам со страницы. Значения по умолчанию – INDEX и FOLLOW. Значения ALL и NONE обозначают активность всех директив и, соответственно, наоборот: ALL=INDEX,FOLLOW и NONE=NOINDEX,NOFOLLOW.
Рассмотрим подробнее различные варианты значений и применение мета-тега:
Индексировать данную страницу и использовать ссылки на ней:
аналогичен значению:
Не индексировать данную страницу, но использовать ссылки на ней:
Индексировать данную страницу, но не использовать ссылки на ней:
Не индексировать данную страницу и не использовать ссылки на ней:
аналогичен значению
Мета-тег «robots» выполняет ту же функцию, что и файл robots.txt и поэтому манипулируя мета-тегом «robots» не забывайте, что в robots.txt тоже могут быть созданы правила, а робот поисковой системы при нахождении противоречий между мета-тегом и файлом выполнить наиболее строгое правило(запрет), поэтому постарайтесь не дублировать правила в этих инструментах управления поисковыми роботами.
Чтобы использовать файл robots.txt, необходимо иметь доступ к корневому каталогу вашего домена (в случае сомнений обратитесь к поставщику услуг веб-хостинга). Если у вас нет доступа к корневому каталогу домена, вы можете ограничить доступ с помощью метатега robots.
Чтобы полностью исключить вероятность появления контента страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex или x-robots-tag. По мере сканирования страниц, робот Googlebot обнаружит метатег noindex и не станет отображать страницу в индексе. HTTP-заголовок x-robots-tag рекомендуется использовать, чтобы исключить из индекса файлы, формат которых отличается от HTML (например, изображения или другие типы документов).
источник: Справка инструментов для веб-мастеров Google
источник: Все о файле robots.txt по-русски
Прочитать об основных мета-тегах можно здесь.
