О мета-теге robots

О мета-теге robots

Мета-тег «robots» позволяет указывать роботам, можно ли индексировать данную страницу и можно ли использовать ссылки, приведенные на странице. Этот мета-тег указывается на каждой конкретной странице, доступ к которой требуется ограничить.

Мета-тег «robots» должен быть помещен в область HEAD HTML страницы:








Мета-тег «robots» содержит указания, разделенные запятыми. В настоящее время определены существующие указания [NO]INDEX и [NO]FOLLOW. Директивы INDEX указывают, может ли робот индексировать страницу. Директива FOLLOW указывает роботу, может ли он следовать по ссылкам со страницы. Значения по умолчанию – INDEX и FOLLOW. Значения ALL и NONE обозначают активность всех директив и, соответственно, наоборот: ALL=INDEX,FOLLOW и NONE=NOINDEX,NOFOLLOW.

Рассмотрим подробнее различные варианты значений и применение мета-тега:

Индексировать данную страницу и использовать ссылки на ней:

аналогичен значению:

Не индексировать данную страницу, но использовать ссылки на ней:

Индексировать данную страницу, но не использовать ссылки на ней:

Не индексировать данную страницу и не использовать ссылки на ней:

аналогичен значению

Мета-тег «robots» выполняет ту же функцию, что и файл robots.txt и поэтому манипулируя мета-тегом «robots» не забывайте, что в robots.txt тоже могут быть созданы правила, а робот поисковой системы при нахождении противоречий между мета-тегом и файлом выполнить наиболее строгое правило(запрет), поэтому постарайтесь не дублировать правила в этих инструментах управления поисковыми роботами.

Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project (www.dmoz.org), могут появиться в результатах поиска Google.

Чтобы использовать файл robots.txt, необходимо иметь доступ к корневому каталогу вашего домена (в случае сомнений обратитесь к поставщику услуг веб-хостинга). Если у вас нет доступа к корневому каталогу домена, вы можете ограничить доступ с помощью метатега robots.

Чтобы полностью исключить вероятность появления контента страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex или x-robots-tag. По мере сканирования страниц, робот Googlebot обнаружит метатег noindex и не станет отображать страницу в индексе. HTTP-заголовок x-robots-tag рекомендуется использовать, чтобы исключить из индекса файлы, формат которых отличается от HTML (например, изображения или другие типы документов).
источник: Справка инструментов для веб-мастеров Google

источник: Все о файле robots.txt по-русски

Прочитать об основных мета-тегах можно здесь.

Оцените статью
Мой SEO Гид - всё для SEO, SEM, SMO и SMM
Добавить комментарий