Регистрация Войти
Вход на сайт

О мета-теге robots

О мета-теге robots

Мета-тег "robots" позволяет указывать роботам, можно ли индексировать данную страницу и можно ли использовать ссылки, приведенные на странице. Этот мета-тег указывается на каждой конкретной странице, доступ к которой требуется ограничить.

Мета-тег "robots" должен быть помещен в область HEAD HTML страницы:
<html>
<head>
<meta name=“robots” content=“noindex,nofollow”>
<meta name=“description” content=“Описание страницы ….”>
<title>…</title>
</head>
<body>


Мета-тег "robots" содержит указания, разделенные запятыми. В настоящее время определены существующие указания [NO]INDEX и [NO]FOLLOW. Директивы INDEX указывают, может ли робот индексировать страницу. Директива FOLLOW указывает роботу, может ли он следовать по ссылкам со страницы. Значения по умолчанию – INDEX и FOLLOW. Значения ALL и NONE обозначают активность всех директив и, соответственно, наоборот: ALL=INDEX,FOLLOW и NONE=NOINDEX,NOFOLLOW.

Рассмотрим подробнее различные варианты значений и применение мета-тега:

Индексировать данную страницу и использовать ссылки на ней:
<meta name=“robots” content=“index,follow”>

аналогичен значению:
<meta name=“robots” content=“all”>


Не индексировать данную страницу, но использовать ссылки на ней:
<meta name=“robots” content=“noindex,follow”>


Индексировать данную страницу, но не использовать ссылки на ней:
<meta name=“robots” content=“index,nofollow”>


Не индексировать данную страницу и не использовать ссылки на ней:
<meta name=“robots” content=“noindex,nofollow”>

аналогичен значению
<meta name=“robots” content=“none”>


Мета-тег "robots" выполняет ту же функцию, что и файл robots.txt и поэтому манипулируя мета-тегом "robots" не забывайте, что в robots.txt тоже могут быть созданы правила, а робот поисковой системы при нахождении противоречий между мета-тегом и файлом выполнить наиболее строгое правило(запрет), поэтому постарайтесь не дублировать правила в этих инструментах управления поисковыми роботами.

Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project (www.dmoz.org), могут появиться в результатах поиска Google.

Чтобы использовать файл robots.txt, необходимо иметь доступ к корневому каталогу вашего домена (в случае сомнений обратитесь к поставщику услуг веб-хостинга). Если у вас нет доступа к корневому каталогу домена, вы можете ограничить доступ с помощью метатега robots.

Чтобы полностью исключить вероятность появления контента страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex или x-robots-tag. По мере сканирования страниц, робот Googlebot обнаружит метатег noindex и не станет отображать страницу в индексе. HTTP-заголовок x-robots-tag рекомендуется использовать, чтобы исключить из индекса файлы, формат которых отличается от HTML (например, изображения или другие типы документов).
источник: Справка инструментов для веб-мастеров Google


источник: Все о файле robots.txt по-русски

Прочитать об основных мета-тегах можно здесь.
Категория: SEO и SEM
Актуальные версии, стоимость и возможности сервисов и программ уточняйте на сайтах их авторов.
comments powered by Disqus
» » О мета-теге robots