Регистрация Войти
Вход на сайт

Использование HTTP заголовков X-Robots

Использование HTTP заголовков X-Robots

Google, как и Yahoo!, начиная с середины 2007 года, поддерживает мета-теги в HTTP заголовке X-Robots (X-Robots-Header). Смысл заключается в том, что указания для поисковых роботов, которые прописываются в шапке веб-документа теперь можно прописать и внутри HTTP-Headers.

HTTP заголовок отличатся в принципе от МЕТА-указаний тем, что они не видны обычному пользователю и он не заметит никаких следов запрета индексации в robots.txt или HTML коде страницы. То есть если Вы захотите посмотреть исходник документа в браузере, то вы не увидите это указания. Для просмотра HTTP заголовка необходимы дополнительные инструменты или сервисы.

С помощью этого метода вы можете удалить свои страницы в Google и Yahoo!.

X-Robots-Tag соответствуют значениям meta robots tags:
    
[i]index[/i] — индексировать страницу
[i]noindex[/i] — не индексировать страницу
[i]follow[/i] — следовать по ссылкам со страницы
[i]nofollow[/i] — не следовать по ссылкам со страницы
[i]nosnippet[/i] — не показывать описания или кэшированные ссылки
[i]noodp[/i] — не показывать описания сгенерированные в DMOZ
[i]noarchive[/i] — не заносить в кэш, или не архивировать
[i]none[/i] — ничего не делать, игнорировать страницу
[i]all[/i] — поведение по умолчанию - default behavior


Варианты использования

header(’X-Robots-Tag: noindex, nofollow’, true);


или с помощью .htaccess и mod_headers

<IfModule mod_headers.c>
<Files links.html>
Header set X-Robots-Tag “noindex”
</Files>
</IfModule>


Данный метод больше находит применение в "Чёрном SEO".
В буржуйнете этот метод как лучший, но, не весьма этичный, для удаления страниц с обменными ссылками (кнопки каталогов, ссылки на партнеров и т.д.) предложил Патрик Альтофт (Patrick Altoft).

В Firefox для проверки заголовков можно воспользоваться плагинами: LiveHTTPHeaders или Tamper Data.
Категория: SEO и SEM
Актуальные версии, стоимость и возможности сервисов и программ уточняйте на сайтах их авторов.
comments powered by Disqus
» » Использование HTTP заголовков X-Robots