Использование HTTP заголовков X-Robots

Использование HTTP заголовков X-Robots

Google, как и Yahoo!, начиная с середины 2007 года, поддерживает мета-теги в HTTP заголовке X-Robots (X-Robots-Header). Смысл заключается в том, что указания для поисковых роботов, которые прописываются в шапке веб-документа теперь можно прописать и внутри HTTP-Headers.

HTTP заголовок отличатся в принципе от МЕТА-указаний тем, что они не видны обычному пользователю и он не заметит никаких следов запрета индексации в robots.txt или HTML коде страницы. То есть если Вы захотите посмотреть исходник документа в браузере, то вы не увидите это указания. Для просмотра HTTP заголовка необходимы дополнительные инструменты или сервисы.

С помощью этого метода вы можете удалить свои страницы в Google и Yahoo!.

X-Robots-Tag соответствуют значениям meta robots tags:

    
[i]index[/i] — индексировать страницу
[i]noindex[/i] — не индексировать страницу
[i]follow[/i] — следовать по ссылкам со страницы
[i]nofollow[/i] — не следовать по ссылкам со страницы
[i]nosnippet[/i] — не показывать описания или кэшированные ссылки
[i]noodp[/i] — не показывать описания сгенерированные в DMOZ
[i]noarchive[/i] — не заносить в кэш, или не архивировать
[i]none[/i] — ничего не делать, игнорировать страницу
[i]all[/i] — поведение по умолчанию - default behavior

Варианты использования

header(’X-Robots-Tag: noindex, nofollow’, true);

или с помощью .htaccess и mod_headers



Header set X-Robots-Tag “noindex”

Данный метод больше находит применение в «Чёрном SEO».
В буржуйнете этот метод как лучший, но, не весьма этичный, для удаления страниц с обменными ссылками (кнопки каталогов, ссылки на партнеров и т.д.) предложил Патрик Альтофт (Patrick Altoft).

В Firefox для проверки заголовков можно воспользоваться плагинами: LiveHTTPHeaders или Tamper Data.

Оцените статью
Мой SEO Гид - всё для SEO, SEM, SMO и SMM
Добавить комментарий