Google, как и Yahoo!, начиная с середины 2007 года, поддерживает мета-теги в HTTP заголовке X-Robots (X-Robots-Header). Смысл заключается в том, что указания для поисковых роботов, которые прописываются в шапке веб-документа теперь можно прописать и внутри HTTP-Headers.
HTTP заголовок отличатся в принципе от МЕТА-указаний тем, что они не видны обычному пользователю и он не заметит никаких следов запрета индексации в robots.txt или HTML коде страницы. То есть если Вы захотите посмотреть исходник документа в браузере, то вы не увидите это указания. Для просмотра HTTP заголовка необходимы дополнительные инструменты или сервисы.
С помощью этого метода вы можете удалить свои страницы в Google и Yahoo!.
X-Robots-Tag соответствуют значениям meta robots tags:
[i]index[/i] — индексировать страницу
[i]noindex[/i] — не индексировать страницу
[i]follow[/i] — следовать по ссылкам со страницы
[i]nofollow[/i] — не следовать по ссылкам со страницы
[i]nosnippet[/i] — не показывать описания или кэшированные ссылки
[i]noodp[/i] — не показывать описания сгенерированные в DMOZ
[i]noarchive[/i] — не заносить в кэш, или не архивировать
[i]none[/i] — ничего не делать, игнорировать страницу
[i]all[/i] — поведение по умолчанию - default behaviorВарианты использования
header(’X-Robots-Tag: noindex, nofollow’, true);или с помощью .htaccess и mod_headers
Header set X-Robots-Tag “noindex”
Данный метод больше находит применение в «Чёрном SEO».
В буржуйнете этот метод как лучший, но, не весьма этичный, для удаления страниц с обменными ссылками (кнопки каталогов, ссылки на партнеров и т.д.) предложил Патрик Альтофт (Patrick Altoft).
В Firefox для проверки заголовков можно воспользоваться плагинами: LiveHTTPHeaders или Tamper Data.
