SEO и SEM
Кратко о robots.txt
082
Файл robots.txt находится в корневой директории сайта и содержит специальные инструкции для поисковых роботов.
Мой SEO Гид - всё для SEO, SEM, SMO и SMM