Блог нижегородского веб-разработчика и сео-оптимизатора

Всегда полагал, что для User-agent: Yandex

достаточно прописать хост, а все остальное запихнуть в

User-agent: *

Хотя долгое время копировал все правила для каждого User-agent "на всякий случай"

Теперь возвращаюсь к этому, и вот причина.

Недавно один нехороший ресурс подкинул мне подоянку, из-за которой мой сайт просел в выдаче по некоторым запросам.

Собственно рано еще говорить про его позиции в выдаче, т к я его неспешно продвигаю в основном за счет внутренней оптимизации, а бюджет на внешнюю стремится к нулю.

Тем не менее по запросу "продвижение сайтов" был на 26м в НН упал на 65е.

Вот эта подлянка: http://capweb.ru/?utm_campaign=factus&utm_content=search&utm_medium=organic&utm_source=factus.ru

Проиндексировалась она так, потому что с сайта ссылка стоит именно с такими параметрами, и я уже начинаю думать, не есть ли это тот самый легкий способ подпортить жизнь конкурентам - кому надо - забирайте, дарю, сам не увлекаюсь этим, предпочитая честную игру.

Работает только если на сайте не прописаны rel="canonical" (я уже прописал).

Спросил на всякий случай у Яндекса, правильно ли я сделал, что прописал в robots.txt

Disallow: /*?utm_campaign=
Disallow: /*?utm_content=
Disallow: /*?utm_medium=
Disallow: /*?utm_source=
Clean-param: sid&start&utm_campaign&utm_content&utm_medium&utm_source

ответ был такой

Сейчас с Вашей стороны все сделано верно, в соответствии с директивой "Clean-param" страница пропадёт из выдачи после следующих 1-2 обновлений поисковых баз. Чтобы такие страницы не посещались роботом, запрещающие правила нужно разместить сразу после директивы "User-agent: Yandex" (сейчас правила не учитываются роботом).

Рекомендую Вам также воспользоваться инструментом проверки файла robots.txt: http://webmaster.yandex.ru/robots.xml . Непосредственно в инструменте Вы можете корректировать указания и проверять, запрещены или разрешены необходимые Вам страницы к индексированию.

На что я попытался уточнить: правильно ли я понял, что правила для User-agent: * не учитываются поисковыми роботами Яндекса?

Ответ, занавес

В какой-то мере да. Робот обращает внимание на "User-agent: * " при отсутствии указания "User-agent: Yandex".