Совет №7

В ряде случаев полезным, оказывается, закрыть ряд страниц сайта от индексации с помощью meta-тега robots, при этом оставив возможность роботу переходить по ссылкам со страницы. Делается это с помощью проверки наличия строки или запрашиваемого параметра в URL-адресе страницы.

Проверка запроса GET-параметра

Используйте строчки указанные ниже для проверки запроса параметра SHOWALL_1 при формировании страницы и установке meta-тега noindex, follow. Вы можете заменить параметр SHOWALL_1 на любой другой удобный для вас, скажем, PAGEN_1, page и так далее.

<? if ($_REQUEST['SHOWALL_1']) { ?>
<meta name="robots" content="noindex, follow"/>
<?} else {?>
<meta name="robots" content="index, follow"/>
<?}?>

Таким образом, мы установим значение meta-тега (noindex, follow) для страниц с параметром и значение (index, follow) для страниц без параметра.

Проверка вхождения строки в URL

Если требуется закрыть таким образом от индексации папку или какой-то тип страниц по строчке в URL-адресе, то производится проверка наличия этой строки в URL с помощью представленных ниже строк.

<? if (strstr($_SERVER["REQUEST_URI"],"detail")!=false) { ?>
<meta name="robots" content="noindex, follow"/ >
<?} else {? >
<meta name="robots" content="index, follow"/ >
<?}?>

Таким образом, мы установим значение meta-тега (noindex, follow) для страниц с наличием строки detail и значение (index, follow) для страниц без этой строки. Набор символов detail вы можете заменять по своему желанию на другие наборы, скажем, archive, old, print и так далее.

Или GET-параметр или строка

Полезным оказывается одном правилом закрыть от индексации и страницы с GET-параметром и страницы с наличием строчки в URL, делается это с применением оператора ИЛИ. Пример с запросом параметра PAGEN_2 ИЛИ вхождением строки print.

<? if ((strstr($_SERVER["REQUEST_URI"],"print")!=false)||$_REQUEST['PAGEN_2']) { ?>
<meta name="robots" content="noindex, follow"/ >
<?} else {? >
<meta name="robots" content="index, follow"/ >
<?}?>

Внимание! Важно проверять, чтобы в других местах шаблона (1С-Битрикс или другой CMS) не было второго подключения meta-тега с противоречившими значениями. Иначе можно не добиться желаемого эффекта. При наличии двух и большего числа различных тегов, робот Яндекса выбирает самый разрешающий/положительный из них (индексировать и следовать по ссылкам), если такой вариант указан в meta-теге. Имеется возможность отдельно указывать правила именно для робота Яндекса или для робота Google, тогда используйте строчки.

= Яндекс =
<? if ($_REQUEST['SHOWALL_2']) { ?>
<meta name="yandex" content="noindex, follow"/>
<?} else {?>
<meta name="yandex" content="index, follow"/>
<?}?>

= Google =
<? if ($_REQUEST['SHOWALL_2']) { ?>
<meta name="googlebot" content="noindex, follow"/>
<?} else {?>
<meta name="googlebot" content="index, follow"/>
<?}?>