Николай:
1. Как Вы рекомендуете бороться с дубликатами в Joomla? Кроме как вносить по одному в файл robots.txt или .htaccess?

2. В Wordpress такая же ситуация с дублями как и в Joomla?

27.01.2015

Борьба с дублями в Joomla

Николай, приветствую.

Можно с уверенностью сказать, что проблема дублей страниц для разных CMS актуальна по разному. Joomla здесь занимает лидирующее положение, её позиция на Олимпе виртуального анти-рейтинга — незыблема.

Мы не рекомендуем использовать Joomla для разработки сайтов любого типа, особенно для коммерческих и амбициозных информационных проектов.

Ситуация с WordPress — значительно лучше. Существуют довольно приличные по качеству плагины для этой системы управления, которые позволяют оперативно настроить и ЧПУ и автоматически проставить 301-редиректы со старых видов URL на новые.

Вероятно, для Joomla имеются аналоги, хотя наш опыт работы с сайтами, разработанными на этой системе управления, говорит о постоянно появляющихся технических проблемах и необходимости регулярного мониторинга наличия дубликатов страниц в индексе.

Дубли станиц на сайте со слешем и без слеша на конце

Решение проблемы дубликатов: новый сайт

Для полного решения проблемы попадания дублей документов в выдачу, особенно для нового сайта, оптимальной будет следующая последовательность действий (независимо от используемой CMS):

  1. Настройка ЧПУ для всего сайта, так чтобы не было внутренних ссылок на страницы с GET-параметрами (на этапе разработки).

  2. Запрет на индексацию всех страниц с GET-параметрами в файле robots.txt через директиву «Disallow: *?*».

  3. Постановка 301-редиректов на страницы со слешем (или без слеша) в конце, так чтобы все URL на сайте выглядели единообразно.

  4. Постановка 301-редиректов с индексных страниц (index.php, index.html и т.д.) в корень.

  5. Установка 301-редиректов со всех зеркал сайта на основное зеркало (в том числе и с версии с WWW или наоборот).

  6. Указание директивы Host для Яндекса с заданием основного зеркала.

  7. Корректная настройка атрибута rel="canonical" тега link.

  8. Создание и обновление полной карты сайта со сверкой числа страниц в индексе поисковых систем с числом страниц определенных в карте сайта, для оперативного реагирования в случае появления проблемы.

Замечание 1: если у сайта проводятся рекламные кампании с настроенными UTM-метками и большим объемом трафика, то их закрытие от индексации можем приводить к неполному учёту поведенческих метрик для документов на сайте. Если объем трафика на страницы с UTM-метками составляет 5% и более, то пункт 2 из списка выше — рекомендуется опустить. Уделив особое внимание пункту 7 (настройке rel="canonical").

Дубль индексной страницы с index.php в конце

Решение проблемы для старых сайтов

Если на сайте уже наблюдается большое число дублей и требуется устранить их, то мы рекомендуем придерживаться следующей последовательности работ:

  1. Сканирование всего сайта и страниц в индексе поисковых систем.

  2. Выявление всех дублей, составление таблицы дубликатов.

  3. Массовая постановка 301-редиректов с логических дублей на канонические документы.

  4. Устранение причин появления дублей, а именно:

    • Изменение/Удаление всех внутренних и внешних ссылок на данные страницы. Если все внешние ссылки не получается устранить, то требуется поставить 301-редирект с данных станиц на корректные URL.
    • Настройка атрибута rel="canonical" тега link.
  5. Постановка 301-редиректов на страницы со слешем (или без слеша) в конце, так чтобы все URL на сайте выглядели единообразно.

  6. Постановка 301-редиректов с индексных страниц (index.php, index.html и т.д.) в корень.

  7. Установка 301-редиректов со всех зеркал сайта на основное зеркало (в том числе и с версии с WWW или наоборот).

  8. Указание директивы Host для Яндекса с заданием основного зеркала.

  9. Ожидание учёта данных изменений поисковыми системами.

  10. Контроль числа страниц в индексе поисковых систем.

Замечание 2: настройка rel="canonical" в большом числе случаев оказывается достаточно ресурсоёмкой для программистов и не всегда оказывается экономически оправданной для небольших проектов. В данных случаях, вместо rel="canonical" используют:

  • Добавление (по регулярному выражению) закрывающего от индексации meta-тега robots на «мусорные» страницы.
  • Скрытие страниц в файле robots.txt (хуже, так как директивы в файле периодически игнорируются поисковыми системами Яндекс и Google).

Не стоит забывать, что скрытие от индексации страниц через meta-тег или файл robots.txt рекомендуется использовать лишь в том случае, когда на данные страницы отсутствуют внутренние и внешние ссылки.

Удачи в самостоятельной настройке сайта под SEO и устранении всех дублей в индексе поисковых систем!


Работа в Пиксель Плюс
SEO-сервисы от Пиксель Плюс

Дата ответа: 20.02.2015
Автор ответа: Дмитрий Севальнев
Вопросы по теме
Дубли     Файл robots.txt    


Поделиться с друзьями
Последние вопросы из категории: Внутренняя оптимизация
Заворотний Вячеслав:
Сайт не молодой, хотим внести изменения в URL-адреса (переделать на латиницу). Чего нам ожидать: снижения трафика, потери позиций? Нужно ли настраивать 301-редирект?
27.12.2021
Достаточно актуальный вопрос, особенно для возрастных сайтов и случаев, когда необходимо оптимизировать структуру URL-адресов. Читать ответ полностью »
Дата ответа: 10.03.2022 12:48:00
Андрей Степанцев:
Сайту уже 1 год, но по-прежнему сохраняется слишком низкий показатель трафика из поисковых систем Яндекс и Google. В чем могут быть причины?
05.10.2021
На видимость сайта в выдаче поисковых систем, помимо возраста, влияет достаточно много факторов, которые также стоит учитывать при проведении работ по оптимизации. Читать ответ полностью »
Дата ответа: 08.02.2022 10:27:00
Дмитрий:
10 месяцев назад был запущен новый сайт pro-sni.ru (сонник). Постепенно начали идти заходы по НЧ-запросам, но уже через пару месяцев что-то случилось и сайт начал медленно падать.
01.10.2021
При поиске причин снижения трафика из поисковиков и занимаемых сайтом позиций в органический выдачи мы рекомендуем подходить к анализу комплексно, чтобы учесть все факторы. Читать ответ полностью »
Дата ответа: 07.12.2021
Ефим:
Создали новый сайт по рецептам. Разместили уже 5000+ штук, но трафика из поиска почти нет. Почему? CMS — AngularJS.
07.07.2021
Спасибо за предметный вопрос и детальное описание, Ефим. Вы знаете, многие вебмастера, которые только создают новые сайты, жалуются, что трафика из выдачи приходит очень мало. Это, в первую очередь, связано с... Читать ответ полностью »
Дата ответа: 16.08.2021
Задать свой вопрос #
Ваше имя:
E-mail:
Ваш вопрос:
Получать информацию о новых вопросах:
Прикрепить файл:
Максимальное количество файлов 30,
не более 5 МБ каждый

Найдём не менее 7 точек роста продаж с сайта за 4 950 рублей и 3 дня

Идеально подходит для интернет-магазинов и сайтов услуг. 100% гарантия возврата всей стоимости аудита, если не найдём ни одной значимой точки роста продаж и конверсии!

Формирование рекомендаций, направленных на рост продаж. Только самое важное и ничего лишнего.

Ценность аудита для бизнеса за 12 месяцев —
от 109 091 рублей.

Подробнее об акции