Николай:
1. Как Вы рекомендуете бороться с дубликатами в Joomla? Кроме как вносить по одному в файл robots.txt или .htaccess?

2. В Wordpress такая же ситуация с дублями как и в Joomla?

27.01.2015

Борьба с дублями в Joomla

Николай, приветствую.

Можно с уверенностью сказать, что проблема дублей страниц для разных CMS актуальна по разному. Joomla здесь занимает лидирующее положение, её позиция на Олимпе виртуального анти-рейтинга — незыблема.

Мы не рекомендуем использовать Joomla для разработки сайтов любого типа, особенно для коммерческих и амбициозных информационных проектов.

Ситуация с WordPress — значительно лучше. Существуют довольно приличные по качеству плагины для этой системы управления, которые позволяют оперативно настроить и ЧПУ и автоматически проставить 301-редиректы со старых видов URL на новые.

Вероятно, для Joomla имеются аналоги, хотя наш опыт работы с сайтами, разработанными на этой системе управления, говорит о постоянно появляющихся технических проблемах и необходимости регулярного мониторинга наличия дубликатов страниц в индексе.

Дубли станиц на сайте со слешем и без слеша на конце

Решение проблемы дубликатов: новый сайт

Для полного решения проблемы попадания дублей документов в выдачу, особенно для нового сайта, оптимальной будет следующая последовательность действий (независимо от используемой CMS):

  1. Настройка ЧПУ для всего сайта, так чтобы не было внутренних ссылок на страницы с GET-параметрами (на этапе разработки).

  2. Запрет на индексацию всех страниц с GET-параметрами в файле robots.txt через директиву «Disallow: *?*».

  3. Постановка 301-редиректов на страницы со слешем (или без слеша) в конце, так чтобы все URL на сайте выглядели единообразно.

  4. Постановка 301-редиректов с индексных страниц (index.php, index.html и т.д.) в корень.

  5. Установка 301-редиректов со всех зеркал сайта на основное зеркало (в том числе и с версии с WWW или наоборот).

  6. Указание директивы Host для Яндекса с заданием основного зеркала.

  7. Корректная настройка атрибута rel="canonical" тега link.

  8. Создание и обновление полной карты сайта со сверкой числа страниц в индексе поисковых систем с числом страниц определенных в карте сайта, для оперативного реагирования в случае появления проблемы.

Замечание 1: если у сайта проводятся рекламные кампании с настроенными UTM-метками и большим объемом трафика, то их закрытие от индексации можем приводить к неполному учёту поведенческих метрик для документов на сайте. Если объем трафика на страницы с UTM-метками составляет 5% и более, то пункт 2 из списка выше — рекомендуется опустить. Уделив особое внимание пункту 7 (настройке rel="canonical").

Дубль индексной страницы с index.php в конце

Решение проблемы для старых сайтов

Если на сайте уже наблюдается большое число дублей и требуется устранить их, то мы рекомендуем придерживаться следующей последовательности работ:

  1. Сканирование всего сайта и страниц в индексе поисковых систем.

  2. Выявление всех дублей, составление таблицы дубликатов.

  3. Массовая постановка 301-редиректов с логических дублей на канонические документы.

  4. Устранение причин появления дублей, а именно:

    • Изменение/Удаление всех внутренних и внешних ссылок на данные страницы. Если все внешние ссылки не получается устранить, то требуется поставить 301-редирект с данных станиц на корректные URL.
    • Настройка атрибута rel="canonical" тега link.
  5. Постановка 301-редиректов на страницы со слешем (или без слеша) в конце, так чтобы все URL на сайте выглядели единообразно.

  6. Постановка 301-редиректов с индексных страниц (index.php, index.html и т.д.) в корень.

  7. Установка 301-редиректов со всех зеркал сайта на основное зеркало (в том числе и с версии с WWW или наоборот).

  8. Указание директивы Host для Яндекса с заданием основного зеркала.

  9. Ожидание учёта данных изменений поисковыми системами.

  10. Контроль числа страниц в индексе поисковых систем.

Замечание 2: настройка rel="canonical" в большом числе случаев оказывается достаточно ресурсоёмкой для программистов и не всегда оказывается экономически оправданной для небольших проектов. В данных случаях, вместо rel="canonical" используют:

  • Добавление (по регулярному выражению) закрывающего от индексации meta-тега robots на «мусорные» страницы.
  • Скрытие страниц в файле robots.txt (хуже, так как директивы в файле периодически игнорируются поисковыми системами Яндекс и Google).

Не стоит забывать, что скрытие от индексации страниц через meta-тег или файл robots.txt рекомендуется использовать лишь в том случае, когда на данные страницы отсутствуют внутренние и внешние ссылки.

Удачи в самостоятельной настройке сайта под SEO и устранении всех дублей в индексе поисковых систем!


Работа в Пиксель Плюс
SEO-сервисы от Пиксель Плюс

Дата ответа: 20.02.2015
Автор ответа: Дмитрий Севальнев
Вопросы по теме
Дубли     Файл robots.txt    


Поделиться с друзьями
Последние вопросы из категории: Внутренняя оптимизация
Данный вопрос — приоритетный!
Максим:
Категории в интернет-магазине ранжируются ниже ТОП-100 выдачи. В чём проблема? Помогите, нам нужно мнение SEO-эксперта.
17.02.2019
Хорошо, Максим, сейчас будем помогать =) Диагностируем проблему и укажем на работы, которые помогут улучшить результат: трафик и ранжирование. Жаль, что не приложили семантику для раздела. Читать ответ полностью »
Дата ответа: 12.06.2019
Данный вопрос — приоритетный!
Алексей Книга:
Переделали сайт на новый, разместили на том же домене и сохранили контент. Проблема — после размещения нового сайта сильно просели позиции и в выдача стала выдаваться главная страница, а не более релевантные запросу. Как исправить ситуацию? Сайту 10 лет.
03.06.2018
Жаль, что вы задали этот вопрос после переделки структуры URL, а не до неё. Можно было выполнить довольно небольшой набор работе и сохранить трафик и позиции сайта... Читать ответ полностью »
Дата ответа: 21.08.2018
Данный вопрос — приоритетный!
Екатерина Кудрявцева:
Как лучше разработать URL-структуру для сайта по аренде спецтехники, чтобы продвигать низкочастотные запросы? Пример фразы [аренда автовышки 45 метров]. Достаточно ли будет добавить функционал по фильтрам и продвигать динамические URL с GET-параметрами или есть необходимость создавать статические URL с ЧПУ?
25.11.2017
Спасибо за достаточного точно сформулированный вопрос, Екатерина. Оптимальный вариант для решения описанной задачи, это всегда... Читать ответ полностью »
Дата ответа: 11.12.2017
Евгений:
Можно ли использовать теги h1-h6 в названии меню и в самом навигационном меню?
18.08.2017
Евгений, а зачем вы хотите их там использоваться, для решения какой задачи? В общем случае — нет, нельзя. Читать ответ полностью »
Дата ответа: 18.08.2017
Задать свой вопрос #
Ваше имя:
E-mail:
Ваш вопрос:
Получать информацию о новых вопросах:
Прикрепить файл:
Максимальное количество файлов 30,
не более 5 МБ каждый

КАЧЕСТВО ЕЩЁ НИКОГДА НЕ БЫЛО ТАК ДОСТУПНО!

Экономьте на продвижении и поддержке сайта до 40% бюджета, воспользовавшись новой акцией «1600» от интернет-агентства «Пиксель Плюс»!

Всё просто — закажите 2 или более услуги в «Пиксель Плюс» и получите фиксированную низкую ставку в 1600 рублей в час сразу на все услуги. 

В акции участвуют следующие услуги:

Переходите по ссылке и узнайте все подробности акции:

Подробнее об акции