Данный вопрос — приоритетный!
Елизавета:

Здравствуйте! Помогите пожалуйста принять ответственное решение. Нужно избавиться от дублей на новостном сайте. Дубли составляют 40% от общего количества страниц сайта. Всего более 20 000 дублированных страниц. Вот типичные:

Дубли в выдаче примеры

Сайт старый 2001 года. Как лучше от них избавиться, чтобы не растерять позиции?

Варианты, которые рассматриваем:
1. rel=canonical
2. 301-редирект
3. просто снести с сайта и тогда дубли станут отдавать 404 и их можно будет принудительно удалить из выдачи через панели вебмастеров, но как-то страшно, что половина страниц вдруг отдаст поисковику 404 — не будет ли каких санкций?

Не очень нравится варианты 1 и 2 так как это все равно не сэкономит краулинговый бюджет. Поисковики будут все равно заходить на эти дубли, просто не будут добавлять их в индекс. А краулинговый бюджет для новостного портала — критичный момент.

Эти мусорные дубли сейчас радостно находятся в выдаче. CMS — 1С-Битрикс.

Дубли в выдаче примеры

Примеры URL-дублей:

/com/company/1319.htm
/com/company/1319.htm?type=news&com=114561
/com/company/1319.htm?type=competitives&com=114561
/com/company/1319.htm?type=exhib&com=114561
/com/company/1319.htm?type=video&com=114561
/com/company/1319.htm?type=mplace&com=114561
/com/company/1319.htm?type=prod&com=114561


17.12.2019

Находим и удаляем дубли страниц из выдачи

Елизавета, на самом деле способов удалить URL из индекса значительно больше. В случае с Google — список представлен в удобной табличке внизу, которую можно сохранить себе как памятку. Давайте поймём, какой способ лучше всего подходит именно вам в описанной ситуации?

9 способов удалить URL из индекса

Проверяем и убираем дубли

Если считать, что все указанные вами типы URL действительно полные дубли, но их очень много в выдаче.

Дубли в выдаче примеры

Обратите внимание, что это не полные дубли и что функционал данных страниц, скажем «type=competitives» может быть полезен для посетителей сайта (по крайней мере, так предполагал разработчик). На URL с этим значением GET-параметра выводятся конкурсные закупки и контент отличается, пример: /com/company/486.htm и /com/company/486.htm?type=competitives&com=105648.

Если данные документы не нужны для пользователей, то самый верный и правильный способ будет настроить 301-редирект со всех подобных страниц на основные, а ссылки на них удалить из исходного кода.

Краулинговый бюджет

301-редирект экономит краулинговый бюджет! То есть, вероятность повторного посещения URL с кодом ответа 301 мала, а при отсутствии ссылок на эти документы — тем более. Можете не опасаться, таким способом бюджет будет высвобожден для индексации более важных страниц.

Вариант удаления через rel="canonical"

Для настройки атрибута rel="canonical" тега link. Потребуется:

  • На URL /com/company/486.htm настроить вывод с указанием rel="canonical" на саму себя. Укажите полный URL.

  • На URL /com/company/486.htm?type=competitives&com=105648 настроить rel="canonical" с указанием на /com/company/486.htm, тут так же — используйте полный вид URL.

Плюс этой реализации: поисковая система сможет решить, правда ли страницы являются дублями и, в ряде случаев, не исключать URL из индекса.

Огромный минус: не будет сэкономлен краулинговый бюджет, данные URL могут периодически посещаться роботом поисковой системы для проверки актуальности настроек rel="canonical".

Настройка 404-ошибки

Пожалуй, не самое оптимальное решение. Во-первых: да, таких ошибок будет слишком много, во-вторых: не будут консолидированы (накоплены и сохранены) нетекстовые факторы — возраст, ссылки, поведенческие.

Итого: 301-редирект и удаление ссылок на данные страницы — наше всё! Удачи в быстром устранении дублей из Яндекса и Google и повышении полноты индексации.


Работа в Пиксель Плюс
SEO-сервисы от Пиксель Плюс

Дата ответа: 17.01.2020
Автор ответа: Дмитрий Севальнев
Вопросы по теме
Дубли     Проблемы с индексацией    


Поделиться с друзьями

Последние вопросы из категории: Индексация
Данный вопрос — приоритетный!
Вячеслав:
У меня на проекте в цветочной тематике наблюдается плохая индексация региональных поддоменов в Google. Почему так? Как можно повысить полноту данных индексации поддоменов?
06.10.2017
В целом ситуация интересная, да, хотя порой страниц в индексе на региональных поддоменах и больше 5-10. По аудиту, страниц в индексе Google без поддоменов — 239, а с учётом поддоменов — 44 600, на самих поддоменов... Читать ответ полностью »
Дата ответа: 11.10.2017
Данный вопрос — приоритетный!
Дмитрий:
Есть магазин женской одежды с 200 униками в сутки (весь трафик категорийный), заказы не обрабатываются, решил продавать товары за процент, сделать витрину. Как внедрить выгрузку чтобы трафик не просел? Всего порядка 100 000 товаров.
26.11.2016
Задача и задумка достаточно стандартная, но далеко не всегда просто реализуемая на практике. Дело в том, что поисковые системы не заинтересованы высоко ранжировать сайты, которые не несут самостоятельной ценности для пользователя и являются лишь промежуточным звеном... Читать ответ полностью »
Дата ответа: 29.12.2016
Данный вопрос — приоритетный!
Ольга Чиркова:
Планируем перенос картинок с основного сайта на поддомен. Можно ли избежать потери трафика из вертикальных поисков Яндекс и Google при переносе? Если да, то как?
23.09.2016
В последнее время подобная задача часто встречается при переезде сайтов, при внедрении CDN и прочих процессов оптимизации скорости загрузки сайта и доставки контента пользователям. Оптимальным вариантом реализации в вашем случае будет… Читать ответ полностью »
Дата ответа: 29.09.2016
Данный вопрос — приоритетный!
Джураев Владимир:
Реализовали дополнительный функционал на сайте с разделением запчастей на два типа: новые и б/у. В результате просели позиции в Яндексе, вероятно из-за частичного дублирования. Как лучше теперь поступить с этими страницами?
24.06.2016
Владимир, давайте разберём ситуацию с появлением и индексацией двух новых документов с GET-параметрами &type=new и &type=bu и укажем, как лучше провести внутреннюю оптимизацию всей группы страниц для максимизации поискового трафика и устранению дублей... Читать ответ полностью »
Дата ответа: 01.07.2016
Задать свой вопрос #
Ваше имя:
E-mail:
Ваш вопрос:
Получать информацию о новых вопросах:
Прикрепить файл:*
Максимальное количество файлов 30,
не более 5 МБ каждый

* Только для приоритетных вопросов
** Стоимость — 290 руб.

Продвигаете сайт и хотите обогнать конкурентов?

Эксперты «Пиксель Плюс» помогут найти точки роста трафика. Проверим показатели сайта и качество работы вашего подрядчика.

Воспользуйтесь промокодом P7 со скидкой 7% на выбор:

Промокод действует до 11 апреля. Укажите промокод в комментарии к заявке:

Оставить заявку с промокодом

Или отправьте себе на почту, чтобы не забыть!