Находим и удаляем дубли страниц из выдачи

Елизавета, на самом деле способов удалить URL из индекса значительно больше. В случае с Google — список представлен в удобной табличке внизу, которую можно сохранить себе как памятку. Давайте поймём, какой способ лучше всего подходит именно вам в описанной ситуации?

Проверяем и убираем дубли

Если считать, что все указанные вами типы URL действительно полные дубли, но их очень много в выдаче.

Обратите внимание, что это не полные дубли и что функционал данных страниц, скажем «type=competitives» может быть полезен для посетителей сайта (по крайней мере, так предполагал разработчик). На URL с этим значением GET-параметра выводятся конкурсные закупки и контент отличается, пример: /com/company/486.htm и /com/company/486.htm?type=competitives&com=105648.

Если данные документы не нужны для пользователей, то самый верный и правильный способ будет настроить 301-редирект со всех подобных страниц на основные, а ссылки на них удалить из исходного кода.

Краулинговый бюджет

301-редирект экономит краулинговый бюджет! То есть, вероятность повторного посещения URL с кодом ответа 301 мала, а при отсутствии ссылок на эти документы — тем более. Можете не опасаться, таким способом бюджет будет высвобожден для индексации более важных страниц.

Вариант удаления через rel="canonical"

Для настройки атрибута rel="canonical" тега link. Потребуется:

• На URL /com/company/486.htm настроить вывод с указанием rel="canonical" на саму себя. Укажите полный URL.

• На URL /com/company/486.htm?type=competitives&com=105648 настроить rel="canonical" с указанием на /com/company/486.htm, тут так же — используйте полный вид URL.

Плюс этой реализации: поисковая система сможет решить, правда ли страницы являются дублями и, в ряде случаев, не исключать URL из индекса.

Огромный минус: не будет сэкономлен краулинговый бюджет, данные URL могут периодически посещаться роботом поисковой системы для проверки актуальности настроек rel="canonical".

Настройка 404-ошибки

Пожалуй, не самое оптимальное решение. Во-первых: да, таких ошибок будет слишком много, во-вторых: не будут консолидированы (накоплены и сохранены) нетекстовые факторы — возраст, ссылки, поведенческие.

Итого: 301-редирект и удаление ссылок на данные страницы — наше всё! Удачи в быстром устранении дублей из Яндекса и Google и повышении полноты индексации.