Ошибки индексации Яндекса и Google: почему исключены страницы и что делать?

Нет идеальных сайтов, в том числе с технической точки зрения и восприятия поисковыми системами!

Ты думаешь, что закрыл от индексации все служебные и «мусорные» страницы в файле robots.txt, и можно больше не возвращаться к этому вопросу? Не, нифига!

Google запросто берет и игнорирует директивы закрытия:

Только представьте — 145 тысяч страниц, которые вы когда-то закрыли от индексации, прямо сейчас находятся в выдаче поисковой системы. И самое интересное: всего страниц под спрос примерно в 2 раза меньше.

У вас что, проблемы с ранжированием в Google? Наверное все дело в факторах E-E-A-T. 😉

Поисковые системы предлагают справки, где дано пояснение по каждому из статусов, в частности:

• Яндекс: Почему страницы исключены из поиска.
• Google: Почему страницы не индексируются.

На практике же далеко не каждый SEO-специалист может четко ответить, какие необходимо предпринять меры при наличии страниц, исключенных из индекса с тем или иным статусом. 

Предлагаем на конкретных примерах разобраться, почему поисковые системы могут удалять страницы из индекса или напротив — добавлять те, которые мы вроде бы закрыли от индексации и, которые нам доступны в панели Яндекс Вебмастер и Google Search Console.

И, самое главное, постараемся ответить на вопрос «А что делать?» по каждому статусу, чтобы вы могли использовать этот материал как инструкцию.

Яндекс Вебмастер

Яндекс Вебмастер предоставляет возможность оценить, насколько эффективно ваш сайт находится пользователями. С помощью этого сервиса вы можете отслеживать и анализировать индексацию страниц, их позиции в поисковой выдаче, а также контролировать техническое состояние ресурса.

Причины исключения страниц из индекса и статус можно найти:

• Индексирование > Страницы в поиске > Исключенные страницы

И отфильтровать по статусу или даже загрузить полный список.

Редирект

Что значит?

Статус означает наличие переадресации для страницы сайта. При этом здесь фиксируются редиректы:

• Корректные. То есть вы целенаправленно настроили переадресацию, скажем, для старой страницы, которая уже не привлекает трафик, на новый документ с актуальным спросом. Или, решили скорректировать ЧПУ.

• Ошибочные. Чаще всего ошибки переадресации происходят при переносе страниц в другую папку или когда вы меняете URL-адрес не только у раздела, а также для внутренних страниц, заранее не подготовив карту постраничных редиректов. В итоге часть редиректов работает корректно, а часть может вести на страницы с кодом ответа сервера 404.

Какой вывод и что делать?

1. При активном продвижении сайта любые изменения в URL-адрес продвигаемых страниц должны контролироваться с повышенным вниманием!
2. Все перенаправления пользователей должны происходить в одну итерацию и строго постранично (со старой версии URL на ту же страницу с новым адресом).
3. Что также стоит учесть в будущем, что поисковик помнит старые адреса, даже если количество страниц со статусом «Редирект» будет близко к нулю. Если убрать старые редиректы, они вновь отобразятся в панели Вебмастер, но уже с кодом 404.

Дубль

Что значит?

Дубли страниц на сайте могут возникать по разными причинам:

• URL с GET-параметрами.
• Отсутствие оптимизации страниц постраничной навигации.
• Отсутствие корректных настроек кода ответа сервера.
• И так далее.

При этом, даже если вы предусмотрели все основные пункты, вряд ли гарантированно обезопасите себя от появления таких страниц в панели Вебмастер.

Яндекс просто добавляет в индекс URL-адрес с заглавной буквой, а затем признает его дублем и, по идее, с этим тоже необходимо что-то делать:

Какой вывод и что делать?

1. Рабочая история, когда SEO-специалист не реализовал на старте работ ту или иную доработку, ориентируясь на приоритизацию списка задач. Выявляете проблему, оцениваете ее критичность, устраняете с учетом приоритетов.
2. Убедитесь, что на сайте реализованы основные пункты базовой оптимизации: уникализированы теги всех доступных для пользователей и поисковых систем страниц, закрыты от индексации все технические и «мусорные» документы, внедрен корректный атрибут rel="canonical". 

Неканоническая

Что значит?

Список страниц, которые исключены из индекса за счет настроенного ранее атрибута rel="canonical" для документов, в рамках которых дублируется контент.

Важно иметь в виду, что если страницы дублируют друг друга частично, вряд ли поисковики учтут ваши пожелания, такие страницы будут одновременно находится в поиске.

Какой вывод и что делать?

Наличие дублей на сайте не является критичной проблемой, когда вы знаете об их существовании и обозначаете это поисковым системам. Конечно, лучше обойтись без дублей, но когда это технически невозможно, укажите поисковикам канонический URL-адрес и двигайтесь дальше, решая более важные задачи с точки зрения KPI.

Малоценная и маловостребованная страница

Что значит?

Давайте разберемся в понятиях:

• Малоценная. К такому типу поисковая система относит страницы без видимого роботу контента, а также если они являются условными дублями других, более качественных документов.
• Маловостребованная. Страницы без спроса. То есть. это может быть полноценный документ на сайте, с уникальным контентом, сверстанный без ошибок в HTML-коде, при этом его никто не посещает и нет ключевых фраз, на которые он мог бы дать ответ пользователям.

Какой вывод и что делать?

1. Наличие страниц, которые исключены из индекса со статусом «Малоценная и маловостребованная страница» не означает, что сайт нарушает какие-то правила и каким-либо образом ограничивается в ранжировании.
2. Прежде чем создавать условные дубли на сайте, оцените выдачу поисковых систем, возможно в этом нет острой необходимости и запрос пользователей можно закрыть основным продвигаемым URL.
3. Откажитесь от создания страниц, на которых отсутствует спрос, потому что этот тип работ можно отнести к бессмысленному. Вы потратите ресурсы на подготовку контента и создание страниц, которые привлекут 0 новых пользователей на сайт — не лучше ли сконцентрировать усилия на тех страницах, которые имеют максимальный потенциал с точки зрения роста посещаемости и продаж!?

Кстати, на нашем сайте отсутствуют документы с таким статусом.

Не удалось скачать страницу

Что значит?

Распространенный формат страниц в этом списке:

1. XML-карты сайта
2. Страницы большого объема, которые и при открытии в браузере загружаются продолжительное время.
3. Изображения в расширении .webp.
4. PDF-документы.
5. Пустые страницы сайта.
6. Также встречаются страницы с кодом ответа сервера 404.

Что делать?

1. Каких-то дополнительных мер по устранению причин возникновения этого статуса принимать не стоит, если конечно туда не попали важные страницы или их количество превышает все разумные пределы.
2. Если на вашем сайте есть объемные страницы, которые не могут загрузить роботы поисковых систем, им точно стоит уделить внимание и оптимизировать размеры.

Запрет в robots.txt (страница)

Что значит?

Здесь нет каких-либо секретов, в списке будут отображаться страницы, которые запрещены к индексации в файле robots.txt.

Какой вывод и что делать?

1. Обычно, данные этого статуса отражают техническую информацию, которая, в частности, может быть полезна при добавлении новых, запрещающих индексирование страниц, директив.
2. Зачастую над развитием проекта работает целая команда и не все посвящены в тонкости SEO, поэтому иногда случаются ситуации, когда из-за ошибки в синтаксисе могут быть закрыты важные продвигаемые страницы или разработчики, выкатывая очередную доработку с теста, могут перенести и файл robots.txt, который полностью закрывает сайт от индексации.

Важно своевременно выявлять подобные недочеты, а также быть уверенным, что в файле robots закрыты только ненужные простым пользователям документы сайта.

Статус неизвестен

Что значит?

Этот статус прямо говорит нам о том, что у поискового робота нет актуальных данных для страницы.

Любопытно то, что в списке можно найти различные варианты URL: закрытые от индексации в robots.txt, закрытые meta-тегом robots и т.д.

Что делать?

1. Если у вашего сайта есть исключенные страницы с этим статусом, достаточно лишь убедиться, что среди них нет важных и продвигаемых страниц сайта. 
2. Если в списке нашлись важные страницы — убедитесь, что они открыты для индексации, отдают корректный код ответа сервера и направьте URL на переобход.

Запрещено элементом noindex

Что значит?

Как и в случае с запретом в robots.txt, здесь отображается список страниц с другим, более корректным форматом закрытия страниц от индексации, если мы говорим об обоих основных поисковых системах.

Что делать?

Убедиться, что в списке нет важных и продвигаемых страниц, которые могли быть закрыты по ошибке.

Неглавный адрес сайта

Что значит?

Данный пункт фигурирует только у проектов, которые НЕ являются главным зеркалом сайта в глазах поисковой системы.

Какой вывод и что делать?

1. В 99.9% случаях этот статус можно увидеть у неглавного зеркала сайта:



Никаких действий предпринимать не требуется.

2. Если у вас продвигаемый домен стал неглавным, значит вы пропустили этап с настройкой переадресации для версий домена (например, с www. или без). В этом случае необходимо провести мероприятия по изменению главного зеркала в Яндексе на корректное.

Исключена по Clean-param

Что значит?

Яндекс обозначает этим статусом страницы, которые исключены из индекса посредством обработки директивы Clean-param в файле robots.txt.

Эта директива используется для устранения дублей страниц с GET-параметрами, которые нельзя закрывать от индексации (например, utm-метки), а также часто встречается у сайтов на Tilda, из-за ограничений в полноценном редактировании файла robots.txt.

Какой вывод и что делать?

Единственное, в чем вы должны быть уверены, что директива Clean-param настроена корректно для конкретных URL, которые вы хотите исключить из индекса.

Проверить это можно инструментом панели Вебмастер: «Анализ robots.txt», достаточно дождаться загрузки содержимого файла, вставить нужную ссылку и убедиться, что из URL убираются все GET-параметры, особенно если их несколько!

Неподдерживаемый формат

Что значит?

В списке страниц зачастую фиксируются страницы, на которых отсутствует заголовок Content-Type.

Например, XML-карта сайта:

Что делать?

Если вдруг в списке оказалась один из страниц сайта, которая доступна пользователям, рекомендуется проверить ответа сервера и, при наличии проблем, принять необходимые меры по их устранению

Ошибка подключения к серверу

Скрин временно отсутствует, нам не удалось найти ошибку у проектов на SEO.

Что значит?

Статус означает, что поисковый робот при обращении к сайту не смог установить соединение с сервером.

Что делать?

1. Возможно появление такого статус обусловлено техническими работами на стороне сервера. В первую очередь стоит проверить, доступен ли сайт, открыв его на любом из устройств.

Если сайт открывается без каких-либо проблем, Яндекс через какое-то время переобойдет страницы и сменит статус на корректный (но лучше не ждать, и направить список URL на переобход).

2. Если сайт действительно недоступен — убедиться, что вы своевременно продлили: домен, хостинг и SSL-сертификат.

Ошибка HTTP

Что значит?

В данном статусе объединяются все ошибки ответа сервера, но чаще всего преобладают страницы с кодом 404.

Также в этом же окне можно выбрать конкретный код ошибки:

Какой вывод и что делать?

1. Как показывает практика, этот статус есть практически у любого сайта, особенно если подключен обход по счетчику Метрики.

Некорректная ссылка, оставленная пользователем на форуме или внутренняя ссылка, также ведущая на несуществующую страницу — все подобные URL гарантированно окажутся в этом списке.

2. Мы рекомендуем периодически выгружать URL-адреса с кодом 404 и настраивать 301-редиректы на корректные продвигаемые страницы, чтобы как минимум пользователи, переходя по ссылкам с внешних ресурсах не попадали на несуществующие документы. 
3. Как минимум стоит оценить страницы с кодом 5хх — что это за URL и откуда они могли появиться.
4. Также, если вы видите подобный график исключенных страниц со статусом «Ошибка HTTP»:

Рекомендуем убедиться в работоспособности сайта, а также проверить его на предмет взлома.

Google Search Console

Google Search Console — это бесплатный инструмент, который позволяет отслеживать, как ваш сайт отображается в поисковой выдаче Google, улучшать контент и исправлять возможные ошибки. При этом регистрация в сервисе не является обязательной для того, чтобы ваш сайт был проиндексирован Google.

Ошибка сервера (5xx)

Что значит?

Очевидная проблема, связанная с доступностью страниц и кода, который отдает сервер.

Какой вывод и что делать?

1. Важно проверить страницы сайта и их код ответа сервера. Например, может быть такое, что страница вроде бы открывается на сайте, но код ответа сервера 500 из-за чего она может исключаться из индекса.
2. Также, встречается ошибка, при которой в этом списке находятся страницы 404:

Но при проверке сервер отдает код 500:

Не сказать, что это критическая проблема, но лучше, чтобы код ответа сервера был корректным.

Ошибка переадресации

Что значит?

Ошибка возникает при наличии на сайте страниц, для которых некорректно настроена переадресация.

Например, цикличный 301-редирект:

Что делать?

Выяснить, на каком этапе при настройке переадресации для URL была совершена ошибка и исправить ее.

Доступ к URL заблокирован в файле robots.txt

Что значит?

Понятный статус — страницы, которые закрыты от индексации в файле robots.txt отображаются в этом разделе Google Search Console.

Какой вывод и что делать?

1. Само по себе наличие страниц с этим статусом не является проблемой.
2. Главное убедиться, что при внедрении тех или иных директив в файл robots.txt вы случайно не закрыли продвигаемые и важные страницы сайта.

Страница содержит директиву noindex

Что значит?

Альтернативный файлу robots.txt и предпочтительный с точки зрения Google способ закрытия страниц от индексации, meta-тег [meta robots].

Что делать?

1. Как и в случае со списком URL, которые закрыты от индексации в файле robots.txt, важно убедиться, что не закрыты продвигаемые и другие важные страницы проекта.
2. При наличии закрытия страницы meta-тегом, оптимально, чтобы закрытие от индексации НЕ дублировалось в файле robots.txt.

Ложная ошибка 404

Что значит?

Данная ошибка возникает в ситуациях, когда посетитель сайта видит на странице информацию, что ее не существует, при этом сервер отдает код ответа 200.

Пример:

В некоторых случаях статус может быть присвоен страницам, на которых частично или полностью отсутствует контент.

Какой вывод и что делать?

1. Страницы с частично или полностью отсутствующим контентом не должны быть доступны простым пользователям, поэтому такой тип документов точно стоит исключить.
2. Что касается страниц без товара (как в примере), рекомендуется в первую очередь оценить целесообразность их присутствия на сайте:

а) Если они не привлекают органический трафик, лучше их скрыть с сайта.

б) Если они привлекают трафик, оптимально доработать их таким образом, чтобы поисковая система не интерпретировала ее как несуществующую, а пользователи получали достойный ответ на свой запрос и не возвращались в поисковую выдачу.

Страница не проиндексирована вследствие ошибки 401 (неавторизованный запрос)

Что значит?

Данный статус указывает на то, что на сайте присутствуют страницы, которые требуют авторизации (контент доступен после авторизации).

Самый распространенный тип страниц с этим статусом — URL, которые НЕ закрыты от индексации, при этом относятся к скрытым категориям сайта.

Например, раздел и внутренние страницы, созданные для партнеров компании с товарами, где цена может быть отличной от общедоступных (оптовые).

Что делать?

Каких-либо дополнительных манипуляций здесь не требуется, тем не менее мы рекомендуем такие страницы закрывать от индексации, чтобы гарантированно исключить их попадание в индекс.

Не найдено (404)

Что значит?

Страницы сайта с кодом ответа сервера 404.

Какой вывод и что делать?

1. Появление страниц с кодом 404 может быть обусловлено различными факторами и, если речь не идет об ошибке на самом сайте, наличие документов нельзя относить к критической проблеме.
2. Оптимально периодически выгружать такие страницы и настраивать для них 301-редирект на корректный адрес сайта.
3. А еще наличие страниц с кодом 404 — отличный повод посмотреть формат несуществующей страницы и причесать ее дизайн с целью сохранения пользователей, попавших на такой документ.

Страница заблокирована из-за ошибки 403 (доступ запрещен)

Что значит?

Ошибка 403 означает, что у поискового робота есть ограничение или отсутствие доступа к контенту страницы.

Какой вывод и что делать?

Не самая распространенная ошибка, тем не менее оцениваем количество таких URL и что за страницы фигурируют в списке, на предмет реальной ошибки со стороны сайта.

В большинстве случаев устранить ошибку можно только с привлечением грамотного специалиста отдела технической поддержки сайта.

URL заблокирован из-за другой ошибки 4xx

Что значит?

Дословно:

• «Сервер столкнулся с ошибкой 4xx, которая не относится к описанным здесь типам ошибок».

Суть ошибки заключается в том, что Google (как, вероятно, и Яндекс) без проблем интерпретирует наиболее распространенные кода ответа сервера (404, 403, 401) и не тратит свои ресурсы не более редкие, объединяя их в общий формат. 

А кодов, которые начинаются с 4хх порядка 30 штук:

• 400 Bad Request («неправильный, некорректный запрос»);
• 401 Unauthorized («не авторизован»);
• 402 Payment Required («необходима оплата») — зарезервировано для использования в будущем;
• 403 Forbidden («запрещено (не уполномочен)»);
• 404 Not Found («не найдено»);
• 405 Method Not Allowed («метод не поддерживается»);
• 406 Not Acceptable («неприемлемо»);
• 407 Proxy Authentication Required («необходима аутентификация прокси»);
• 408 Request Timeout («истекло время ожидания»);
• 409 Conflict («конфликт»);
• 410 Gone («удалён»);
• 411 Length Required («необходима длина»);
• 412 Precondition Failed («условие ложно»);
• 413 Payload Too Large («полезная нагрузка слишком велика»);
• 414 URI Too Long («URI слишком длинный»);
• 415 Unsupported Media Type («неподдерживаемый тип данных»);
• 416 Range Not Satisfiable («диапазон не достижим»);
• 417 Expectation Failed («ожидание не оправдалось»);
• 418 I’m a teapot («я — чайник»);
• 419 Authentication Timeout (not in RFC 2616) («обычно ошибка проверки CSRF»);
• 421 Misdirected Request;
• 422 Unprocessable Entity («необрабатываемый экземпляр»);
• 423 Locked («заблокировано»);
• 424 Failed Dependency («невыполненная зависимость»);
• 425 Too Early («слишком рано»);
• 426 Upgrade Required («необходимо обновление»);
• 428 Precondition Required («необходимо предусловие»);
• 429 Too Many Requests («слишком много запросов»);
• 431 Request Header Fields Too Large («поля заголовка запроса слишком большие»);
• 449 Retry With («повторить с»);
• 451 Unavailable For Legal Reasons («недоступно по юридическим причинам»);
• 499 Client Closed Request (клиент закрыл соединение).

Мне больше всего нравится: 418 I’m a teapot («я — чайник»), а вам? 😂

Какой вывод и что делать?

1. Очень редкая ошибка, так как нам потребовалось время, чтобы найти ее пример для скриншота, среди большого количество продвигаемых у нас проектов.
2. Изучаем состав списка таких страниц, оцениваем критичность проблемы и, с учетом приоритетов, устраняем.

Страница просканирована, но пока не проиндексирована

Что значит?

Это значит, что поисковая система знает о существовании страницы, она была просканирована, но на текущий момент не добавлена в индекс.

Сюда попадают все новые страницы сайта, при этом некоторые из них могут находиться тут достаточно большое количество времени.

Если рассматривать интернет-магазин со сложной структурой каталога и большим ассортиментом, здесь гарантированно будут преобладать детальные страницы карточек товаров.

Также, здесь можно найти ссылки на изображения в формате .webp, но это скорее недочет на стороне Google.

Какой вывод и что делать?

1. Если вы обнаружили в списке новые страницы, которые создали буквально на днях — каких-либо причин принимать меры нет.
2. Проверить страницы прямо в рамках панели, кликнув на саму страницу и в появившемся окне справа выбрать «Проверить URL»:



Зачастую бывает так, что данные не актуальны и страницы на самом деле находятся в индексе. 



Дополнительно можно проверить страницы прямо через выдачу Google, введя URL-адрес в строку поиска с оператором [site:]:



3. Если в списке страниц фигурируют URL созданные скажем год назад и проверка показала, что в индексе их нет:

 Рекомендуем:

• Оценить важность этих страниц для бизнеса — есть ли спрос и ключевые фразы для них, нужны ли они на сайте?
• Убедиться, что страницы фигурируют в XML-карте сайта, 



• Убедиться, что нет проблем с индексацией:



• Увеличить уровень вложенности таких страниц.
• Оценить качество внутренней перелинковки и кратно увеличить количество ссылок на проблемные страницы.

Обнаружена, не проиндексирована

Что значит?

Это значит, что поисковая система нашла эту страницу, но по тем или иным причинам она не была просканирована (к слову о краулинговом бюджете).  

Какой вывод и что делать?

Можно просто ждать, но если в списке фигурируют продвигаемые страницы, которые при попадании в индекс дадут вам рост трафика и лиды, рекомендуем в первую очередь оценить их уровень вложенности, присутствие в XML-карте сайта, а также общее количество ссылающихся на них документов.

Вариант страницы с тегом canonical

Что значит?

Страницы, которые поисковик пометил как альтернативу уже проиндексированным и корректно указывающим на канонический URL-адрес.

Что делать?

Посмотреть список страниц и убедиться, что нет ошибочно выбранных каноническими (на случай, если у вас на сайте ошибка в настройка атрибута rel="canonical").

Страница является копией. Канонический вариант не выбран пользователем

Что значит?

Это страницы, которые являются копиями других страниц сайта, при этом вы не обозначили это поисковику и сам Google выбрал канонической другой URL-адрес.

Что делать?

1. Если поисковик исключил продвигаемую страницу, выбрал канонической другой документ — настройте корректный атрибут rel="canonical" и укажите нужный вам URL-адрес.
2. Чтобы страница вообще не была признана копией, контент должен существенно отличаться между документами.

Страница является копией. Канонические версии страницы, выбранные Google и пользователем, не совпадают

Что значит?

Из названия статуса можно сделать выводы, что вы в рамках атрибута rel="canonical" прямо указываете поисковой системе, какая страница является канонической, а Google не согласен и добавил в индекс документ на свое усмотрение.

Вывод.

Самый распространенный формат страниц — постраничная навигация у интернет-магазинов, когда в атрибуте ссылка сама на себя, а Google выбираем канонической основной URL-адрес раздела.

Страница с переадресацией

Что значит?

В списке отображаются страницы, для которых была настроена переадресация на другие URL. 

Страницы с этим статусом не будут проиндексированы.

Что делать?

Достаточно убедиться, что в списке нет актуальных продвигаемых URL, которые могли туда попасть по ошибке.

Предупреждения

Проиндексировано, несмотря на блокировку в файле robots.txt

Что значит?

То, о чем мы говорили в самом начале статьи — закрыть страницы от индексации в файле robots.txt иногда недостаточно, чтобы исключить их из индекса Google.

Чаще всего в этом списке появляются страницы сортировки и/или фильтрации, доступные в рамках листингов товаров, а также страницы постраничной навигации, если они не оптимизированы и закрыты в файле robots.txt.

Google якобы следует инструкциям в файле, тем не менее URL могут быть проиндексированы, если на них есть ссылки как внутри проектах, так и на других ресурсах.

Что делать?

1. Выявить внутренние ссылки на такие URL и скрыть их из кода страницы.
2. Настроить закрытие URL-адресов посредством meta-тега robots, с параметром noindex.
3. Внести корректировки в файл robots.txt и убедиться, что страницы закрыты только meta-тегом (чтобы они не были закрыты одновременно двумя способами).

Страница проиндексирована без контента

Что значит?

Страницы фигурируют в индексе Google, но робот поисковика не смог обработать их содержимое. 

Что делать?

1. Очевидно, необходимо понять, что не так с кодировкой документа и устранить причины, почему поисковый робот не видит контент.
2. Если это «мусорная» страница, можно избавиться от нее настроив 301-редирект и исключить внутренние ссылки в рамках сайта. 

Резюме

1. При проведении работ по оптимизации и развитию проекты растут и наличие мелких недочетов — обычная история. Важно контролировать рассмотренные в статье показатели и не дать им вырасти до масштабов критичной проблемы.
2. Любые всплески графиков исключенных страниц, независимо от статуса, требуют вашего внимания и как минимум ознакомления со списком страниц.
3. На этапе формирования списка новых гипотез вы можете использовать данные панелей Вебмастер и Google Search Console, в том числе ознакомиться со списком исключенных из индекса страниц.
4. Несмотря на то, что причин исключения страниц из индекса достаточно много — часть из них встречается крайне редко, а критичные проблемы возникают только при каких-то серьезных ошибках при проведении работ с сайтом.

Telegram-канал Сергея Просветова

🚀 Узнай первым секреты SEO и прокачай свои скиллы!

Автор

Сергей Просветов