Здравствуйте, Вира.

Куда проще было бы ответить на ваш вопрос, имея перед глазами конкретный пример, но его не представили… что же, давайте пробовать угадать и заодно ознакомимся с таким понятием, как краулинговый бюджет.

Запрет на индексацию

В первую очередь требуется проверить два технических момента:

• То что документы, которые не в индексе, не закрыты от индексации с помощью файла robots.txt или meta-тегов.
• То что документы, отдают верный (корректный для индексации) код ответа сервера — 200 OK (сервис bertal.ru).

Если вы уверены, что это так, то переходим к дальнейшим возможным причинам проблемы.

Статические факторы документов

Дело в том, что поисковые системы включают в свой индекс только те документы, которые:

1. Не нарушают их поисковую лицензию (Яндекс: http://legal.yandex.ru/termsofuse/).
2. Не дублируют уже имеющуюся в индексе информацию (скажем, страницы очень сильно похожи друг на друга и не представляют ценности для пользователей).
3. Обладают достаточными статическими факторами, чтобы попасть в ТОП хотя бы по какому-то поисковому запросу.

Скорее всего, мы имеем дело с третьей ситуацией, когда у карточек товаров в вашем интернет-магазине недостаточные значения статических факторов и улучшив их, можно «загнать» документы в индекс. В первую очередь требуется улучшить для каждой карточки следующие показатели:

1. Уровень вложенности документа. Постарайтесь добавить с главной страницы ссылки на данные карточки товаров, можно организовать ротацию по 15-25 карточек в блоге, чтобы они стали УВ=2. Это должно будет улучшить ситуацию.

2. Число внутренних входящих ссылок на документ. Проверьте, с помощью панели Вебмастера Яндекса, сколько внутренних входящих ссылок видит робот на данный документ? Число должно быть выше 15-20. Оптимально поставить — от 20 ссылок, тогда документ повысит свою вероятность попадания в индекс.

   Дополнительно проверьте число внутренних ссылок с помощью программы Screaming Frog SEO Spider .

3. Посещаемость документа. Число уникальных посетителей документа — существенно сказывается на включении его в индекс. Здесь поможет привлечение пользователей на данные страницы внутри сайта с помощью различных акций, модуля «Похожие товары» и прочих приёмов.

4. Объем уникального текста. Постарайтесь добиться того, чтобы объем уникального текста на карточках товаров был от 700 до 1 500 символов без пробелов. Наличие текста на документах повышает вероятность включения документа в основной индекс.

5. Число и значимость внешних входящих ссылок на документ. Нарастив число входящих на карточки товаров ссылок, можно улучшить индексацию. Здесь часто бывает достаточно получить от 2 ссылок на каждую карточку. Это также улучшит и их ранжирование по коммерческим поисковым запросам. Чем большую долю PR будут передавать данные ссылки — тем лучше.

6. Статический вес документа. С помощью программы PageWeight или сервиса SEOTO.ME можете рассчитать текущий статический вес карточек товаров не в индексе по классической формуле PR. Постарайтесь увеличить это число с помощью привлечения внутренней перелинковки (изначально — в 1.5–2 раза).

7. Уникальный заголовок Title и meta-теги. Заполните уникальным содержимым тег Title и meta-тег description на карточках товаров.

8. Длина URL-адреса в символах. Поисковые системы охотней включают в индекс документы с короткими адресами, а при наличии очень длинного имени — могут наблюдаться проблемы с индексацией. Оптимально иметь URL-адрес (без учёта доменного имени) до 85-90 символов.

В 95% случае, выполнив описанные выше работы, вы достигните желаемого результата. Но есть и более экзотические случаи…

Размер сайта, краулинговый бюджет

Если мы имеем дело с довольно большим сайтом, от 70–100 тысяч страниц и выше, то истинной причиной отсутствия документов в индексе Яндекса могут быть и другие проблемы. В частности, у каждого сайта имеется, так называемый, краулинговый бюджет. Это число, которое определяет:

• Какое количество документов с данного хоста/владельца может быть в принципе включено в индекс. При достижении данного порога, документы с заданного сайта — далее не включаются в индекс.
• Какое количество документов может быть просканировано за один заход паука поисковой системы.

Для увеличения краулингового бюджета требуется повышать уже не статические факторы какого-то заданного документа, а статические факторы всего сайта/хоста (подробнее о статических факторах).

Для грамотного расходования краулингового бюджета требуется — верно настроить индексацию сайта, скрыть от робота все ненужные/мусорные документы, настроить заголовок Last-Modified (чтобы робот проверял на обновление только документы, которые действительно изменились с последнего его захода), сформировать XML-карты сайта, настроить работу самого сервера.

Маловероятно, что вы «упёрлись» в данный лимит, обратите в первую очередь на раздел «Статические факторы документов» этого ответа.

Удачи в самостоятельном продвижении сайта в Яндексе и включении большей части документов в индекс!