Страницы отсутствуют в основном индексе

В первую очередь, Антон, надо понимать, что проблема тут именно не с первичной индексацией (с ней всё более-менее), а с включением документов в основной индекс / поиск. То есть, поисковая система знает о существовании страниц, но размещает их в скрытом индексе, так как считает, что отсутствует значимая вероятность их попадания в ТОП выдачи хотя бы по одному запросу.

Данное поведение может наблюдаться в двух случаях:

• Ошибки в настройке файла robots.txt, meta-тегов или кодов ответа сервера. В этом случае, документы могут скачиваться, но сразу исключаться из основного индекса. Проверьте показатели в новом вебмастере Яндекса (https://beta.webmaster.yandex.ru/site/http:www.ваш-домен.ru:80/indexing/indexing/) и сводку «Исключенные страницы».
• Низкие значения статических факторов домена и страницы. То есть, поисковая система делает вывод, что документы не могут попасть в ТОП-10 выдачи на основании ряда статических метрик.

Стоит отметить, что в вашем случае, могут сочетаться сразу две указанные проблемы, так как содержимое файла robots.txt — трешевое:

Требуется проверить, как вообще интерпретируется данное содержимое поисковой системой и исправить сам файл.

Анализ статических факторов и их улучшение

Ранее, мы подробно разбирали вопрос статических факторов, которые сказываются на индексации и включении документов в поиск. Просьба ознакомиться с ответом. Укажем лишь, что у вас явно имеются проблемы если не со всеми, то с абсолютным большинством факторов. В первую очередь улучшайте:

1. Объем уникального текста.

2. Уровень вложенности документов.

3. Число внутренних входящих ссылок на документы.

4. Посещаемость документов.

5. Число и значимость внешних входящих ссылок.

Даже если просто обратиться к сниппетам в выдаче, можно сразу выявить множество проблем (указаны на изображении).

Итого: проблемы на вашем сайте очевидны.
Их слишком много, чтобы перечислить сразу все, начните с решения самых насущных задач:

• Настройка индексации: несмотря на то, что страниц в выдаче мало, там уже есть мусор, который надо исключить (страницы поиска по сайту). Важно на стартовом этапе закрыть все мусорные страницы от поисковых роботов и обеспечить доступность важных документов.

• Уникализация страниц. Для того, чтобы понять зачем вам документы в поиске, надо собрать семантическое ядро и произвести базовую оптимизацию сайта под запросы, входящие в него. Это позволит существенно увеличить объем уникального и полезного пользователям контента.

• Обеспечить стабильность работы сайта. Буквально 5 минут сёрфинга привели к попаданию на пустые страницы с текстом: «Доступ временно запрещен!»

• Улучшить перелинковку и уменьшить уровень вложенности значимых страниц. Это также необходимо для улучшения юзабилити и распределения веса внутри сайта.

Удачи в работе и самостоятельном решении указанных проблем! Мы верим в вас.