Здравствуйте, Игорь.

Давайте рассмотрим чуть более общий вопрос: «Почему сайты вообще могут не индексироваться поисковыми системами и Яндексом в частности?». И в качестве частного ответа на данный вопрос поймем, почему не индексируется именно ваш сайт.

Запрет на индексацию

Пожалуй, наиболее частой причиной отсутствия страниц сайта в индексе является запрет на индексацию сайта.

1. Запрет на индексацию посредством файла robots.txt (директива Disallow).

2. Скрытие страниц от индексации с помощью meta-тега name="robots" (noindex).

Санкции по отношению к сайту

Поисковые системы обладают целым рядом санкций, которые могут помешать полной и даже частичной индексации вашего сайта. Среди них:

3. Полное исключение сайта из индекса поисковой системы — бан.

4. Частичное исключение сайта из индекса — ряд версий АГС в Яндексе, поисковый спам (большое число разновидностей, скажем, автоматически формирующиеся каталоги или списки выложенных поисковых запросов).

Сайт — неглавное зеркало

Часто, сайт не включается в индекс, если является неглавным зеркалом другого сайта.

5. Если у вашего сайта несколько доменных имен, то в индексе Яндекса будут находиться страницы лишь с одного из них — главного зеркала. При желании, вы можете инициировать процедуру смены главного зеркала.

Неверный код ответа сервера или блокировка робота

Встречаются случаи, когда хостинг провайдер блокирует робота поисковой системы (паука) в результате чего, поисковая система не может скачать содержимое документов на сайте. Также, документы на сайте могут отдавать неверный код ответа сервера (отличный от 200 OK) — это приводит к невключению страниц сайта в основной индекс. Отсюда мы приходим к ещё двум возможным причинам:

6. Блокировка робота поисковой системы хостингом.

7. Неверный код ответа сервера для ряда документов на сайте (не 200 OK).

Недостаточная ценность

Для оценки необходимости включения страниц сайта в индекс Яндекса или Google, поисковая система измеряет целый ряд параметров. В частности — опираясь на статические факторы ранжирования, поисковая система понимает, есть ли вероятность у страницы сайта присутствовать в ТОП выдачи по хотя бы какому-то поисковому запросу. Если такая вероятность отсутствует, значит, включение данного документа в базу — нецелесообразно.

8. Если документ оценивается поисковой системой как неценный, то включение его в индекс — маловероятно.

9. Документ является полной или частичной копией уже существующего в индексе документа, в данном случае, Яндекс и Google могут не включать его в индекс по причине отсутствия уникальности (дополнительной полезной для пользователя информации).

Диагностика проблемы

Теперь вернемся к вашему частному случаю, а именно сайту metalloiskateli.su. Оценка всех изложенных выше пунктов говорит, что мы столкнулись с одним из следующих случаев — 4, 6, 8.

Чтобы исключить вариант 4 — требуется составить аргументированное письмо в службу поддержки поисковой системы посредством панели Вебмастера Яндекса и запросить возможную причину. Вероятно, санкции могли быть наложены на предыдущую версию сайта, если вы не являетесь первым владельцем домена. В данном случае, может потребоваться и смена доменного имени.

Чтобы исключить вариант 6 — требуется, как изучить логи сервера, так и направить письмо в службу поддержки поисковой системы, можно объединить данные два вопроса в одно письмо. На сайте имеются и документы с отличным от кода 200 OK ответом (см. ниже).

Чтобы исключить вариант 8 — требуется:

• Повысить объем и число уникальных (авторских) текстов на сайте (в том числе и на уже существующих страницах).

• Повысить цитируемость ресурса (получить внешние ссылки с других сайтов).

• Повысить общий трафик на сайте (расширить аудиторию проекта).

• Улучшить распределение статического веса на сайте за счёт перелинковки (повысить PR документов).

Удачи в работе с сайтом, выяснением причин отсутствия документов в индексе и самостоятельном продвижении ресурса!

p.s. Существуют и другие, более экзотические причины исключения сайта из основного индекса, скажем — плохое окружение на хостинге или используемая CMS (в Google), но вероятность встретить их оценивается как менее 1%.