robots.txt: верный способ выгнать сайт из ТОПа

Роман, сочувствуем. Но, как показывает практика, вы не одиноки в своих ошибках и подобные косяки межгалактического масштаба встречаются довольно регулярно. Наиболее часто — при выкате новой версии сайта на боевой домен (разработчики оставляют старый, тестовый robots.txt).

1. Вернутся ли позиции?

Да, после того как Яндекс повторно зайдёт на ваш сайт, он в первую очередь заглянет в файл robots.txt.

Если в обновленной версии файла запрет на индексацию документов будет снят, то они будут переиндексированы и большая часть позиций вернётся в ближайшие несколько текстовых апдейтов. Но, в вас проблемы, с начала года было всего 6 текстовый апдейтов и если частота не будет увеличена, то возвращения позиций можно будет ожидать более 1-1,5 месяцев.

Но будут ли проблемы?

Да, если тематика у вас конкурентная, то вы также зафиксируете и дальнейшее падение позиций. Произойдёт это по причине проигрыша конкурентам в ТОП-10 по набору кликовых поведенческих факторов (ПФ).

За даты, пока ваш сайт отсутствовал в выдаче — конкуренты успешно «копили» свои ПФ. В результате чего, при прочих равных, ваш сайт соберет меньше поведенческой информации, что приведёт к его просадке после апдейта с учётом (обновлением) кликовых ПФ (см. иллюстрацию ниже).

2. Скрыть от индексации раздел и открыть карточки товаров

Да, имеется сразу несколько способов реализовать указанную вами задачу номер два (скрыть раздел, но открыть для индексации карточки товаров, которые расположены в нём). Укажем два наиболее популярных, в том порядке, как мы рекомендуем их использовать.

1. Закрыть от индексации документ/раздел с помощью meta-тега name="robots".

2. Использовать следующую пару директив в файле robots.txt:

   Аllow: /apple/iphone
   Disallow: /apple/

   Или использовать спецсимвол $ и обойтись одной директивой:

   Disallow: /apple/$

Удачи в восстановлении позиций сайта и не повторяйте своих ошибок!