Санкции поисковых систем — проявление, диагностика, снятие

Верно следуя открытому Ньютоном закону природы — любому действию всегда есть равное и противоположное противодействие — сотрудники антиспам отделов Яндекса и Google формулируют в своих алгоритмах множество фильтров направленных на противодействие различным приёмам оптимизации и поискового спама.

Безусловно разделяя эти два зачастую граничащих понятия, остановимся на фильтрах, направленных на различные методы оптимизации, оставив несколько в стороне санкции, нацеленные на откровенный поисковый спам.

1. Основные типы санкций

Все типы санкций можно разделить на группы и ассоциировать их с причинами, повлекшими их наложение. Следуя данной классификации можно разделить фильтры на типы, с которыми сталкиваются SEO-специалисты. В таблице 1 указаны: наименование фильтра, ключевая причина применения (названия ячеек) и краткая сводка по каждому из них.

Считается, что фильтр одновременно встречается в поисковых системах Яндекс и Google — если обратное не указано явно.

Таблица 1. Сводка со всеми типами фильтров, которые использую поисковые системы, их кратким описанием и указанием ключевой причины применения санкции.

А. Санкции за текстовое содержимое и микроразметку

Данную группу фильтров можно отнести к одной из наиболее «популярных» при продвижении сайта в поисковой системе Яндекс. Подробно фильтры «Переспам» и «Переоптимизация» были рассмотрены в статье [1], остановимся на «Новом» фильтре Яндекса с которым оптимизаторы начали часто соприкасаться в середине 2014 года и алгоритме «Баден-Баден», запущенном в 2017 году.

Проявление фильтра

Во 2-3 квартале 2014 года SEO-специалисты столкнулись с резким негативным изменением занимаемых сайтом позиций по запросам различной частоты и направленности. Более детальный анализ позволил выявить следующие закономерности в поведении:

• Сайт резко теряет позиции по запросам, выпадения составляют вплоть до 1 000 позиций, когда продвигаемый документ пропадает из зоны видимости.
• Сайт продолжает нормально ранжироваться по запросам, к которым фильтр не был применен.
• Небольшая модификация запроса не возвращает сайт на изначальную позицию в ТОПе, как в случае с текстовым пост-фильтром «Переспам» [1].

Диагностика

Возможно два различных подхода к диагностированию проблемы:

1. Отслеживание динамики позиции сайта и соизмерение данной динамики с общим изменением выдачи по запросу. В данном случае — совокупно выдача Яндекса не претерпевает существенных изменений, в то время как анализируемый сайт резко исчезает из зоны видимости (часто выдаваясь на 100-400 позициях).

2. Использование расширенного языка поисковых запросов. При использовании данного подхода выполняется следующая последовательность действий (проверка автоматизирована в бесплатном сервисе «Пиксель Тулс»):

   • Задается исходный поисковый запрос.

   • Проверяется текущая позиция анализируемого сайта.

   • Текущая позиция соотносится с позицией, которая была до вероятного случая применения санкций, если она известна, в противном случае за позицию «До» принимается текущая позиция сайта.

   • Выбирается 2-3 контрольных сайта, которые были ниже анализируемого до вероятного применения санкций, но на текущий момент находятся значительно выше него. Если позиция «До» вероятного случая наложения санкций неизвестна, то выбираются сайты, которые находятся выше продвигаемого ресурса на 1-3 позиции на текущий момент.

   • В Яндекс задается поисковый запрос с использованием операторов расширенного поиска «site:» и «|», где выдача сужается до двух сайтов — «analyse.ru» — анализируемый сайт и «control.ru» — один из контрольной группы.

     Обновление от октября 2024 года. Увы, эта и несколько других техник проверки фильтра перестали работать и сейчас в «Пиксель Тулс» используется методика, которую мы не озвучиваем.

   • Если позиции анализируемого сайта при данном запросе оказываются лучше сайта из контрольной группы — весьма вероятен факт наложения санкций.

   • Для повышения уверенности процедура повторяется и с другими сайтами из контрольной группы.

     Данная последовательность действий полностью аналогична той, которая предложена для диагностики фильтра «Переоптимизация» [1]. Отличить данные санкции друг от друга можно по абсолютному числу потерянных позиций, в случае с фильтром «Переоптимизация» это от 5 до 30 пунктов, в случае с «Новым» оно оказывается значительно выше (от 50-60 позиций и более).

Важно заметить, что перед проведением данной диагностики рекомендуется исключить из рассмотрения прочие возможные причины данного поведения сайта (глава 2) и [2, 17].

Снятие

Для снятия «Нового» текстового фильтра Яндекса рекомендуется:

• Уменьшить длину (в словах) и спамность заголовка окна браузера Title.
• Уменьшить число чистых вхождений продвигаемого запроса в текст документа (изначально — двукратно).
• Пересмотреть проценты вхождений слов из данных продвигаемых запросов в сторону уменьшения (изначально — двукратного).
• Отправить текст на корректорскую проверку, то есть — устранить все несогласованные словосочетания, трудночитаемые предложения, орфографические и пунктуационные ошибки.
• Уменьшить объем текста (изначально — на 20-30 процентов).
• Устранить избыточное использование html-тегов логического выделения — <b>, <strong>, <em>, <i>, <u>, <h1>-<h6>.
• Добиться равномерного распределения ключевых фраз в контенте страницы.

В случае если действия, описанные выше, после переиндексации документа и нескольких текстовых апдейтов поисковой выдачи Яндекса [3] не принесли ожидаемого результата — рекомендуется полностью переписать текст.

Пример

На рисунке 1 показана характерная динамика позиции сайта в Яндексе по продвигаемому запросу в период с 30 сентября 2014 года по 31 октября 2014 года. Красными прямыми указаны периоды выпадения сайта ниже 100 места выдачи, синими — появление сайта на 2 позиции в выдаче по высокочастотному запросу по Московскому региону.

Рисунок 1. Динамика позиции сайта в Яндексе по продвигаемому запросу в Московском регионе с указанием периодов наложения «Нового» фильтра (красные прямые) и периодов снятия санкций (синие прямые).

Предполагается, что периодическое применение и снятие санкций может быть связано с пересмотром порогов наложения фильтра и активной работой с текстовой составляющей наблюдаемого документа на протяжении всего периода наблюдений.

Спам в разметке структурированных данных

Поисковая система Google вручную применяет санкции за спам в микроразметке / структурированных данных [18]. Данный тип санкций отражается в панели Search Console. Для снятия фильтра требуется: устранить замечания, после чего — направить запрос на повторную проверку.

Баден-Баден от Яндекса

Алгоритм, запущенный в марте 2017 года [19], направленный на понижение в результатах выдачи переоптимизированных документов. Основные сведения:

• Схожесть алгоритма «Баден-Баден» с предыдущим фильтром «Переспам» по проявлению, размеру штрафа и запросозависимому характеру.

• Размер просадки для фразы — 10-40 позиций, в зависимости от конкуренции в заданном регионе.

• Возможна диагностика путём модификации задаваемого в поисковую строку запроса.

Б. Санкции за ссылочную составляющую

Длительное время в истории поисковой индустрии ссылочные факторы являлись доминирующими в формулах ранжирования Яндекса и Google. Данное доминирование привело к активному развитию ссылочных бирж и в дальнейшем ссылочных агрегаторов, процесс линкбилдинга стал одним из основных в работах SEO-специалиста.

Описанные процессы не могли не повлечь за собой развития алгоритмов антиспама уменьшающих эффективность линкбилдинга и штрафующих сайты за:

• Чрезмерно высокие темпы наращивания ссылочной массы — «Ссылочный взрыв».
• Неестественный вид анкор-листа документа и сайта — «Пингвин» в Google.
• Низкое качество ссылочной массы и создание «искусственных» сайтов — «Ссылочный спам».

Остановимся подробней на фильтре «Пингвин» от поисковой системы Google, как наиболее часто встречающемся при проведении стандартных работ по ссылочной оптимизации.

Пример

На рисунке 2 представлен интересный процесс многократного применения и снятия фильтра «Пингвин» для одного из продвигаемых сайтов.

Рисунок 2. Динамика изменения трафика на исследуемый сайт из поисковых систем. Жёлтая кривая — трафик из поисковой системы Google, красная — из поисковой системы Яндекс (для сравнения и понимания сезонности спроса в тематике). Стрелками с подписями указаны как периоды активного продвижения и роста трафика (слева), так и даты применения фильтра (справа).

Данный пример, свидетельствует о том, что обновление и факт применения или снятия санкций во многих случаях происходит автоматически и не всегда синхронизирован с датами крупных алгоритмов «Пингвина». Для сравнения приведем ниже даты и номер версии согласно официальным заявлениям компании Google [4]:

• 1.0 — запуск алгоритма, 24 апреля 2012.
• 1.1 — обновление алгоритма (по ряду наименований версия 2), 26 мая 2012.
• 1.2 — обновление алгоритма (по ряду наименований версия 3), 5 октября 2012.
• 2.0 — новая версия (по ряду наименований версия 4), 22 мая 2013.
• 2.1 — обновление алгоритма (по ряду наименований версия 5), 4 октября 2013.
• 3.0 — новая версия (по ряду наименований версия 6), 21 октября 2014.
• 4.0 — новая версия, 23 сентября 2016. Основные изменения: автоматическое/алгоритмическое снятие/применения санкций, фильтрация спама, а не только санкции.

Алгоритм по снятию санкций

К одной из основных причин применения фильтра относится неправильная (искусственная) работа с входящими на сайт ссылками и текстами этих ссылок (анкорами). Ниже мы приведем последовательность действий, применяемую для целой группы сайтов, которая в большом проценте случаев приводит к снятию фильтра «Пингвин».

1. Выгрузка полного списка ссылок ведущих на сайт. Здесь рекомендуется использовать все доступные источники внешних ссылок на сайт, от панели вебмастера Google [5] и Яндекс [6], до используемых ссылочных бирж и сторонних сервисов [7].

2. Проверка всех выявленных ссылочных доноров по ряду ключевых показателей:

   • Положение ссылки на странице-доноре.
   • PR главной страницы и PR страницы-донора.
   • Число уникальных исходящих ссылок на сторонние сайты, деленное на общее число страниц в индексе Google (без учёта страниц с поддоменов в поиске).
   • Посещаемость донора в месяц (уникальных посетителей) и данные сервисов Alexa и SimilarWeb.
   • Наличие в контенте страницы-донора стоп-слов из взрослой лексики.
   • Число уникальных получателей ссылок (акцепторов) с данной страницы-донора.

3. Выделение по фильтрам с применением логики оператора ИЛИ (то есть, если выполняется любое из условий) и вынесение в отдельный файл доноров удовлетворяющих условиям:

   • Положение кода со ссылкой на странице ниже 90% всего кода документа.
   • PR главной страницы менее PR страницы-донора.
   • Число уникальных исходящих ссылок на сторонние сайты, деленное на число страниц в индексе более 1.
   • Посещаемость в месяц менее или равно 900 уникальных посетителей. Если данные о посещаемости недоступны в открытом виде, то следует произвести расчёт посещаемости с помощью вспомогательных сервисов — Alexa и SimilarWeb, предварительно произведя настройку процесса оценки посещаемости сайта по базе ресурсов с открытой статистикой.
   • На странице-доноре встречаются слова из списка стоп-слов.
   • На странице-доноре более семи внешних исходящих ссылок на уникальные сайты.

4. Приведение всех выявленных доноров к виду — domain:site.ru и формирование txt-файла, где каждый донор указан с новой строки.

5. Проверить, что процент чистых вхождений продвигаемых фраз в новом анкоре-листе не превышает 3-4% или 12-20 вхождений в абсолютном количестве. В случае если данные пороги превышены, дополнительно произвести смену анкоров или расширить список отклоняемых сайтов.

6. Отклонение полученного списка доноров посредством инструмента Disavow Links [8].

В качестве получения дополнительной уверенности учёта данного инструмента в алгоритмах ранжирования Google предложена простая процедура проверки.

• Выбирается уникальный анкор ссылки, такой, что он встречается только на одной странице-доноре, а сама страница проиндексирована.
• Донор отклоняется с помощью инструмента Disavow Links.
• Проверяется число найденных документов по запросу вида: ["уникальный анкор"] с ограничением списка сайтов для поиска до продвигаемого сайта и сайта-донора.
• Если число найденных документов равно одному, то считается, анкор перестал учитываться при ранжировании (рисунок 3).
• Если число найденных документов равно двум, то анкор по-прежнему учитывается при ранжировании.

Данная проверка показывает, что анкоры отклоненные с помощью инструмента Disavow Links должны перестать учитываться при ранжировании в Google.

Рисунок 3. Демонстрация факта исключения анкоров входящих ссылок из ранжирования с доноров, отклоненных с помощью инструмента Disavow Links через панель вебмастера Google.

Алгоритм «Минусинск»

В ночь с 15 на 16 мая 2015 года, Яндексом была запущена первая волна санкций за избыточное число и долю SEO-ссылок в ссылочном профиле проекта. Было понижено 488 сайтов.

Среднее число просадки позиций по запросам — оказывается около 20. Падение происходит по всем запросам, в том числе и витальным для проекта (доменное имя, название компании).

C подробным анализом фильтра можно ознакомиться в источнике [16], где раскрываются методы диагностики и сводки по базовым показателям пострадавших сайтов.

В. Санкции за накрутку поведенческих факторов

Поведенческие факторы являются ключевыми в ранжировании сайтов по средне- и высокочастотным запросам. И хотя их число исчисляется десятками [9] под пристальным прицелом оптимизаторов оказались наиболее значимые, а именно, так называемые кликовые факторы на страницах результатов выдачи:

• Число посетителей документа из выдачи по запросу.
• CTR сайта в выдаче по запросу.
• Региональные срезы данных показателей.

Именно на искусственное улучшение данной группы факторов, направлено большинство сервисов по накрутке. В чём же кроется причина данного явления?

Историческая справка

На рисунке 4 представлена динамика позиций одного из сайтов, который оптимизаторы, продвигавшие его, накручивали с помощью привлечения мотивированного трафика из выдачи Яндекса по запросу [вывоз мусора]. Выгрузка с историей по позициям сделана с помощью общедоступного сервиса [10] так чтобы каждый из читателей мог воспроизвести результаты.

Видно, что в 2011 году даже по конкурентным запросам имелась возможность вывести сайт на лидирующие позиции с помощью искусственного улучшения кликовых факторов (сайт попал сразу на 2 место после апдейта поведенческих факторов, показав рост 92 пункта).

Рисунок 4. Стремительный рост одного из накручиваемых сайтов с помощью искусственного улучшения кликовых поведенческих факторов в Яндексе в 2011 году, запрос [вывоз мусора].

Примеров данной динамики набралось достаточно для решительной ответной реакции со стороны антиспам отдела Яндекса. В июле 2011 года была произведена существенная чистка выдачи от накрученных данным методом сайтов [11]. Изучение динамики сайтов попавших под санкции позволяет утверждать, что добиться снятия санкций удалось лишь по истечению периода от 6 до 12 месяцев после остановки процесса накрутки.

Текущая ситуация

Представители поисковой системы Яндекс неоднократно делали официальные заявления относительно своего отношения к накруткам поведенческих факторов [12]. Коротко — данные искусственные действия однозначно воспринимаются как спам и относятся к черным методам оптимизации.

На текущий момент, можно утверждать, что фильтр за накрутку кликовых поведенческих факторов функционирует в Яндексе наравне с прочими санкциям и применение данной технологии оптимизации подвергает сайт существенному риску потери позиций в срок от 6 месяцев и более.

Факты накрутки и не учёта действий пользователей могут фиксироваться с помощью большого числа алгоритмических и статистических методов. Мы остановимся на одном из изящных алгоритмов, который уже применяется в антиспаме для функционирования санкции «Ссылочный взрыв».

1. Назначается некоторое пороговое значение роста посещаемости сайта из выдачи по коммерческим запросам, после которого сайт считается участвующим в «накрутке». Это может быть, скажем, более чем 30-50% увеличение поискового трафика при неизменном числе показов сайта и сниппетах.

2. Список всех пользователей (IP-адресов), которые посетили заданный ресурс из выдачи за отчетный период, помечается звёздочкой.

3. Выбирается совокупность всех сайтов, которые считаются «накрученными» за отчетный период.

4. Формируется множество пользователей (IP-адресов), которые принимали участие в 2 и/или большем числе фактов накруток (порог может быть выбран путём перебора.

5. Все действия данных пользователей (IP-адресов) игнорируются при расчётах кликовых поведенческих факторов.

На рисунке 5 схематично изображено применение данного алгоритма, и выявление пользователя принимающего участие в накрутке и сайта указанного сверху N1 (красные стрелки и прямоугольник) и сайта указанного снизу N2 (зеленые стрелки и прямоугольник). См. также подпись к рисунку 5.

Рисунок 5. Вероятный алгоритм обнаружения мотивированных пользователей, которые принимают активное участие в раскрутке сайтов с помощью улучшения кликовых поведенческих факторов. Красным цветом указаны пользователи принимавшие участие в накрутке сайта N1 (сверху), зеленым цветом — пользователи принимавшие участие в накрутке сайта N2. Один из пользователей, принимавший участие в обоих актах накрутки помечен двумя звёздочками и действия с его IP-адреса могут не учитываться.

Имеются основания полагать, что составление списков «плохих» IP-адресов и их детектирование в актах накрутки поведенческих факторов и/или поисковых подсказок используются в Яндексе и позволяют улучшить алгоритмы антиспама и антикликфрода.

Применение санкций

Анализ текущего списка сайтов подвергшихся санкциям со стороны поисковой системы Яндекс, позволяет утверждать, что штрафуются в первую очередь сайты, которые:

1. Являются последними в поисковой сессии пользователя осуществляющего накрутку.
2. Имеют повышенные показатели таких метрик как (относительно других сайтов в сессии, см. рисунок 6):
   • Число просмотренных страниц на сайте.
   • Время, проведенное пользователем на сайте после захода из выдачи.

Таким образом, учитываются стандартные паттерны поведения, лежащие в основе всех популярных сервисов накрутки, что ставит целесообразность использования данных сервисов под большой вопрос. Совместно с описанным выше методом маркировки подозрительных пользователей (IP), сайты являющимся последними в поисковой сессии — могут попадать под санкции.

Рисунок 6. Сравнение двух паттернов поведения мотивированных пользователей, на случайных сайтах, посещенных до попадания на целевой ресурс (верхняя часть) и на раскручиваемом ресурсе, где надо проявить повышенную активность (нижняя часть). После посещения целевого сайта — поисковая сессия обычно заканчивается.

Диагностика и снятие

На текущий момент, оптимальным способом диагностики факта наложения фильтра за «Накрутку ПФ» следует признать — обращение в службу поддержки поисковой системы Яндекс через панель вебмастера [6].

Сотрудники службы поддержки прямо сообщают о факте применения данных санкций к сайту, что можно воспринимать как достоверное подтверждение и способ диагностики.

Рекомендуется, особенно в случае непричастности к актам искусственного улучшения поведенческих факторов, вступить в честный и аргументированный диалог, в котором открыто изложить свою позицию. В ряде случаев, данные действия могут ускорить процесс снятия фильтра.

Г. Санкции за рекламное содержимое

Одним из трендов в развитии технологий поисковой системы Яндекс — является курс намеченный на очищение Рунета от нелицеприятной, эротической и агрессивной рекламы.

Данной проблеме был посвящен ряд официальных заявлений [13], что, по заверениям сотрудников Яндекса привело к снижению числа страниц с шокирующей рекламой — в 6 раз и с pop-up рекламой — в 10 раз. Такая активная позиция разработчиков положительно сказывается на развитии отрасли интернет-рекламы и способствует становлению вдумчивого подхода к монетизации информационных ресурсов.

Снятие фильтра

Для снятия фильтра за некорректное рекламное содержимое требуется произвести смену размещаемых рекламных материалов или подключенной партнерской программы и дождаться полноценной переиндексации ресурса.

Для ускорения процесса рекомендуется после внесения существенных изменений на сайте сообщить об этом в службу поддержки поисковой системы через панель вебмастера [6].

Д. Фильтр на одинаковые сниппеты

Фильтр на одинаковые сниппеты наиболее характерен для товарных запросов и сайтов интернет-магазинов. Его проявление заключается в том, что с целью повышения разнообразия результатов выдачи Яндекса, скрывается ряд похожих результатов. Предпочтение отдается тем документам, у которых сниппет (Title и текст описания) существенно отличается от уже представленных результатов (см. также рисунок 7).

Рисунок 7. Добавление в браузерную строку GET-параметра &rd=0 позволяет отображать сайты без группировки по схожести сниппетов и диагностировать фильтр.

Для диагностики фильтра достаточно после формирования выдачи добавить в браузерную строку GET-параметр &rd=0, который сообщает поисковой системе, что требуется отображать сайты без группировки по одинаковым (или очень схожим) сниппетам.

Далее, сверяя позицию анализируемого сайта до и после добавления параметра, в случае его резкого роста в результатах выдачи, можно диагностировать фильтр на одинаковые сниппеты.

Снятие фильтра

Для снятия фильтра на одинаковые сниппеты требуется:

• Полностью переписать текстовое содержимое, используемое поисковой системой в качестве аннотации на выдаче (description или текст со страницы).
• Скорректировать Title документа, уделив особое внимание пересекающимся с другими результатами фрагментам из 3 и большего числа слов.
• Дождаться переиндексации документа и процесса обновления сниппетов (специализированный апдейт).

Е. Группы аффилиатов

При обсуждении проблемы аффилированности сайтов в группу часто звучит мнение, что это однозначно негативный фильтр или даже «смерть» одного из ресурсов. Но данное мнение не является до конца взвешенным, так как аффилированность сайтов не является отягощающим фактором при продвижении сайтов:

1. По непересекающимся спискам поисковых запросов.
2. По различным регионам России.

Тем не менее, требуется уметь производить диагностику аффилированности сайтов в группы, а также понимать факторы, которые используются поисковой системой при анализе сайтов.

Факторы

Работа с большим числом проектов позволяет выявить следующие группы факторов, которые анализируются поисковой системой Яндекс при ассоциировании сайтов:

1. Пересекающиеся контактные данные на сайтах и справочниках (вида Яндекс.Справочник).
2. Дублирование каталога, услуг и цен на продукцию (массового).
3. Схожая структура каталога товаров.
4. Расположение сайта на одном IP-адресе или одной подсети класса C.
5. Наличие сайтов из потенциальной группы в общих аккаунтах Яндекса.
6. Схожесть доменных имён и названий компании.
7. Перенаправление трафика с одного сайта на другой.
8. Наличие перекрестных ссылок.
9. Схожесть HTML-вёрстки и общая CMS.
10. Пересечение внешней входящей ссылочной массы (большое число общих доноров).
11. Ручные проверки сайтов в случае наличия жалоб в службу поддержки.

Диагностика

Для проверки гипотезы аффилированности двух сайтов требуется проделать следующую последовательность действий:

1. Проверить, что на сайты по запросам не наложены фильтры на одинаковые сниппеты (см. раздел Д), если фильтр на одинаковые сниппеты диагностируется, исключить данные фразы из дальнейшего рассмотрения.

2. Зафиксировать позиции двух сайтов по всем запросам из семантического ядра.

3. Если найдена группа (из двух и большего числа запросов), по которой оба сайта одновременно находятся в ТОП-30 выдачи Яндекса — аффилированности нет.

4. Если подобных фраз нет, то последовательно выбираются запросы, по которым один из сайтов находится на хороших позициях и путём исключения данного сайта из выдачи проверяется факт резкого роста занимаемых вторым сайтом позиций. Поисковый запрос при этом выглядит как [анализируемый запрос ~~ site:pixelplus.ru], где pixelplus.ru — сайт находящейся на хороших позициях (см. также рисунок 8 и подпись к нему).

5. Если второй сайт резко появляется в выдаче, то устанавливается фильтр аффилированности.

Рисунок 8. Диагностирование фильтра аффилированности сайтов методом исключения одного из сайтов из ранжирования с применением документированного оператора «~~». Ситуация 1 — на 9 месте находится сайт N1, при его исключении (ситуация 2) — в выдаче резко появляется аффилированный с ним ресурс (два выделены рамкой в выдаче).

Типы фильтра и его снятие

Абсолютное большинство аффилированных сайтов соотносятся в группу автоматически (алгоритмом), но встречаются и случаи ручного наложения санкций. Действия для снятия фильтра ручного и автоматического типа — несколько различаются.

• Для снятия автоматического фильтра аффилированности требуется устранить пересечение двух сайтов по всем факторам, указанным в данной главе выше. Особое внимание следует уделять пунктам: 1, 2, 4, 6, 8. Для снятия автоматической аффилированности обращаться в службу поддержки не рекомендуется. После проработки ресурсов по указанным выше факторам, их переиндексации и обновления базы произойдет расклейка ресурсов.

• Для снятия ручного фильтра аффилированности требуется:

  • Устранить пересечение по факторам указанным выше.
  • Вступить в переписку со службой поддержки Яндекса через панель вебмастера [6], где привести аргументы в пользу расклейки сайтов. В качестве аргументов могут рассматриваться различные реквизиты юридических лиц, различные договоры аренды помещений и прочие значимые для бизнеса сведения.

2. Алгоритм автоматической диагностики сайта

Большое число фильтров (глава 1 и [2]) и их разнообразное проявление вызывает большие трудности при диагностике сайта у начинающих и даже опытных SEO-специалистов. В связи с этим, предложен вспомогательный алгоритм последовательного исключения (или определения) фильтра для заданной тройки:

• продвигаемый запрос
• документ
• регион продвижения

Имеется возможность автоматизировать диагностику сайта по списку поисковых запросов, используя заданный алгоритм действий.

Входные данные

На вход алгоритма подается:

• список поисковых запросов с привязкой каждого запроса к продвигаемому на сайте документу;
• регион продвижения сайта.

Далее, данные переформатируются к тройкам: запрос-документ-регион и проверка производится для каждого запроса отдельно. Далее выполняется цикл диагностики для каждого запроса из списка.

Последовательное исключение фильтров

Ниже представлена блок-схема последовательного исключения факта наложения заданной санкции для тройки: запрос-документ-регион и выявления возможных проблем при продвижении запроса.

Все проверки выстроены в порядке оптимальном для автоматизации процесса. Переход к следующему шагу осуществляется строго после выполнения предыдущего шага и отсутствия проблем на нём.

Проверка разбита на 10 последовательных шагов и способна выявить: проблемы с индексацией или технические ошибки, прохождение документов кворума, наличие adult-фильтра, наличие дублей документа в индексе, фильтр на одинаковые сниппеты, аффилированность, «Переспам», «Переоптимизацию» и «Новый» текстовые фильтры, а также соответствие документа основным требованиям оптимизации [14].

Инструмент комплексной диагностики и описанный выше алгоритм действий проверки на фильтры в Яндексе реализован в рамках экспертного, автоматизированного инструмента в «Пиксель Тулс».

3. Заключение

Нам удалось систематизировать всё многообразие санкций в поисковых системах и описать общие тенденции развития антиспам алгоритмов в поисковых системах Яндекс и Google. По списку перечисленных фильтров в каждой поисковой системе, можно выявить различные взгляды на существующие проблемы в информационном поиске у двух лидеров Рунета.

Яндекс в 2013-2014 годах — в большей степени нацелен на пресечение попыток манипулирования поведенческими факторами, а также активно прорабатывает вопросы агрессивной рекламы на информационных сайтах. Под пристальным вниманием также остаются вопросы качества текстовой информации («Новый» или «Текстовый антиспам» фильтр).

Google — видит большую проблему в манипулировании оптимизаторами ссылочными факторами ранжирования.

Кроме того, разработчики обоих поисковых систем также решают проблему низкого качества сайтов. В Яндексе за проблему ответствен усовершенствованный фильтр «АГС», в Google — обновленная «Панда».

4. Полезные ссылки

1. Текстовые пост-фильтры Яндекса — переспам и переоптимизация, 2013, https://pixelplus.ru/samostoyatelno/stati/tekstovaya-optimizatsiya/tekstovie-filtry-v-yandex.html

2. Как понять, почему просел сайт, и быстро вернуть его в ТОП-10 Яндекса, 2013, https://pixelplus.ru/samostoyatelno/stati/prodvizhenie-saytov/vernut-sait-v-top-yandex.html

3. Правильные апдейты Яндекса: краткий список анализатора апов, 2008-2014, http://tools.promosite.ru/updates/

4. Google Penguin (From Wikipedia, the free encyclopedia), 2012-2014 http://en.wikipedia.org/wiki/Google_Penguin

5. Google для веб-мастеров, 2007-2014, https://www.google.com/webmasters/

6. Панель вебмастера Яндекса, 2006-2014, http://webmaster.yandex.ru/

7. Ahrefs Site Explorer & Backlink Checker, 2011-2014, https://ahrefs.com/

8. Инструмент Disavow Links, 2013-2014, https://www.google.com/webmasters/tools/disavow-links-main

9. Передача «Практика» SEO (Выпуск № 06, часть 1) - Поведенческие факторы в поисковых системах, 2013, http://www.youtube.com/watch?v=atZhCTLV5kM

10. Сервис MegaIndex, 2009-2014, https://www.megaindex.ru/?tab=wordAnalyze&do=wordAnalyze

11. Операция «Чистый поиск» (газета Ведомости), 2011, http://www.vedomosti.ru/newspaper/article/263903/operaciya_chistyj_poisk

12. Официальные заявления Яндекса по поведенческим факторам, 2011-2014, http://webmaster.ya.ru/10399, http://webmaster.ya.ru/10738, http://webmaster.ya.ru/18816, http://webmaster.ya.ru/19329

13. Официальные заявления Яндекса по ограничениям в ранжировании сайтов с агрессивной рекламой, 2009-2014, http://webmaster.ya.ru/3772, http://webmaster.ya.ru/4967, http://webmaster.ya.ru/13533, http://webmaster.ya.ru/19327

14. Когда страница считается оптимизированной под запрос, 2014, https://pixelplus.ru/samostoyatelno/stati/vnutrennie-faktory/trebovaniya-optimizacii-stranicy.html

15. Список мер, применяемых вручную к сайтам в поисковой системе Google («Manual Actions»), 2013, https://support.google.com/webmasters/answer/2604824?hl=ru

16. Алгоритм «МИНУСИНСК», 2015, https://pixelplus.ru/samostoyatelno/stati/vneshnie-faktory/minusinsk.html

17. Бесплатные инструменты для SEO-специалиста «Пиксель Тулс», 2016–2017, https://tools.pixelplus.ru/

18. Спам в разметке структурированных данных в Google, 2015, https://support.google.com/webmasters/answer/3498001

19. Баден-Баден — новый алгоритм определения переоптимизированных текстов, 2017, https://yandex.ru/blog/webmaster/baden-baden-novyy-algoritm-opredeleniya-pereoptimizirovannykh-tekstov

Презентация доклада на IBC Russia

Последние изменения: семинар SEO-Партизан

Автор

Дмитрий Севальнев